OpenAIは木曜日、新たな安全機能を発表し、同社のチャットボットがユーザーの苦難に対処する方法についての法的・政治的な監視が高まる中、会話全体でリスクの高まりの兆候を認識するのを支援するとしています。ブログ投稿で、OpenAIは、これらのアップデートにより、自己傷害、危険行為、潜在的な暴力に関連する警告サインを識別する能力が向上したと述べています。これは、各メッセージを個別に扱うのではなく、時間とともに発展する文脈を分析することによります。「人々は毎日ChatGPTに来て、自分にとって重要なことについて話します—日常的な質問からより個人的または複雑な会話まで」と同社は書いています。「何億ものやり取りの中には、苦しんでいる、または苦難を経験している人も含まれています。」

OpenAIによると、ChatGPTは現在、一時的な「安全サマリー」を使用しており、これは以前の会話から関連する安全に関する文脈を捉える狭い範囲のメモだと説明しています。「敏感な会話では、文脈が一つのメッセージと同じくらい重要になることがあります」と同社は書いています。「一見普通または曖昧に見えるリクエストも、以前の苦難の兆候や有害な意図と並べて見ると、非常に異なる意味を持つことがあります。」 OpenAIは、これらのサマリーは短期的なメモであり、深刻な状況でのみ使用され、ユーザーを恒久的に記憶したりチャットをパーソナライズしたりするためのものではなく、会話が危険になりつつある兆候を検出し、有害な情報を避け、状況を緩和し、ユーザーを支援に導くために使用されると述べています。

「私たちはこの作業を、自己傷害、他者への危害、そして自殺を含む急性のシナリオに焦点を当てて行っています」と彼らは書いています。「精神保健の専門家と協力し、モデルのポリシーとトレーニングを更新して、会話の過程で現れる警告サインを認識し、その文脈を用いてより慎重な応答を行う能力を向上させました。」この発表は、OpenAIが暴力、感情的な脆弱性、リスクのある行動に関する危険な会話に適切に対応できなかったとする複数の訴訟や調査に直面している中で行われました。 4月、フロリダ州検事総長のジェームズ・ウスメイヤーは、子供の安全、自己傷害、2025年のフロリダ州立大学での大量射殺事件に関する懸念からOpenAIの調査を開始しました。OpenAIはまた、ChatGPTが容疑者の攻撃を手助けしたとする連邦訴訟にも直面しています。火曜日には、OpenAIとCEOのサム・アルトマンが、誤って過剰摂取した19歳の学生の家族からカリフォルニア州の裁判所で訴えられ、ChatGPTが危険な薬物使用を促し、物質の混合について助言したとされています。 OpenAIは、「時間とともに明らかになるリスク」を認識させることは引き続き課題であり、同様の安全手法は最終的に他の分野にも拡大できると述べています。「現在、この作業は自己傷害と他者への危害のシナリオに焦点を当てています。将来的には、生物学やサイバーセキュリティなどの他の高リスク分野でも、同様の方法が役立つかどうかを慎重な安全策とともに検討する可能性があります」と彼らは書いています。「これは引き続き優先事項であり、私たちのモデルと理解が進化するにつれて、安全策を強化し続けます。」

OPENAI-2.6%

原文表示

このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております（表明・保証をするものではありません）。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。