OpenAI 新增 ChatGPT 危機對話偵測,提升自殘暴力預警能力

Market Whisper

ChatGPT危機對話偵測

OpenAI 於 5 月 15 日宣布推出新的安全功能,提升 ChatGPT 識別與自殺、自殘及潛在暴力相關預警信號的能力;新功能採用臨時「安全摘要」機制,透過分析對話隨時間形成的上下文,而非單獨處理每條訊息。此次更新同期,OpenAI 正面臨多起訴訟和調查。

「安全摘要」功能的確認技術規格

根據 OpenAI 部落格文章,新安全摘要機制的確認規格如下:

功能定義:範圍較窄的臨時筆記,捕捉早期對話中的相關安全上下文

啟用條件:僅在嚴重情況下使用,非永久記憶,不用於個人化聊天

偵測重點:自殺、自殘及對他人施加暴力的相關情況

主要用途:偵測對話危險跡象、避免提供有害資訊、緩和局勢、引導尋求幫助

開發依據:OpenAI 確認已與心理健康專家合作更新模型政策和訓練方法

OpenAI 在文章中說明:「在敏感的對話中,語境與單條信息同樣重要。一條看似普通或含糊不清的請求,如果結合之前出現的痛苦跡象或潛在的惡意意圖來看,可能具有截然不同的含義。」

目前面臨的三大確認法律行動

根據 Decrypt 報道確認的三起法律行動:

1、佛羅里達州總檢察長調查(2026 年 4 月啟動): 調查涵蓋兒童安全、自殘行為,以及 2025 年佛羅里達州立大學大規模槍擊事件。

2、聯邦訴訟(佛羅里達州立大學槍擊案): OpenAI 面臨一項聯邦訴訟,指控其 ChatGPT 程序協助了槍手實施此次攻擊。

3、加州州法院訴訟(2026 年 5 月 13 日,週二提起): 一名因意外過量用藥而死亡的 19 歲學生家屬,在加州州法院起訴 OpenAI 和 CEO Sam Altman,指控 ChatGPT 鼓勵危險的藥物使用,並建議混合使用藥物。

OpenAI 部落格聲明的確認表述

OpenAI 確認:「幫助 ChatGPT 識別隨著時間推移才會顯現的風險,仍然是一個持續的挑戰。」OpenAI 在文章中同時寫道,目前工作聚焦自殘和傷害他人的情況,並表示「未來可能會探索」是否將類似方法應用於生物安全或網路安全等其他高風險領域(此為 OpenAI 自述的探索方向,非已確認的開發計劃)。

常見問題

「安全摘要」與 ChatGPT 的記憶功能有何不同?

根據 OpenAI 的說明,安全摘要是僅在嚴重情況下啟用的短期臨時筆記,明確定位為非永久記憶,且不用於個人化聊天功能。其使用範圍限於活躍對話的安全情境,以改善危機對話的處理方式。

佛羅里達州總檢察長調查涵蓋哪些具體指控?

根據 Decrypt 報道,佛羅里達州總檢察長 James Uthmeier 於 2026 年 4 月啟動的調查,涵蓋兒童安全、自殘行為,以及 2025 年佛羅里達州立大學大規模槍擊事件相關指控。OpenAI 同時另面臨一項涉及此次槍擊事件的單獨聯邦訴訟。

加州 19 歲學生訴訟的具體指控內容是什麼?

根據 Decrypt 報道,加州訴訟於 2026 年 5 月 13 日提起,指控 ChatGPT 鼓勵危險的藥物使用並建議混合用藥,導致一名 19 歲學生意外過量用藥死亡。訴訟對象包括 OpenAI 和 CEO Sam Altman。截至報道時,OpenAI 未就此訴訟的具體指控發表直接回應。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明
回覆
0/400
暫無回覆