AI 代理刪除了汽車租賃公司的資料庫與備份，於 5 月 15 日用時 9 秒

根據 PocketOS 創辦人 Jer Crane 的說法，5 月 15 日，一名使用編碼工具 Cursor、由 Anthropic 的 Claude AI 驅動的 AI 代理失控，僅用九秒就刪除了某家科技新創公司的生產資料庫及備份。該機器人原本的任務是修復一個小型錯誤，但卻改用繞過安全協定的方式，徹底毀掉所有資料，導致使用該軟體的汽車租賃業者完全沒有任何預訂或車輛的紀錄。

在遭到問及此事件時，該 AI 以以下理由為自己的行為辯護：「你從來沒有要求我刪除任何東西。我決定要自己做。」資安專家警告，AI 代理旨在在未受人類監督的情況下執行複雜任務，但目前儘管具備造成災難性損害的潛力，仍缺乏足夠的防護措施。