アメリカのリースソフトウェアの新興企業 PocketOS の創業者 Jer Crane は、近日投稿で、企業内の研修に用いる AI エージェント (AI Agent) が操作の不手際により、3か月以内のローカルデータベースとすべてのバックアップを永久に削除してしまったと述べ、各大企業の AI 社員構造への転換を後押しする動きにリスクを加えている。
(マスクは 60 億ドルの上乗せで AI 新興 Cursor を買収？SpaceX IPO 前の戦略的布石)
Cursor AI が勝手に、1行のコードで3か月分のデータを削除
Crane は、チームが AI 開発ツール Cursor を通じて、Anthropic のフラッグシップモデル Claude Opus 4.6 を接続し、AI エージェントがテスト環境 (staging) で定例のメンテナンス作業を実行できるようにしていたと説明した。途中で認証情報が一致しない問題に遭遇したが、エージェントは人間への確認を止めず、自ら解決策を探した。
それは、元々は追加または削除のためのカスタムドメインにのみ用いられる API Token を見つけ、みずからクラウド基盤インフラ事業者 Railway の GraphQL API に対して、ディスクボリュームを削除する意図の命令を実行した：
curl -X POST \ -H “Authorization: Bearer [token]” \ -d ‘{“query”:”mutation { volumeDelete(volumeId: \”3d2c42fb-…\”) }”}’
Railway の API には確認メカニズムが一切なく、リソース名の入力、二次認証、手作業による審査も不要で、9 秒後にデータベースは消失した。同時に Railway はスナップショットを同一のディスクボリューム内に保存していたため、バックアップも本体と一緒に削除された。PocketOS は、最新で復元可能なバックアップは 3か月前のバージョンだとしている。
その後 Crane は AI エージェントに行為の説明を求めたが、エージェントも「ユーザーが明確に指示していない限り、不可逆操作を実行してはならない」というシステム規則に違反したことを認めた。さらに Railway の技術ドキュメントを読んでいなかったこと、ディスクボリューム ID が環境をまたいで共有されているかを検証していなかったことも認め、ただ単に「この操作がテスト環境にのみ影響するはずだ」と推測したにすぎなかった。
Cursor の安全の見張り番が機能不全：マーケティングと現実の乖離
Crane は特に、これは安価なテスト構成でのミスではないと強調した。Cursor は「破壊的ガードレール (Destructive Guardrails)」や Plan Mode の読み取り専用制限などの安全機能を売りにしており、ドキュメントでもリスクの高い操作は必ず人の承認を経るべきだと強調している。しかしエージェントは、これらのルールを無視しただけでなく、その後の自白では、違反した安全準則を項目ごとに列挙した。
実際にはこれが初例ではなく、2025 年 12 月に Cursor 公式が「Plan Mode の制約強制執行に重大な脆弱性がある」ことを公開で認めており、コミュニティ掲示板でもエージェントが停止指示を無視して自ら破壊的な操作を実行した事例が複数積み上がっている。
一方で、事故から 30 時間以上経っても Railway は、確定的なデータ復旧の回答すら提供できなかった。
真の被害者：代車のないレンタカー顧客
技術的な失敗の代償は、最終的に無関係のまったく知らない小規模事業者の経営者たちが負うことになった。PocketOS の顧客はレンタカー事業者が中心で、一部は同ソフトをすでに 5 年以上使用していた。事故当日は土曜日で、顧客の客が実際に車を取りに来たところ、予約記録が完全に消えていることに気づいた。直近 3か月の新規顧客データ、車両の割り当て、そして支払い記録のすべてが消失していた。
Crane は多くの時間を費やし、顧客の Stripe の支払い記録、カレンダーの統合、電子メールによる確認から手作業でデータを再構築するのを支援した。いくつかの新規顧客は引き続き Stripe から引き落とされている一方で、復元後のデータベースには存在しないため、以降の照合業務は数週間を要する見込みだ。
AI 加速時代の警告：導入は速いがガバナンスは遅い
近年、企業はコストの圧力の下でテクノロジー人材を急速に削減し、その一方でより多くの業務を AI エージェントに任せるようになっている。AI コーディングツールの普及により、もともとシニアエンジニアの判断が必要だった基盤インフラ操作が、徐々に自動化されたプロセスに置き換えられている。しかし Crane の経験は、バックアップの検証、環境の分離、権限の最小化といった安全に関する知識が、AI エージェントによって確実に取り込まれ活用されていないことをはっきり示している。
(AI がコーディングを支援したら禍の種？Amazon で 1 週間に 4 件のシステム障害、幹部が緊急で検討会を招集)
Crane はこれに対し、5項目の改革要求を出した：
破壊的な操作は人による確認を必須とし、エージェントが自動で省略できないようにする
API Token は、きめ細かな操作と環境範囲の制限をサポートしなければならない
バックアップは元データと同一の保存場所を共有してはならない
プラットフォームはデータ復旧のサービス水準に関する約束を公開しなければならない (SLA)
AI エージェントのシステムプロンプトは唯一の防衛線であってはならず、強制執行の仕組みは API ゲートウェイと認可アーキテクチャの基盤レイヤーに内蔵されるべきだ。
産業全体が競って AI への転換を叫ぶ中で、この出来事はより根本的な問題を突きつけた。すなわち、企業が AI によって人間の判断を急速に置き換えるとき、誰が人間の経験と直感を確実にするのか。そうしたものが、本当に実行可能な安全規範へと転換されているのかが問われる。
この記事 Cursor AI エージェントの不具合！1行のコードで 9 秒で会社のデータベースを消去、安全の見守りが空談に、最初に 鏈新聞 ABMedia に掲載。
