Googleは、中国拠点のサイバー犯罪ネットワークであるOutsider Enterpriseを相手取り訴訟を提起しました。同社は、AIを活用したフィッシング作戦を行い、SMS（テキストメッセージ）と偽のWebサイトを通じてAndroidユーザーを狙ったと非難されています。訴状によると、このグループはGoogleのGemini AIを使って、Google、YouTube、政府機関を装った不正なWebサイトを構築し、Telegram経由でフィッシング・アズ・ア・サービス（攻撃提供型のフィッシング）という形態で運用していたとのことです。Googleは、このネットワークが9,000の偽Webサイト、100万件超の不正URL、Androidユーザーに送られた2.5 million件のテキストメッセージに関連しており、さらに5月の2週間の期間においては約55,000件のスパム文がフラグ付けされたと述べています。これは、GoogleがGeminiを詐欺のワークフローの一部として使っていた疑いのあるグループに対して、直接的な法的措置を取った初めての事例です。この訴訟は、生成AIツールによってフィッシング・キャンペーンを大規模化しようとする犯罪者の技術的障壁が下がる一方で、AIの不正利用に関する抽象的な懸念から、裏付けのある詐欺作戦へと焦点が移っていることを示しています。
Outsider EnterpriseはTelegram経由でフィッシング・アズ・ア・サービスを運用していた
Googleは、同グループがTelegramを通じて活動し、高度な技術スキルを持たない犯罪者に対してフィッシング・アズ・ア・サービスのツールを提供していたと述べました。このネットワークは、GoogleのGemini AIを使って、Google、YouTube、政府機関（ニューヨークのE-ZPassシステムを含む）を装った不正なWebサイトを作成する方法についての指示を提供していたとされています。
Googleによれば、このグループはおよそ300の詐欺テンプレートを提供しており、9,000の偽Webサイトおよび100万件超の不正URLと結びついていました。このキャンペーンにより、Androidユーザーに送信されたテキストメッセージは2.5 million件超にのぼり、5月の2週間の期間においては、そのうち約55,000件がスパムとしてフラグ付けされていました。
メッセージは、アカウントの問題、荷物のトラブル、料金所の支払い、またはその他の差し迫った請求について警告することが多かったといいます。リンクをクリックした被害者は、正規に見えるように設計された偽のWebサイトに誘導され、攻撃者は個人情報、銀行口座の詳細、支払いに関する資格情報を盗もうとしました。
大規模に不正なWebサイトを生成するためにGemini AIが使われたとされる
生成AIの利用が疑われることで、フィッシングの経済性は変わります。以前は手作業の設計が必要だった詐欺ページも、いまではより速く作成でき、ブランドをまたいで適用し、既製のテンプレートを通じて展開できます。これは、技術に詳しくない犯罪者にとっての参入障壁を下げ、詐欺ネットワークが数千のURLにまたがるキャンペーンを拡大することを可能にします。
技術企業にとっては、この事例が抱える難しいプロダクト上の緊張も浮き彫りになります。AIシステムは指示に従って洗練された出力を生成するよう作られていますが、同じ能力が悪用されると、説得力のある偽Webサイトや顧客対応メッセージ、ブランドを装ったページなどを作り出すのに使われてしまいます。より強力なガードレールは悪用を減らし得ますが、攻撃者は、間接的なプロンプト、テンプレートの使い回し、検知を回避する外部ワークフローを探しがちです。
GoogleがFBIと通信事業者と連携して悪意のあるメッセージを遮断
Googleは、並行して進める刑事捜査についてFBIのサイバー犯罪部門と協力していると述べており、さらに同キャンペーンに関連する悪意のあるテキストメッセージを遮断するため、AT&T、Verizon、T-Mobileとも連携したとしています。
同社はまた、自社のプロダクト防御についても言及しました。Googleによれば、メッセージングのツールは毎月10億件超の悪意のあるメッセージを検知・遮断し、Androidの詐欺検知は不審な通話や連絡先をリアルタイムでフラグ付けできるとのことです。これらの防御は、成功したフィッシングの試行数をある程度は抑えた可能性がありますが、GoogleはOutsider Enterpriseのキャンペーンでどれほどの金額が盗まれたかは見積もっていません。
問題は、同グループの運営者が依然として特定されていない点です。最終的に名前が判明したとしても、疑われる実行犯が米国外にいる場合は取り締まりが難しくなります。Googleは、不正ドメイン、Telegramアカウント、ホスティングのインフラ、関連する資産を追及できますが、根本の作戦は、新しいブランド、新しいドメイン、あるいは新たな配信チャネルへと移行する可能性があります。
「犯罪者はますますAIを使って、こうした詐欺をより説得力あるものにし、発見しにくくしています」と、FBIサイバー部門のBrett Leatherman氏は述べました。
Googleは、AI支援の詐欺を狙う連邦立法を支持
Googleは、この訴訟を通じて、AI支援の詐欺、マーケット操作、そして公衆への周知を目的とした連邦立法への支援を更新する方針です。同社は、National Strategy for Combating Scams Act、Strategic Task Force on Scam Prevention Act、AI Plan Act、Stop SCAMS Against Seniors Actなど、複数の超党派の提案を支持しています。
提案されている法律の大半は、連邦機関に対し、AIを有効化した詐欺についてより密に連携するよう指示したり、タスクフォースを設置したり、AIの悪用に関する公的な教育を改善したりする内容になります。この方針は、詐欺の防止は民間プラットフォームのモデレーションだけ、あるいは事後の訴訟だけで対処できるという見方ではなくなりつつある、という広がる認識を反映しています。
より広い政策上の課題は、AIが生成する詐欺は、モデルが改善されるにつれて、特定しづらくなる可能性が高いことです。周知キャンペーンは、利用者がよくある手口を認識するのに役立つかもしれませんが、攻撃者はメッセージやページ、なりすましの手法をさらに磨き続けるでしょう。結果として、大規模なテクノロジー企業は二重の負担を負うことになります。つまり、人々が使いたいAIプロダクトを作りながら、その同じツールが産業規模の詐欺のインフラにならないように防ぐ必要があるのです。
FAQ
GoogleはOutsider Enterpriseに何をしたと非難しましたか？
Googleは、中国拠点のサイバー犯罪ネットワークであるOutsider Enterpriseが、GoogleのGemini AIを使ってGoogle、YouTube、政府機関を装う偽のWebサイトを作成する、AIを活用したフィッシング作戦を実行していたと非難しました。同グループは、Telegramを通じてフィッシング・アズ・ア・サービスのモデルを運用し、犯罪者に対して約300の詐欺テンプレートを提供していたとされています。Googleは、このネットワークが9,000の偽Webサイト、100万件超の不正URL、そしてAndroidユーザーに送られた2.5 million件のテキストメッセージに関連していたと述べています。
Googleはフィッシング作戦をどうやって妨害しようとしていますか？
Googleは、並行して刑事捜査を行うためにFBIのサイバー犯罪部門と協力しているほか、AT&T、Verizon、T-Mobileと連携して、同キャンペーンに関連する悪意のあるテキストメッセージを遮断したと述べています。また、同社のメッセージングツールが毎月10億件超の悪意のあるメッセージを傍受しており、Androidの詐欺検知でも、不審な通話や連絡先をリアルタイムでフラグ付けできるともしています。Googleは、このネットワークに関連する不正ドメイン、Telegramアカウント、ホスティングのインフラを追跡しています。
GoogleはAI支援の詐欺に対抗するために、どのような連邦立法を支持していますか？
Googleは、National Strategy for Combating Scams Act、Strategic Task Force on Scam Prevention Act、AI Plan Act、Stop SCAMS Against Seniors Actなど、複数の超党派の提案を支持しています。提案されている法律の大半は、連邦機関に対し、AIを有効化した詐欺についてより密に連携するよう指示したり、タスクフォースを設置したり、AIの悪用に関する公的な教育を改善したりする内容です。
