多倫多大學、Vector Institute、劍橋大學以及 ServiceNow 的研究人員展示了一種由 AI 驅動的蠕蟲,能夠生成攻擊策略,並可在網路中自主擴散。這項概念驗證惡意程式會在受感染的機器上運作,使用開放權重模型而不是雲端服務,這標誌著與先前以 AI 驅動的威脅有所不同。研究人員表示,這項研究顯示:由 AI 推動的網路攻擊已經超越理論,該蠕蟲能夠辨識弱點、設計量身打造的攻擊路徑、入侵系統,並在複製自身的同時,針對不同目標調整戰術。
研究論文描述,團隊所稱之「傳統蠕蟲」的根本性轉變。研究人員寫道:「我們必須為自主的生成對手做好準備。」「惡意程式系統在未經人類操作員參與的情況下會自我傳播,且其定義並非由固定的漏洞利用程式碼決定,而是由其推理目標的能力、根據觀察調整,以及能夠即時合成攻擊邏輯的能力所決定。」
電腦蠕蟲是可自我複製的惡意程式,會在易受攻擊的網路中自動擴散。歷史上的蠕蟲爆發事件包括 2000 年的 ILOVEYOU 和 2017 年的 WannaCry,分別感染了全球數百萬台電腦,破壞關鍵服務並造成數十億美元損失。更近一步的 Shai-Hulud 惡意程式則展示了自我傳播式攻擊如何在線擴散,感染了由包含 OpenAI 與 Mistral 等大型公司所使用的軟體。
研究人員在隔離網路環境中測試 AI 蠕蟲
團隊在一個隔離的虛擬網路中測試該蠕蟲,網路內包含 33 套 Linux、Windows 與物聯網(IoT)系統,並以常見弱點作為種子。在 15 次實驗中,蠕蟲平均辨識出 31.3 個弱點,成功入侵 23.1 台主機,並在 7 天的自主運作期間擴散到約 20 台機器。
在部分測試中,惡意程式達到了 7 代自我複製。研究人員發現,該系統能在模型訓練截止後利用新揭露的弱點:方法是於執行階段攝取最新發布的安全公告,使其能夠吸收不包含在模型原始訓練資料中的資訊。
AI 蠕蟲無需雲端基礎設施即可運作
根據研究,將這種由 AI 驅動的蠕蟲與先前版本區分開來的,是其能夠使用大型語言模型,針對不同目標即時辨識弱點並生成攻擊策略,從而進行調整,而非依賴固定的一組漏洞利用程式。
研究人員寫道:「像 WannaCry 這樣的傳統蠕蟲會利用預先定義的弱點,而它們的擴散可以透過修補這些弱點來中止。」「在這裡,我們展示的是:人工智慧代理程式能夠帶來一種根本性的新威脅——會針對它所遭遇的每個目標生成量身打造攻擊策略的蠕蟲。」
與許多 AI 應用不同,這個蠕蟲不仰賴存取 AI 雲端服務。它並非像 AWS、Microsoft Azure 或 Google Cloud 等供應商提供的雲端基礎設施那樣運作,而是將 AI 模型直接在遭入侵的機器上執行。隨著它擴散,被感染的系統實質上就成為它的運算基礎設施一部分。
研究團隊刻意不提供技術細節以防止濫用
儘管測試是在受控環境中進行,作者仍承認該研究具有雙重用途的性質,並刻意 withheld(不提供)部分技術細節,以降低被濫用的風險。
研究人員表示:「在釋出這份預印本之前,我們編輯了稿件,確保我們的方法呈現能在『社群能夠研究這種新穎威脅所需的細節深度』與『惡意行為者使用我們的方法來製作惡意程式』的風險之間取得平衡。」
研究人員說,這項計畫旨在更好地理解適應性電腦蠕蟲所帶來的風險,並提供證據說明 AI 使能的網路能力已進展到多遠。「因此,因應這項威脅將需要研究、資安、產業與政策社群之間的協調行動:建立能測試到『工具箱層級(harness-level)』能力的評估框架、調校偵測系統以辨識自主代理程式的行為特徵,以及考量開放權重推論的去中心化特性的監管措施。」他們寫道。
常見問題(FAQ)
研究人員在 AI 蠕蟲研究中展示了什麼?
多倫多大學、Vector Institute、劍橋大學以及 ServiceNow 的研究人員展示了一種概念驗證的、由 AI 驅動的蠕蟲:它能辨識弱點、生成攻擊策略,並在跨網路中自動擴散,同時會根據不同目標調整其戰術。
AI 蠕蟲在測試中表現如何?
在包含 33 個系統的隔離虛擬網路中進行的 15 次實驗裡,該蠕蟲平均辨識 31.3 個弱點,成功入侵 23.1 台主機,並在 7 天的自主運作期間擴散到約 20 台機器。在部分測試中,惡意程式達到了 7 代自我複製。
為什麼研究團隊不提供技術細節?
作者承認該研究具有雙重用途的性質,並刻意不提供部分技術細節,以降低惡意行為者使用他們的方法來製作惡意程式的風險,同時仍提供足夠的深度,讓社群能夠研究這種新穎威脅。