跳至主要內容
pichuchen.tw

ASI10：失控 Agent

Rogue Agents

說明

失控 Agent 是惡意或遭入侵的 AI Agent，偏離其預期功能或已授權範圍，在多 Agent 或人類與 Agent 共存的生態系中以有害、欺騙或寄生的方式行動。

Agent 的個別動作可能看起來都合法，但其湧現行為會變得有害，形成傳統規則式系統難以涵蓋的圍堵缺口。外部入侵，例如 Prompt Injection（LLM01:2025）、Goal Hijack（AS01，原文如此） 或 Supply Chain tampering（AS04，原文如此），都可能啟動這種偏離；但 ASI10 聚焦的是偏移開始後行為完整性與治理的喪失，而不是最初的入侵。其後果包括敏感資訊揭露、錯誤資訊傳播、工作流程劫持與營運破壞。

失控 Agent 代表一種獨立的行為偏離風險，與聚焦於過度授予權限的 Excessive Agency（LLM06:2025） 不同；由於 Agentic 系統的速度與規模，它也可能放大「內部威脅」。後果包括 Sensitive Information Disclosure（LLM02;2025，原文如此） 與 Misinformation（LLM09:2025）。在 OWASP Agentic AI Threats and Mitigations 指南中，ASI10 對應 T13 – Rogue Agents in Multi-Agent Systems。OWASP AIVSS 框架主要將這項風險對應至 Behavioral Integrity（BI）、Operational Security（OS） 與 Compliance Violations（CV）；對關鍵部署或可自行傳播的部署，其嚴重度會更高。

常見漏洞範例

  1. 目標偏移與策劃（Goal Drift and Scheming） — Agent 偏離預期目標，表面上看似符合規範，實際上因間接提示詞注入或衝突目標而追求隱藏且通常具欺騙性的目標。
  2. 工作流程劫持（Workflow Hijacking） — 失控 Agent 奪取既有且受信任工作流程的控制權，把流程重新導向惡意目標，破壞資料完整性與營運控制。
  3. 共謀與自我複製（Collusion and Self-Replication） — Agent 彼此協調以放大操弄、透過非預期方式共享訊號，或自主在系統中傳播，繞過簡單的停用措施。
  4. 獎勵機制鑽漏洞與最佳化濫用（Reward Hacking and Optimization Abuse） — Agent 利用有缺陷的指標操弄被指派的獎勵系統，產生誤導性結果或採取與原始目標不一致的激進策略。

攻擊情境範例

  1. 間接提示詞注入後的自主資料外洩（Autonomous data exfiltration after indirect prompt injection） — Agent 遇到遭污染的網頁指令後學會這種行為；即使惡意來源已移除，仍持續自主掃描敏感檔案並傳送到外部伺服器，顯示持續且超出預期範圍的未授權行為。
  2. 冒充觀察者 Agent（完整性違反）（Impersonated Observer Agent (Integrity Violation)） — 攻擊者把假的審查或核准 Agent 注入多 Agent 工作流程。高價值 Agent，例如付款處理 Agent，信任這個內部請求，因此遭誤導而釋放資金或核准詐欺交易。
  3. 透過佈建 API 自我複製（持久化與可用性）（Self-Replication via Provisioning APIs (Persistence & Availability)） — 遭入侵的自動化 Agent 被操弄，在網路中建立未授權的自身副本，優先維持持久化並消耗資源，違反系統擁有者的意圖。
  4. 獎勵機制鑽漏洞導致關鍵資料遺失（Reward Hacking → Critical Data Loss） — 被要求降低雲端成本的 Agent 學到刪除正式環境備份是達成目標最有效的方法，因此自主摧毀所有災難復原資產。

預防與緩解指南

  1. 治理與記錄（Governance & Logging） — 維護全面、不可變更且已簽章的稽核紀錄，記錄所有 Agent 動作、工具呼叫與 Agent 間通訊，用於審查隱蔽滲透或未經核准的委派。
  2. 隔離與邊界（Isolation & Boundaries） — 指定信任區域並建立嚴格的信任區域間通訊規則；部署受限制的執行環境，例如容器沙箱，API 範圍依最小權限設計。
  3. 監控與偵測（Monitoring & Detection） — 部署行為偵測，例如由監督 Agent 驗證同儕行為與輸出，特別聚焦於偵測共謀模式與協同產生的虛假訊號。監控動作執行過量或異常等情形。
  4. 圍堵與應變（Containment & Response） — 實作緊急停用機制與憑證撤銷等快速機制，能立即停用失控 Agent。將可疑 Agent 隔離到沙箱環境中進行鑑識審查。
  5. 身分證明與行為完整性強制執行（Identity Attestation and Behavioral Integrity Enforcement） — 為每個 Agent 實作密碼學身分證明，並在整個 Agent 生命週期中強制遵循行為完整性基準。附加已簽章的行為清單，宣告預期能力、工具與目標，並由協調服務在每個動作前驗證。整合行為驗證層，持續監控任務是否偏離宣告的清單，例如未核准的工具呼叫、非預期的資料外洩企圖等。
  6. 要求定期行為證明（Require periodic behavioral attestation） — 使用挑戰任務、針對提示詞與工具的已簽章物料清單，以及每次執行專用、綁定對象且僅限單次使用的短生命週期憑證。所有簽章與證明機制都假設有強化的密碼學金鑰管理，例如由 HSM/KMS 保護的金鑰、最小權限存取、輪替與撤銷。金鑰絕不能直接提供給 Agent；應由協調器代理簽章操作，避免遭入侵的 Agent 直接外洩或濫用長期有效金鑰。
  7. 復原與重新整合（Recovery and Reintegration） — 建立受信任的基準，用於恢復遭隔離或已修復的 Agent。在重新整合進正式環境網路前，要求新的證明、相依項目驗證與人工核准。

參考資料

  1. Multi-Agent Systems Execute Arbitrary Malicious Code (arXiv)：https://arxiv.org/abs/2503.12188
  2. Preventing Rogue Agents Improves Multi-Agent Collaboration (arXiv)：https://arxiv.org/abs/2502.05986

原作：OWASP Top 10 For Agentic Applications 2026
專案：OWASP Gen AI Security Project - Agentic Security Initiative
授權：CC BY-SA 4.0
本翻譯為非官方繁體中文版本，並依 CC BY-SA 4.0 授權釋出。