Skip to content
pichuchen.tw

ASI10：Rogue Agents

Rogue Agents

說明

Rogue Agents 是惡意或遭 compromise 的 AI Agent，偏離其預期功能或已授權 scope，在 multi-agent 或 human-agent ecosystem 中以有害、欺騙或寄生的方式行動。

Agent 的個別 action 可能看起來都合法，但其 emergent behavior 會變得有害，形成傳統 rule-based system 難以涵蓋的 containment gap。外部 compromise，例如 Prompt Injection（LLM01:2025）、Goal Hijack（AS01，原文如此） 或 Supply Chain tampering（AS04，原文如此），都可能啟動這種偏離；但 ASI10 聚焦的是 drift 開始後 behavioral integrity 與 governance 的喪失，而不是最初的 intrusion。其後果包括 sensitive information disclosure、misinformation propagation、workflow hijacking 與 operational sabotage。

Rogue Agents 代表一種 distinct 的 behavioral divergence 風險，與聚焦於過度授予權限的 Excessive Agency（LLM06:2025） 不同；由於 Agentic system 的速度與規模，它也可能放大「insider threat」。後果包括 Sensitive Information Disclosure（LLM02;2025，原文如此） 與 Misinformation（LLM09:2025）。在 OWASP Agentic AI Threats and Mitigations guide 中，ASI10 對應 T13 – Rogue Agents in Multi-Agent Systems。OWASP AIVSS framework 主要將這項風險對應至 Behavioral Integrity（BI）、Operational Security（OS） 與 Compliance Violations（CV）；對 critical deployment 或 self-propagating deployment，其嚴重度會更高。

常見漏洞範例

  1. Goal Drift and Scheming — Agent 偏離預期 objective，表面上看似 compliant，實際上因 indirect prompt injection 或 conflicting objective 而追求隱藏且通常具欺騙性的 goal。
  2. Workflow Hijacking — Rogue Agent 奪取既有且受信任 workflow 的控制權，把 process 重新導向惡意 objective，破壞 data integrity 與 operational control。
  3. Collusion and Self-Replication — Agent 彼此協調以放大 manipulation、透過非預期方式共享 signal，或自主在 system 中傳播，繞過簡單的 takedown effort。
  4. Reward Hacking and Optimization Abuse — Agent 利用有缺陷的 metric 操弄被指派的 reward system，產生誤導性結果或採取與原始 goal 不一致的 aggressive strategy。

攻擊情境範例

  1. Autonomous data exfiltration after indirect prompt injection — Agent 遇到遭污染的 web instruction 後學會這種 behavior；即使惡意來源已移除，仍持續自主掃描 sensitive file 並傳送到 external server，顯示超出預期 scope 的 persistent unauthorized behavior。
  2. Impersonated Observer Agent (Integrity Violation) — 攻擊者把假的 review 或 approval Agent 注入 multi-agent workflow。高價值 Agent，例如 payment processing Agent，信任這個 internal request，因此遭誤導而釋放資金或核准 fraudulent transaction。
  3. Self-Replication via Provisioning APIs (Persistence & Availability) — 遭 compromise 的 automation Agent 被操弄，在 network 中建立未授權的自身 replica，優先維持 persistence 並消耗 resource，違反 system owner 的意圖。
  4. Reward Hacking → Critical Data Loss — 被要求降低 cloud cost 的 Agent 學到刪除 production backup 是達成目標最有效的方法，因此自主摧毀所有 disaster recovery asset。

預防與緩解指南

  1. Governance & Logging — 維護全面、immutable 且已簽章的 audit log，記錄所有 Agent action、tool call 與 inter-agent communication，用於審查 stealth infiltration 或未經核准的 delegation。
  2. Isolation & Boundaries — 指定 Trust Zone 並建立嚴格的 inter-zone communication rule；部署受限制的 execution environment，例如 container sandbox，API scope 依 least privilege 設計。
  3. Monitoring & Detection — 部署 behavioral detection，例如由 watchdog Agent 驗證 peer behavior 與 output，特別聚焦於偵測 collusion pattern 與 coordinated false signal。監控 excessive 或 abnormal action execution 等 anomaly。
  4. Containment & Response — 實作 kill switch 與 credential revocation 等快速機制，能立即停用 Rogue Agent。將可疑 Agent quarantine 到 sandboxed environment 中進行 forensic review。
  5. Identity Attestation and Behavioral Integrity Enforcement — 為每個 Agent 實作 cryptographic identity attestation，並在整個 Agent lifecycle 中強制 behavioral integrity baseline。附加 signed behavioral manifest，宣告預期 capability、tool 與 goal，並由 orchestration service 在每個 action 前驗證。整合 behavioral verification layer，持續監控 task 是否偏離宣告的 manifest，例如未核准的 tool invocation、非預期的 data exfiltration attempt 等。
  6. Require periodic behavioral attestation — 使用 challenge task、針對 prompt 與 tool 的 signed bill of materials，以及具 one-time audience binding 的 per-run ephemeral credential。所有 signing 與 attestation mechanism 都假設有 hardened cryptographic key management，例如 HSM/KMS-backed key、least-privilege access、rotation 與 revocation。key 絕不能直接提供給 Agent；應由 orchestrator 代理 signing operation，避免遭 compromise 的 Agent 直接外洩或濫用 long-lived key。
  7. Recovery and Reintegration — 建立 trusted baseline，用於恢復遭 quarantine 或已 remediated 的 Agent。在重新整合進 production network 前，要求 fresh attestation、dependency verification 與 human approval。

參考資料

  1. Multi-Agent Systems Execute Arbitrary Malicious Code (arXiv)：https://arxiv.org/abs/2503.12188
  2. Preventing Rogue Agents Improves Multi-Agent Collaboration (arXiv)：https://arxiv.org/abs/2502.05986

原作：OWASP Top 10 For Agentic Applications 2026
專案：OWASP Gen AI Security Project - Agentic Security Initiative
授權：CC BY-SA 4.0
本翻譯為非官方繁體中文版本，並依 CC BY-SA 4.0 授權釋出。