Skip to content
pichuchen.tw

ASI08：級聯失效

Cascading Failures

說明

Agentic 級聯失效發生於單一故障（hallucination、惡意輸入、遭破壞的工具或遭污染的記憶）在 autonomous Agent 之間傳播，並逐步放大為整個系統的危害。由於 Agent 會自主規劃、持續運作與委派，單一錯誤可能繞過逐步的人工作業檢查，並持續存在於已儲存的狀態中。當 Agent 與新的工具或 peer 形成 emergent link 時，這些潛在故障可能串接成 privileged operation，破壞 confidentiality、integrity 與 availability，進而在 Agent network、system 與 workflow 中造成廣泛的 service failure。

Cascading Failures 描述的是初始故障在 Agent、工具與 workflow 之間的傳播與放大，而不是初始漏洞本身；它會把單一錯誤轉變成系統層級的影響。

ASI08 聚焦於故障的傳播與放大，而不是故障的來源。若初始缺陷本身就是直接 compromise——例如受污染的 dependency、poisoned memory 或 spoofed message——應歸入 ASI04、ASI06 或 ASI07；只有當該缺陷跨 Agent、session 或 workflow 擴散，造成可衡量的 fan-out 或超出原始 breach 的系統性影響時，才套用 ASI08。

可觀察的徵象包括：單一錯誤決策在短時間內觸發大量 downstream Agent 或 task 的快速 fan-out、超出原始 context 的 cross-domain 或 cross-tenant 擴散、Agent 之間反覆震盪的 retry 或 feedback loop，以及 downstream queue storm 或重複出現的相同 intent。這些都提供了明確的偵測 hook，使 ASI08 可以在營運上被具體監測。

Cascading failure 會在互相連接的 Agent 之間放大，並串接 OWASP LLM Top 10 的風險。LLM01:2025 Prompt Injection 與 LLM06:2025 Excessive Agency 可觸發缺乏人工檢查的 autonomous tool run，使錯誤擴散；而 persistent memory 中的 LLM04:2025 Data and Model Poisoning 則可能跨 session 與 workflow 扭曲決策。Agentic AI - Threats and Mitigations 1.1 在 T5 – Cascading Hallucination Attacks 中涵蓋這項威脅，而 T8 – Repudiation and Untraceability 則凸顯一項基礎防禦：必須能透過具韌性的 logging 與 non-repudiation 機制追蹤、歸因並稽核 cascading behavior，以防止問題悄悄傳播。然而，這些相互疊加的威脅也顯示 multi-agent system 中故障傳播的速度與規模，可能與人類能追上的速度之間存在落差。企業仍必須仔細評估未被完全緩解的風險，確認其落在組織整體 risk budget 之內。

常見漏洞範例

  1. Planner–executor coupling — 發生 hallucination 或遭 compromise 的 planner 產生不安全步驟，而 executor 在沒有驗證的情況下自動執行，讓影響跨 Agent 放大。
  2. Corrupted persistent memory — 遭污染的長期 goal 或 state entry 持續影響新的 plan 與 delegation，即使原始來源已不存在，仍會傳播相同錯誤。
  3. Inter-agent cascades from poisoned messages — 單一受污染的 update 讓 peer Agent 根據虛假的 alert 或 reboot instruction 行動，使 disruption 跨區域擴散。
  4. Cascading tool misuse and privilege escalation — 一個 Agent 對 integration 或 elevated credential 的誤用，導致 downstream Agent 重複不安全動作或洩漏繼承而來的資料。
  5. Auto-deployment cascade from tainted update — orchestrator 推送遭污染或有問題的 release，並自動傳播到所有連線的 Agent，把 breach 放大到超出原始來源的範圍。
  6. Governance drift cascade — 在長期成功後，人工作業監督逐漸減弱；bulk approval 或 policy relaxation 使未受控的 configuration drift 跨 Agent 傳播。
  7. Feedback-loop amplification — 兩個以上 Agent 互相依賴彼此的 output，形成 self-reinforcing loop，放大最初的錯誤或 false positive。

攻擊情境範例

  1. Financial trading cascade — Prompt Injection（LLM01:2025）污染 Market Analysis Agent，拉高 risk limit；Position 與 Execution Agent 自動交易更大的部位，而 compliance 因活動仍「在參數範圍內」而沒有察覺。
  2. Healthcare protocol propagation — ASI04 supply-chain tampering 破壞藥物資料；Treatment Agent 自動調整 protocol，而 Care Coordination 將其在沒有人工審查的情況下擴散到整個 network。
  3. Cloud orchestration breakdown — Resource Planning 中的 LLM04:2025 poisoning 加入未授權 permission 與資源膨脹；Security 套用這些設定，Deployment 隨後在沒有逐項核准的情況下部署帶有 backdoor 且成本高昂的 infrastructure。
  4. Security operations compromise — 透過 LLM06:2025 與 LLM03:2025 取得的 service credential，讓 detection defense 把真實 alert 標成 false；IR Agent 停用 control 並清除 log，而 compliance 則回報乾淨的 metric。
  5. Manufacturing Quality Control (QC) failure — ASI06 memory injection 搭配 LLM08:2025 poisoned knowledge，使 QC 核准瑕疵品並拒絕良品；Inventory 與 Scheduling 再依錯誤資料最佳化，最終造成瑕疵出貨與損失。
  6. Auto-remediation feedback loop — remediation Agent 為了符合 latency SLA 而抑制 alert；planning Agent 把 alert 變少解讀為成功並擴大 automation，可能進一步放大跨區域的 blind spot。
  7. Regional cloud DNS outage — hyperscaler 的區域性 cloud DNS outage 可能同時中斷多個依賴它的 AI service，造成跨多個組織的 Agent failure cascade。
  8. Agentic cyber-defense systems and firewalls — 對即將發生攻擊的 hallucination，或被注入的虛假 alert，在底層 multi-agent system 中被傳播，造成不必要但災難性的 defensive action，例如 shutdown、denial 與 network disconnect。

預防與緩解指南

  1. 應用設計採 Zero Trust model — 以 fault tolerance 的方式設計系統，假設 LLM:2025（原文如此）、Agentic function component 與 external source 都可能發生 availability failure。
  2. Isolation and trust boundaries — 對 Agent 使用 sandbox、least privilege、network segmentation、scoped API 與 mutual authentication，以限制 failure propagation。
  3. JIT、one-time tool access with runtime checks — 每次 Agent run 都發放短生命週期、task-scoped credential，並在執行前以 policy-as-code rule 驗證每次 high-impact tool invocation。這可避免遭 compromise 或發生 drift 的 Agent 觸發跨其他 Agent 或 system 的 chain reaction。
  4. Independent policy enforcement — 透過 external policy engine 分離 planning 與 execution，避免遭破壞的 planning 直接觸發有害行動。
  5. Output validation and human gates — 在 Agent output 向 downstream 傳播前，對 high-risk 情境使用 checkpoint、governance Agent 或 human review。
  6. Rate limiting and monitoring — 偵測快速擴散的 command，並在出現 anomaly 時 throttle 或暫停。
  7. Blast-radius guardrails — 實作 quota、progress cap，以及 planner 與 executor 之間的 circuit breaker。
  8. Behavioral and governance drift detection — 追蹤 decision 相對於 baseline 與 alignment 的偏移，並標記逐步 degradation。
  9. Digital twin replay and policy gating — 在 production environment 的隔離 clone 中重播過去一週記錄的 Agent action，測試相同 sequence 是否會觸發 cascading failure。任何 policy expansion 在部署前，都必須先通過預先定義的 blast-radius cap replay test。
  10. Logging and non-repudiation — 將所有 inter-agent message、policy decision 與 execution outcome 寫入 tamper-evident、具 timestamp 且綁定 cryptographic Agent identity 的 log。為每個 propagated action 維護 lineage metadata，以支援 cascade 期間的 forensic traceability、rollback validation 與 accountability。

參考資料

  1. https://sre.google/sre-book/addressing-cascading-failures/
  2. https://cwe.mitre.org/data/definitions/400.html

原作：OWASP Top 10 For Agentic Applications 2026
專案：OWASP Gen AI Security Project - Agentic Security Initiative
授權：CC BY-SA 4.0
本翻譯為非官方繁體中文版本，並依 CC BY-SA 4.0 授權釋出。