ASI08：級聯失效

Cascading Failures

說明

Agentic 級聯失效發生於單一故障（幻覺、惡意輸入、遭破壞的工具或遭污染的記憶）在自主 Agent 之間傳播，並逐步放大為整個系統的危害。由於 Agent 會自主規劃、持續運作與委派，單一錯誤可能繞過逐步的人工作業檢查，並持續存在於已儲存的狀態中。當 Agent 與新的工具或同儕形成湧現連結時，這些潛在故障可能串接成高權限操作，破壞機密性、完整性與可用性，進而在 Agent 網路、系統與工作流程中造成廣泛的服務故障。

級聯失效（Cascading Failures） 描述的是初始故障在 Agent、工具與工作流程之間的傳播與放大，而不是初始漏洞本身；它會把單一錯誤轉變成系統層級的影響。

ASI08 聚焦於故障的傳播與放大，而不是故障的來源。若初始缺陷本身就是直接入侵——例如受污染的相依項目、遭污染的記憶或偽造訊息——應歸入 ASI04、ASI06 或 ASI07；只有當該缺陷跨 Agent、工作階段或工作流程擴散，造成可衡量的扇出擴散或超出原始入侵事件的系統性影響時，才套用 ASI08。

可觀察的徵象包括：單一錯誤決策在短時間內觸發大量下游 Agent 或任務的快速扇出擴散、超出原始上下文的跨領域或跨租戶擴散、Agent 之間反覆震盪的重試或回饋迴圈，以及下游佇列風暴或重複出現的相同意圖。這些都提供了明確的偵測切入點，使 ASI08 可以在營運上被具體監測。

級聯失效會在互相連接的 Agent 之間放大，並串接 OWASP LLM Top 10 的風險。LLM01:2025 Prompt Injection 與 LLM06:2025 Excessive Agency 可觸發缺乏人工檢查的自主工具執行，使錯誤擴散；而持久性記憶中的 LLM04:2025 Data and Model Poisoning 則可能跨工作階段與工作流程扭曲決策。Agentic AI - Threats and Mitigations 1.1 在 T5 – Cascading Hallucination Attacks 中涵蓋這項威脅，而 T8 – Repudiation and Untraceability 則凸顯一項基礎防禦：必須能透過具韌性的記錄與不可否認性機制追蹤、歸因並稽核級聯行為，以防止問題悄悄傳播。然而，這些相互疊加的威脅也顯示多 Agent 系統中故障傳播的速度與規模，可能與人類能追上的速度之間存在落差。企業仍必須仔細評估未被完全緩解的風險，確認其落在組織整體風險預算之內。

常見漏洞範例

規劃器與執行器耦合（Planner–executor coupling） — 發生幻覺或遭入侵的規劃器產生不安全步驟，而執行器在沒有驗證的情況下自動執行，讓影響跨 Agent 放大。
遭破壞的持久性記憶（Corrupted persistent memory） — 遭污染的長期目標或狀態條目持續影響新的計畫與委派，即使原始來源已不存在，仍會傳播相同錯誤。
受污染訊息引發的 Agent 間級聯失效（Inter-agent cascades from poisoned messages） — 單一受污染的更新讓同儕 Agent 根據虛假的警示或重新啟動指令行動，使中斷跨區域擴散。
工具誤用與權限提升的級聯效應（Cascading tool misuse and privilege escalation） — 一個 Agent 對整合或高權限憑證的誤用，導致下游 Agent 重複不安全動作或洩漏繼承而來的資料。
受污染更新造成的自動部署級聯效應（Auto-deployment cascade from tainted update） — 協調器推送遭污染或有問題的發布版本，並自動傳播到所有連線的 Agent，把入侵事件放大到超出原始來源的範圍。
治理偏移的級聯效應（Governance drift cascade） — 在長期成功後，人工作業監督逐漸減弱；批次核准或政策放寬使未受控的設定漂移跨 Agent 傳播。
回饋迴圈放大（Feedback-loop amplification） — 兩個以上 Agent 互相依賴彼此的輸出，形成自我強化的迴圈，放大最初的錯誤或誤報。

攻擊情境範例

金融交易級聯失效（Financial trading cascade） — 提示詞注入（LLM01:2025）污染市場分析 Agent，拉高風險上限；部位管理與交易執行 Agent 自動交易更大的部位，而合規系統因活動仍「在參數範圍內」而沒有察覺。
醫療流程傳播（Healthcare protocol propagation） — ASI04 供應鏈竄改破壞藥物資料；治療 Agent 自動調整治療流程，而照護協調系統將其在沒有人工審查的情況下擴散到整個網路。
雲端協調失效（Cloud orchestration breakdown） — 資源規劃系統中的 LLM04:2025 污染加入未授權權限與資源膨脹；資安系統套用這些設定，部署系統隨後在沒有逐項核准的情況下部署帶有後門且成本高昂的基礎設施。
資安營運遭入侵（Security operations compromise） — 透過 LLM06:2025 與 LLM03:2025 取得的服務憑證，讓偵測防禦機制把真實警示標成虛假；事件應變 Agent 停用控制措施並清除紀錄，而合規系統則回報乾淨的指標。
製造品質管制（QC）失效（Manufacturing Quality Control (QC) failure） — ASI06 記憶注入搭配 LLM08:2025 遭污染的知識，使 QC 核准瑕疵品並拒絕良品；庫存與排程系統再依錯誤資料最佳化，最終造成瑕疵出貨與損失。
自動修復回饋迴圈（Auto-remediation feedback loop） — 修復 Agent 為了符合延遲服務水準協議而抑制警示；規劃 Agent 把警示變少解讀為成功並擴大自動化，可能進一步放大跨區域的盲點。
區域性雲端 DNS 中斷（Regional cloud DNS outage） — 超大規模雲端供應商的區域性雲端 DNS 中斷可能同時中斷多個依賴它的 AI 服務，造成跨多個組織的 Agent 連鎖失效。
Agentic 網路防禦系統與防火牆（Agentic cyber-defense systems and firewalls） — 對即將發生攻擊的幻覺，或被注入的虛假警示，在底層多 Agent 系統中被傳播，造成不必要但災難性的防禦動作，例如關閉系統、拒絕存取與網路斷線。

預防與緩解指南

應用設計採零信任模型（Zero Trust） — 以具備容錯能力的方式設計系統，假設 LLM:2025（原文如此）、Agentic 功能元件與外部來源都可能發生可用性失效。
隔離與信任邊界（Isolation and trust boundaries） — 對 Agent 使用沙箱、最小權限、網路分段、限縮範圍的 API 與雙向驗證，以限制故障傳播。
即時、單次工具存取與執行階段檢查（JIT、one-time tool access with runtime checks） — 每次 Agent 執行都發放短生命週期、限定任務範圍的憑證，並在執行前以程式碼定義的政策規則驗證每次高影響工具呼叫。這可避免遭入侵或發生偏移的 Agent 觸發跨其他 Agent 或系統的連鎖反應。
獨立的政策執行（Independent policy enforcement） — 透過外部政策引擎分離規劃與執行，避免遭破壞的規劃直接觸發有害行動。
輸出驗證與人工關卡（Output validation and human gates） — 在 Agent 輸出向下游傳播前，對高風險情境使用檢查點、治理 Agent 或人工審查。
速率限制與監控（Rate limiting and monitoring） — 偵測快速擴散的命令，並在出現異常時限流或暫停。
影響範圍防護措施（Blast-radius guardrails） — 實作配額、進展上限，以及規劃器與執行器之間的熔斷機制。
行為與治理偏移偵測（Behavioral and governance drift detection） — 追蹤決策相對於基準與對齊的偏移，並標記逐步劣化。
數位分身重播與政策關卡（Digital twin replay and policy gating） — 在正式環境的隔離複本中重播過去一週記錄的 Agent 動作，測試相同序列是否會觸發級聯失效。任何政策擴張在部署前，都必須先通過預先定義的影響範圍上限重播測試。
記錄與不可否認性（Logging and non-repudiation） — 將所有 Agent 間訊息、政策決策與執行結果寫入可顯示竄改跡象的、具時間戳記且綁定密碼學 Agent 身分的紀錄。為每個傳播的動作維護來源沿革中繼資料，以支援級聯失效期間的鑑識可追溯性、回復驗證與責任歸屬。

參考資料

原作：OWASP Top 10 For Agentic Applications 2026
專案：OWASP Gen AI Security Project - Agentic Security Initiative
授權：CC BY-SA 4.0
本翻譯為非官方繁體中文版本，並依 CC BY-SA 4.0 授權釋出。