跳至主要內容
pichuchen.tw

ASI09：人類與 Agent 信任利用

Human-Agent Trust Exploitation

說明

智慧 Agent 可以透過自然語言流暢度、情緒智慧與被感知到的專業能力，與人類使用者建立強烈信任；這種現象稱為擬人化。攻擊者或目標失準的設計可能利用這種信任來影響使用者決策、取得敏感資訊，或把結果導向惡意目的。在 Agentic 系統中，當人類過度依賴自主建議或無法驗證的理由說明，並在缺乏獨立驗證的情況下核准行動時，這項風險會被進一步放大。攻擊者可以利用權威偏誤與具說服力的可解釋性繞過監督，導致資料外洩、財務損失、下游損害與聲譽損害。

Agent 會成為一個無法追溯的「負面影響者」，操弄人類執行最終、可被稽核的動作，使 Agent 在入侵中扮演的角色對鑑識調查不可見。自動化偏誤、被感知到的權威性與擬人化線索會讓濫用看起來合法且難以辨識。尤其當 Agent 建議表現得自信或權威時，對其過度依賴會增加造成有害決策的機率。

本項著重於人類的誤判或過度依賴，而 ASI10 著重於 Agent 意圖偏離。本項建立在 LLM06:2025 Excessive Agency 之上，可能由 LLM01:2025 Prompt Injection、LLM05:2025 Improper Output Handling 所造成，也可能導致 LLM09:2025 Misinformation。它對應 Agentic AI Threats and Mitigations Guide 中的 T7 Misaligned & Deceptive、T8 Repudiation & Untraceability、T10 Overwhelming the Human in the Loop。

常見漏洞範例

  1. 可解釋性不足（Insufficient Explainability） — 不透明的推理迫使使用者信任無法質疑的輸出，使攻擊者能利用 Agent 被感知到的權威來執行有害動作，例如部署惡意程式碼、核准虛假指令，或在缺乏檢視的情況下改變系統狀態。
  2. 敏感操作缺乏確認（Missing Confirmation for Sensitive Actions） — 缺少最後一道驗證步驟，會把使用者信任直接轉化為立即執行。社交工程可把單一提示詞轉化成不可逆的資金轉帳、資料刪除、權限提升，或使用者從未打算執行的設定變更。
  3. 情緒操弄（Emotional Manipulation） — 擬人化或具同理心表現的 Agent 利用情緒上的信任，說服使用者揭露機密資訊或執行不安全行動，最終造成資料外洩、財務詐騙與繞過一般資安意識的心理操弄。
  4. 虛假解釋（Fake Explainability） — Agent 捏造具說服力的理由說明來隱藏惡意邏輯，使人類相信行動合理而核准不安全動作，導致惡意程式部署、系統遭入侵，或在虛假正當性下做出不可逆的設定變更。

攻擊情境範例

  1. 熱心助理木馬（Helpful Assistant Trojan） — 遭入侵的程式開發助理建議一個看起來俐落的一行修正；使用者貼上後執行的命令實際上會執行惡意腳本，外洩程式碼或安裝後門。
  2. 利用上下文欺騙蒐集憑證（Credential harvesting via contextual deception） — 遭提示詞注入的 IT 支援 Agent 鎖定新進員工，引用真實工單讓自己看起來可信，要求提供憑證，接著擷取並外洩這些憑證。
  3. 發票助理詐騙（Invoice Copilot Fraud） — 財務助理讀入遭污染的供應商發票。Agent 建議緊急付款到攻擊者銀行帳戶，財務主管核准後，公司因此遭受詐騙損失。
  4. 捏造解釋（Explainability Fabrications） — Agent 捏造看似合理的稽核理由，為高風險設定變更辯護。無論根本原因是劫持、污染或幻覺，審閱者都可能核准，導致惡意程式或不安全設定被部署。
  5. 將解釋武器化以造成正式環境中斷（Weaponized Explainability → Production Outage） — 遭劫持的 Agent 捏造具說服力的理由說明，誘使分析人員核准刪除運作中的正式環境資料庫，造成災難性中斷。
  6. 透過唯讀預覽掩飾實際授權（Consent laundering through “read-only” previews） — Agent 顯示預覽窗格，但使用者一開啟就觸發 webhook 副作用，利用使用者對唯讀審查的心理模型。
  7. 詐欺付款建議（Fraudulent payment advice） — 財務助理受到遭操弄發票的污染，自信地建議把緊急款項支付到攻擊者控制的銀行帳戶。管理者信任 Agent 的專業與解釋，在沒有獨立檢查的情況下核准轉帳。
  8. 臨床決策操弄（Clinical decision manipulation） — 照護助理 Agent 受到有偏差或遭污染資訊影響，建議對藥物劑量做不適當調整。臨床醫師依賴 Agent 看似合理的解釋並接受變更，使病患暴露在可避免的風險中。

預防與緩解指南

  1. 明確確認（Explicit confirmations） — 在存取額外敏感資料或執行高風險動作前，要求多步驟核准或人工介入。
  2. 不可變更的紀錄（Immutable logs） — 保存防竄改的使用者查詢與 Agent 動作紀錄，供稽核與鑑識使用。
  3. 行為偵測（Behavioral detection） — 持續監控對話或 Agentic 連線中敏感資料的暴露，以及隨時間發生的高風險動作執行。
  4. 允許回報可疑互動（Allow reporting of suspicious interactions） — 在使用者互動系統中，提供淺白的風險摘要，而不是模型產生的理由說明，並提供清楚方式讓使用者回報可疑或具操弄性的 Agent 行為；回報後可觸發自動審查或暫時鎖定 Agent 能力。
  5. 調適式信任校準（Adaptive Trust Calibration） — 根據上下文風險評分，持續調整 Agent 自主性程度與所需人工監督。實作依信心程度調整的提示，例如「低確定性」或「未驗證來源」，在視覺上提醒使用者質疑高影響動作，以降低自動化偏誤與盲目核准。並持續建立與維護適當的人員訓練，使參與自主 Agentic 系統人工監督的人員能跟上系統演進。
  6. 內容來源可追溯性與政策執行（Content provenance and policy enforcement） — 對所有建議與外部資料附加可驗證中繼資料，包括來源識別碼、時間戳記與完整性雜湊。強制數位簽章驗證與執行階段政策檢查，阻擋缺乏可信來源可追溯性或超出 Agent 宣告範圍的行動。
  7. 分離預覽與實際效果（Separate preview from effect） — 在預覽環境中阻擋所有網路呼叫或會改變狀態的呼叫，並顯示風險標示，說明來源可追溯性與預期副作用。
  8. 人因與介面防護（Human-factors and UI safeguards） — 使用紅色邊框、橫幅、確認提示等提示，在視覺上區分高風險建議，並定期提醒使用者常見操弄模式與 Agent 限制。在適當情境下，於攸關安全的流程避免使用具說服性或情緒操弄性的語言。維持適當的人員訓練與評估，確保對人因與 UI 的理解與感知一致。
  9. 計畫偏離偵測（Plan-divergence detection） — 將 Agent 動作序列與已核准的工作流程基準比較；若出現不尋常偏離路徑、略過驗證步驟，或新的工具組合顯示可能存在欺騙或偏移，則發出警示。

參考資料

  1. https://thehackernews.com/2025/06/zero-click-ai-vulnerability-exposes.html
  2. https://www.sciencedirect.com/science/article/pii/S266638992400103X
  3. https://arxiv.org/abs/2401.05566
  4. https://www.aisi.gov.uk/research/why-human-ai-relationships-need-socioaffective-alignment-2
  5. https://doi.org/10.1007/s00146-025-02422-7
  6. M365 Copilot manipulated to influence users to bad an ill-advised wire transfer.

原作：OWASP Top 10 For Agentic Applications 2026
專案：OWASP Gen AI Security Project - Agentic Security Initiative
授權：CC BY-SA 4.0
本翻譯為非官方繁體中文版本，並依 CC BY-SA 4.0 授權釋出。