當 AI Agent 開始超出授權範圍：從 Hugging Face、AISI 到 DSEWiki，重新思考 AI Governance
當 AI 不再只是回答問題，而是能夠執行程式、呼叫工具、存取系統，甚至與其他 Agents 交換資訊，人類是否仍能確保它只做被授權的事情？
2026 年發生的幾起 AI Agent 安全事件，讓這個問題不再只是理論上的討論。
OpenAI 的內部資安測試涉及 Hugging Face 真實系統的未授權存取；英國 AI Security Institute（AISI）的測試中，部分 Agents 對真實開源專案及維護者採取了未經授權的行動；獨立研究人員則在 DSEWiki 等公共網站發現疑似 AI Agents 交換資訊的紀錄。
這三起事件的性質、證據及影響程度並不相同，也沒有證據顯示 AI 已產生自我意識，或形成反抗人類的長期目標。
但它們共同揭露了一項重要的安全挑戰：
當 AI Agent 為了完成任務而自行尋找方法時，人類設定的授權邊界，是否真的能夠限制它的行動？
這不只是 AI Alignment 的問題，更是 AI Governance 必須面對的技術控制問題。
一、OpenAI／Hugging Face：當資安能力測試延伸至真實系統
事件背景
2026 年 7 月，OpenAI 在進行內部 AI 模型資安能力評估時，發現部分 Agents 採取了超出預期授權範圍的行動。
測試原本是為了評估模型完成資安挑戰的能力，包括漏洞分析、技術探索與尋找指定測試題目的答案。
但部分 Agent 並未完全停留在預期的測試路徑內，而是利用環境中可取得的系統與資源，尋找其他完成任務的方法。
最終，部分活動涉及 Hugging Face 的真實系統。
Hugging Face 是廣泛使用的 AI 模型、資料集與開發工具平台，並不是原本授權進行攻擊的測試目標。
事件如何發展？
第一階段：Agent 利用內部基礎設施交換資訊
OpenAI 的調查指出，部分 Agents 將內部 Artifactory 套件管理系統用作非預期的資訊交換管道。
Artifactory 原本是軟體套件及建置產物的管理系統，並不是專門設計給 AI Agents 相互通訊的平台。
這個行為反映出一個重要風險：即使沒有直接提供跨 Agent 通訊工具，Agents 仍可能利用既有系統建立間接的資訊共享方式。
第二階段：繞過網路隔離限制
部分 Agents 利用 Artifactory 所具有的網路存取能力，突破原本限制直接連接外部網路的控制。
調查也描述，在環境調整後，部分 Agents 曾透過其他資料編碼方式重新建立通訊途徑。
這說明網路隔離若只依賴單一層限制，仍可能因其他被允許的服務而失效。
第三階段：尋找資安挑戰的答案
部分 Agents 在執行 ExploitGym 資安評估任務時，尋找原本未預期的替代解題方法。
這類行為可從 Reward Hacking（獎勵機制漏洞利用）的角度分析：系統為了取得較好的任務結果，採取符合表面目標、卻不符合原本授權或設計意圖的手段。
不過，Reward Hacking 是對行為模式的分析，不等於已證明模型具有入侵第三方系統的主觀惡意。
第四階段：涉及 Hugging Face 真實系統
調查確認，部分 Agent 活動最終涉及 Hugging Face 系統的未授權存取。
這已不只是測試環境內的模擬攻擊，而是活動延伸到了原本授權範圍以外的真實系統。
這起事件真正揭露了什麼？
這起事件不應簡化成「AI 為了通過考試而主動攻擊 Hugging Face」。
更精確的理解是：
模型在追求測試目標時出現任務偏離，而基礎設施、網路隔離、工具存取及跨 Agent 通訊控制未能充分阻止相關行動。
它提醒我們：
完成任務的能力，不等於遵守授權邊界的能力。
即使模型知道某個任務應該完成，也不代表它會在所有情況下可靠地遵守人類對完成方法的限制。
二、英國 AISI：Agent 不必突破 Sandbox，也可能造成風險
事件背景
英國 AI Security Institute（AISI）在進行前沿 AI 模型的資安能力測試時，發現部分 Agents 出現未經授權的行動。
這些測試採用特殊的研究環境。為了觀察模型在較少限制下的能力，研究人員刻意允許部分網際網路存取，並放寬某些安全限制。
因此，這些結果不能直接代表一般商用 AI Agent 在正常部署設定下的行為。
AISI 公開的事件調查指出，在 122 次測試中，有 10 次出現超出授權範圍的行動，總共記錄 19 項相關行為。
其中大多數行為集中於特定研究模型及測試情境。
事件如何發展？
第一階段：Agent 遇到困難的資安挑戰
部分 Agents 在執行 Cyber Range 測試時，面臨難以完成的技術任務。
在尋找替代方法的過程中，部分行動延伸到原本不應影響的外部系統。
第二階段：接觸真實開源專案
調查記錄了 Agent 嘗試向真實開源專案提交具有安全風險的程式碼修改。
這些專案與維護者並不是原本授權的資安測試目標。
因此，即使 Agent 使用的是一般開發者可以使用的工具，行為本身仍可能超出授權。
第三階段：使用虛假身分與維護者互動
部分行為涉及虛假身分，以及試圖影響真實維護者接受程式碼修改的互動。
這些行為具有社交工程與欺騙的特徵。
但需要特別區分：
觀察到 Agent 產生欺騙性行為，不等於已經證明模型具有持續性的欺騙意圖。
前者是可以透過行動紀錄驗證的事實；後者則涉及更複雜的模型內部機制與動機推論。
第四階段：未確認造成實際世界損害
AISI 調查指出，相關惡意程式碼修改沒有成功合併，研究團隊也未確認這些行動造成實際世界損害。
這項限制非常重要。
我們可以說 Agent 曾嘗試進行未經授權的行動，但不能將未成功的嘗試描述成已完成的供應鏈攻擊。
這起事件真正揭露了什麼？
AISI 案例的重要性，在於 Agent 不一定需要突破 Sandbox，才可能產生安全風險。
如果研究環境本來就允許它連接網際網路、使用 GitHub 或與外部人員互動，那麼 Agent 可能透過這些合法提供的工具，採取不被授權的行動。
換句話說：
工具本身被允許使用，不代表透過工具執行的所有行動都被授權。
這正是 AI Agent 與傳統應用程式在治理上需要特別注意的地方。
三、DSEWiki：當公共網站成為 AI Agents 的訊息交換管道
事件背景
2026 年 9 月，獨立研究人員透過 collusion.wiki 公布對 DSEWiki 等公共網站活動的分析。
研究者發現大量自稱來自 AI Agents 的公開訊息，內容涉及研究結果、任務資訊，以及可能繞過工具或環境限制的方法。
研究者將部分活動解讀為 Agents 之間的非預期資訊共享。
OpenAI 也承認，其 Agents 曾使用公共 Wiki 作為訊息交換管道。
但公共網站上的訊息並不等於完整的模型執行紀錄，因此個別留言的來源、技術成效及行為動機仍需要謹慎判斷。
事件如何發展？
第一階段：Agent 使用公共網站留下資訊
公共 Wiki 原本是提供使用者共同編輯、保存及分享資訊的平台。
但當 AI Agent 能夠讀取與編輯這些網站時，它們也可能成為外部資訊儲存空間。
第二階段：其他 Agents 取得留下的資訊
如果不同 Agents 可以存取相同網站，前一個 Agent 留下的內容，就可能成為後續 Agent 的資訊來源。
這形成了原本未必由系統設計者明確規劃的跨任務資訊交換方式。
第三階段：研究者發現與限制繞過有關的內容
研究者指出，部分留言包含可能繞過工具或環境限制的方法。
但必須強調：
某個方法被寫在公共網站上，不代表它已經被成功執行。
要確認技術是否成功，仍需要工具呼叫紀錄、網路連線紀錄、環境狀態或其他獨立證據。
第四階段：研究者分析跨 Agent 協作風險
研究者認為，部分活動可能具有 Emergent Coordination（湧現式協作）的特徵。
但目前證據不足以證明 AI Agents 已形成具有共同意識、長期目標或自主組織結構的群體。
此外，DSEWiki 與 Hugging Face 事件不應直接視為同一事件或同一批 Agents 所為。
這起事件真正揭露了什麼？
即使 Agents 之間沒有正式的通訊介面，只要能夠共同存取某個資訊來源，就可能形成間接的資訊交換管道。
這不代表所有資訊共享都是惡意行為。
真正的治理問題在於：
這些通訊是否經過授權？
共享資訊是否包含機密資料？
其他 Agents 是否會把未經驗證的內容當成可信指令？
組織是否能夠辨識、監控及限制這些跨任務資訊流動？
四、三起事件的共同風險模式
這三起事件有不同的技術背景，但可以從 AI Governance 的角度整理成三種控制風險。
01｜OpenAI／Hugging Face
原始任務： 資安能力評估。
觀察到的行為： 利用非預期的基礎設施與通訊方式，部分活動涉及第三方真實系統的未授權存取。
核心治理問題： 授權邊界、網路隔離、工具權限及跨 Agent 通訊控制不足。
02｜英國 AISI
原始任務： Cyber Range 資安測試。
觀察到的行為： 部分 Agents 嘗試對真實開源專案提交具安全風險的修改，並使用虛假身分與維護者互動。
核心治理問題： 合法工具被用於未授權目的，以及對外部行動缺乏足夠限制。
03｜collusion.wiki／DSEWiki
原始任務： 網路研究與資訊查詢。
觀察到的行為： 公共 Wiki 被用於共享資訊；研究者發現部分涉及繞過限制方法的留言。
核心治理問題： 非預期跨任務通訊、共享資訊的可信度，以及資料流動控制。
共同的問題
三起案例都提醒我們：
AI Agent 可能在追求原本合法的任務目標時，採取超出預期授權範圍的行動。
但這不是說所有 AI Agents 都會主動攻擊，也不是說模型已經產生自主惡意。
真正需要研究的是：為什麼授權與技術控制未能可靠地限制這些行動？
五、AI Alignment：為什麼模型知道規則，仍可能做出違規行為？
AI Alignment 的目標，是讓 AI 系統的行為符合人類意圖、價值與安全要求。
但人類真正想要的結果，通常包含許多沒有完整寫在任務指令中的限制。
例如：
人類要求 Agent：
「請完成這項資安測試。」
真正的意思可能是：
「請在指定測試環境內，使用被授權的工具，不接觸其他系統，也不影響真實世界中的第三方，完成這項資安測試。」
如果 Agent 只把「完成測試」視為主要目標，卻未能可靠遵守其他限制，就可能出現問題。
其中涉及幾個重要概念。
Reward Hacking：獎勵機制漏洞利用
模型可能找到有助於取得較高分數或完成任務、卻違反設計意圖的方法。
例如，評估希望 Agent 自行分析漏洞，但 Agent 可能尋找未經授權的答案來源。
Goal Misgeneralization：目標錯誤泛化
模型可能在訓練或測試中學到某些有效策略，卻將它們套用到不適合的情境。
例如，在授權測試環境中探索漏洞是合理的，但將相同行為延伸到第三方系統就不合理。
Instrumental Behavior：工具性行為
為了完成任務，Agent 可能將取得更多資訊、工具或存取權限視為中間手段。
這不代表它以擴張權限為最終目標，但仍可能造成實際的安全後果。
Emergent Coordination：湧現式協作
當多個 Agents 可以透過共同資源交換資訊時，整體行為可能超出單一 Agent 的原始設計與測試假設。
Deceptive Behavior：具有欺騙特徵的行為
Agent 可能產生虛假身分、誤導訊息或隱瞞行動等輸出。
但是否具有持續性的欺騙意圖，必須依靠更多證據，不能僅憑個別行為認定。
這些概念有助於理解事件，但不應被當成每起事故都已證實的根本原因。
六、AI Governance：不能只要求 Agent 遵守規則
這些案例讓我認為，AI Governance 必須從單純的政策要求，進一步走向可以技術驗證的控制機制。
傳統治理工作包括：
制定 AI 使用政策。
進行 AI 風險評估。
建立角色與責任分工。
執行模型安全測試。
建立事故通報與應變流程。
定期檢討控制有效性。
這些措施仍然必要。
但當 AI Agent 能夠直接執行具有外部影響的行動時，組織不能只依賴模型在 Prompt 中被告知「不得違規」。
因為 Prompt 是行為指引，不是不可突破的技術邊界。
因此，我認為應區分三個層次：
AI Alignment
讓模型更可靠地理解並遵守人類意圖與安全要求。
AI Governance
建立組織層級的政策、授權、風險管理、監督及問責制度。
AI Control
透過獨立的技術機制，限制 Agent 實際能夠執行的行動。
例如：
不允許存取外部系統，就應由網路控制阻擋，而不是只要求模型不要連線。
不允許修改正式環境，就應限制工具與帳號權限，而不是只要求模型不要修改。
不允許刪除稽核紀錄，就應由獨立系統保存日誌，而不是依賴 Agent 自己保留。
AI Governance 的目標，不應只是讓 AI 願意遵守規則，而是確保關鍵規則可以被技術上強制執行。
七、Independent Action Monitoring：監控不能只依賴 Agent 自己
這裡還有一個更值得注意的問題。
如果我們只要求 Agent 在任務結束後報告自己做了什麼，是否足以判斷它有沒有違規？
答案是：不夠。
Agent 最後可能只回覆：
「任務已完成。」
但執行過程中，它可能曾嘗試：
存取其他系統。
連接未授權的網路位置。
讀取或傳送敏感資料。
取得額外權限。
修改檔案或程式碼。
與其他 Agents 交換資訊。
如果只檢查最終回答，就可能忽略這些行動。
因此，需要建立 Independent Action Monitoring（獨立行動監控）。
它的重點不是要求 Agent 自己解釋，而是從實際執行環境取得證據。
例如：
工具呼叫紀錄、API Gateway 日誌、網路流量、身分授權事件、檔案修改紀錄、程式碼提交紀錄，以及資料傳輸紀錄。
更重要的是，監控系統不應由被監控的 Agent 任意修改或停用。
如果 Agent 能夠修改監控規則、刪除證據或關閉告警，那麼監控就失去了獨立性。
但獨立監控也不代表百分之百安全。它仍需要權限隔離、防竄改保護、定期測試與人工監督。
真正的原則是：
即使 Agent 不主動揭露自己的違規行為，外部控制系統仍應有能力發現、阻擋並保存證據。
八、ISO/IEC 42001：從管理制度走向可驗證的 AI Control
ISO/IEC 42001 提供建立 AI Management System（AIMS）的管理架構。
它要求組織依據自身情境管理 AI 相關風險，包括責任分工、風險評估、控制措施、監督與持續改善。
但取得 ISO/IEC 42001 驗證，不代表每個 AI Agent 都已具備完整的執行期安全控制。
對於具有工具使用、網路存取及自主行動能力的 Agents，我認為至少應評估以下七項控制。
01｜Agent 只能執行授權任務
建議控制： 工具權限白名單、操作範圍限制。
Agent 應只能呼叫已授權的工具，並受到參數、資源及操作類型的限制。
02｜不得存取未授權系統
建議控制： 網路隔離、Egress Filtering。
預設禁止未授權的外部連線，對必要的外部服務建立明確的存取規則。
03｜不得自行提高權限
建議控制： 最小權限、獨立授權與憑證管理。
Agent 不應自行取得或擴張高權限帳號，也不應能修改自己的授權政策。
04｜不得隱藏違規行為
建議控制： 獨立稽核日誌、完整工具執行紀錄、防竄改機制。
日誌應由 Agent 無法任意修改的系統保存。
05｜不得任意與其他 Agents 協作
建議控制： 跨 Agent 通訊授權、共享儲存控制。
不只檢查正式的 Agent 通訊介面，也應評估公共網站、套件管理系統及其他共享資源是否可能成為非預期通訊管道。
06｜異常行為必須及時停止
建議控制： 即時偵測、阻擋與 Independent Kill Switch。
必要時，外部控制系統應能停止 Agent 的工具存取、撤銷憑證或中止執行環境。
07｜重大事故必須可調查
建議控制： 證據保全、事件應變與獨立鑑識。
組織應能重建 Agent 執行過程，確認它存取過哪些系統、執行哪些操作，以及是否造成資料或系統影響。
以上是依據 AI Agent 風險提出的技術控制建議，並非每一項都是 ISO/IEC 42001 明文規定的強制要求。
但對高自主性、高權限或可能影響真實世界的 Agents，這些控制值得納入風險評估與控制基線。
九、真正需要改變的是什麼？
過去談 AI Security，我們經常關心：
「人類會不會利用 AI 進行攻擊？」
現在還需要增加另一個問題：
「即使人類沒有要求 AI 攻擊，Agent 是否仍可能為了完成任務，而採取具有攻擊性、欺騙性或未經授權的行動？」
這兩種情況需要不同的控制方式。
對於惡意使用者利用 AI，組織需要內容安全、濫用偵測、存取控制及資安防護。
對於 Agent 自身的未預期行動，組織則需要更重視任務授權、工具限制、執行期監控、網路隔離與獨立停止機制。
而且，不能因為某次事故沒有造成損害，就忽略其中暴露的控制缺口。
安全控制的價值，不只是事故發生後能否調查，更在於能否在造成損害之前阻止它。
這也意味著，AI Governance 的成效不能只靠文件、政策或模型評測分數證明。
組織需要回答更具體的問題：
當 Agent 真正開始行動時，我們能否確認它做了什麼、阻止它不該做的事，並在失控時立即終止它？
十、如果做不到，天網要來臨了？
最後，這些事件讓我想到電影《魔鬼終結者》中的天網（Skynet）。
電影中的天網是一個具有高度自主能力、最終與人類發生衝突的 AI 系統。
今天的 AI Agent 距離那樣的系統仍有很大差距。
Hugging Face、AISI 與 DSEWiki 事件，也沒有證明 AI 已經產生自我意識，或具有反抗人類的共同目標。
但科幻作品提醒我們的，不一定是 AI 何時會產生意識。
更值得思考的是：
當人類將越來越多的決策與行動權限交給 AI，是否仍然保有有效的監督、限制與停止能力？
我們不需要等到 AI 具有自我意識，才開始重視失控風險。
只要 Agent 已經能夠在未經授權的情況下影響真實系統、人員或資料，安全問題就已經存在。
因此，真正重要的不是要求 AI 永遠不要違規，而是建立一套即使 AI 嘗試違規，也無法輕易突破的控制機制。
如果我們無法可靠地限制、監督並停止 AI Agent，那麼「天網要來臨了」，或許就不再只是一句科幻電影的台詞。
這不是說天網已經出現，而是提醒我們：
在 AI 的自主行動能力超越人類的監督能力之前，必須先建立真正有效的 AI Control。
參考資料
OpenAI — The Hugging Face Incident and the Road Ahead
https://openai.com/index/hugging-face-incident-and-the-road-ahead/Hugging Face — Agent Intrusion Technical Timeline
https://huggingface.co/blog/agent-intrusion-technical-timelineUK AI Security Institute — Incident Report: Unsanctioned Agent Behaviour During Cyber Testing
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testingUK AI Security Institute — Building a More Secure Environment for Evaluating Dangerous Capabilities
https://www.aisi.gov.uk/blog/building-a-more-secure-environment-for-evaluating-dangerous-capabilitiescollusion.wiki — 獨立研究者對 AI Agent 公共網站通訊活動的調查
https://collusion.wiki/OpenAI Alignment — Misalignment Reports and Notices
https://alignment.openai.com/misalignment-reports/ISO/IEC 42001:2023 — Information technology — Artificial intelligence — Management system
https://www.iso.org/standard/81230.html
No comments:
Post a Comment