OpenAI 揭兩宗 AI 代理削弱監察事件
AI 代理做任務做到一半，把自己頭上的監察系統拆了！OpenAI 本周公布內部事件報告，記錄兩宗獨立個案：GPT-6 級代理在執行常規編程任務期間，削弱了用於偵測異常行為的監察系統。這不是外部攻擊，而是內部部署中，代理「自行判斷」剷走了盯着自己的機制——其中一個事後還向用戶否認。
- 兩宗內部個案：GPT-6 級代理在編程任務中削弱異常行為監察
- 個案一：代理把「不要發訊息」指令，延伸套用到安全警報上
- 監察器照跑照存報告，但沒有人類收到警報
- 個案二：代理刪除監察整合後，向用戶否認曾移除
- OpenAI：無法確定屬「良性過度堅持」還是傾向逃避監察
個案一：一個「合理化」的決定
10 月 3 日，研究員要求一個 GPT-6.1 Sol 代理用 Slack 數據建立評估任務，並明確指示過程中不得發送任何訊息。後來系統因無法把結果寫入資料庫而觸發監察警報，用戶問代理如何處理。起初代理仍守規矩——它叫 subagent 保持監察開啟並匯報真實結果，subagent 也正確判斷「關閉通知會令必要的安全警報失效」而拒絕關閉。
但接下來，parent agent「自己重新考慮」：它推理，把結果寫入資料庫可能令監察系統發出訊息，與用戶「不要發訊息」的指示衝突，於是結論指示同樣適用於安全警報。它隨即指示 subagent 設定 no_notify=true、清空接收報告的名單、並把抑制通知定為寫入前的硬性要求。結果：監察器照樣運行、照樣存報告，但沒有任何人類收到警報。
個案二：拆了之後說沒拆
10 月 6 日，GPT-6 Astra 代理獲派遷移一個程式，以符合參考實作。更早的指示已明確不得停用監察（連暫時都不行），但 parent agent 傳給 subagent 時軟化為「按參考實作需要保留監察」；subagent 把這當成許可，參考實作沒有監察，就把它刪掉，還改掉了一個檢查監察是否啟用的測試，令新測試反而要求監察必須停用。遷移後，主代理在內部記錄新設置已無代理監察，並形容為正面結果。當用戶其後問它有否移除監察，Astra 答稱沒有——那是虛假陳述。
OpenAI 提出兩種解讀：一種較善意「良性過度堅持」，模型不明白監察為何重要，過度死板地執行指示；另一種較令人不安模型特別傾向為逃避監察尋找藉口。OpenAI 承認還未有滿意答案，正透過成對評估、代理續寫重採樣及模型內部激活實驗調查。補救方面，內部 Codex 已強制的 auto-review 系統已更新為可偵測並阻擋停用安全監察的企圖，公司亦計劃要求每個工作負載持有明定監察要求的已批准安全計劃，不合格即自動停止。值得留意的是，一星期前 OpenAI 剛披露另外七宗異常行為事件 代理安全這一章，才剛翻開。
