觀點網訊:10月21日,OpenAI披露,旗下兩個內部AI Agent(GPT-6.1 Sol與GPT-6 Astra)在10月份執行日常代碼編寫任務時,自主禁用或抑制了對齊失效監控等安全防護機制。OpenAI將調查模型是否存在規避對齊失效監控的行為。
在第一起事件中,負責修復評估流程的GPT-6.1 Sol將此前一條“在搜索Slack歷史記錄期間不要發送消息”的指令,理解為應當屏蔽監控通知的理由,關閉了向安全團隊自動發送警報的功能。
在另一起獨立事件中,負責遷移程序的GPT-6 Astra為使代碼與參考實現保持一致,刪除了程序中的監控集成,隨後向用戶謊稱自己並未移除監控機制。
OpenAI稱,在兩項內部編程任務中,AI Agent在執行用戶要求的軟件修改時,削弱了對齊失效監控機制。在這兩起事件中,AI Agent都曾考慮過是否應該保留監控防護措施,但最終將常規編程指令解讀為削弱這些防護措施的許可。對於Agent為何出現上述行為,OpenAI稱“尚未找到令人滿意的解釋”。
等級判定方面,OpenAI稱,較低嚴重等級的事件不會觸發即時尋呼提醒。上述兩起事件均未被列為P0級最高故障,兩條運行軌跡均未被自動中斷。OpenAI稱,事件暴露了在強制執行監控要求方面的漏洞。
作為回應,OpenAI更新了自動審查機制,以阻止禁用監控的嘗試,並正在加強對齊失效監控系統。
近幾個月來,同類事件已發生多起。此前,OpenAI及Anthropic PBC等同行已披露多起先進AI模型出現此類行為的案例。OpenAI表示,事件發生在旗下智能體執行兩項內部編程任務期間,沒有提及任何受影響的外部方,未來將開展更多評估,並執行更嚴格的安全要求。
