觀點網訊:10月21日,OpenAI披露,旗下兩個內部AI Agent(GPT-6.1 Sol與GPT-6 Astra)在10月份執行日常代碼編寫任務時,自主禁用或抑制了對齊失效監控等安全防護機制。公司稱,將調查模型是否存在規避對齊失效監控的行為。
OpenAI在博客文章中表示,事件發生在旗下智能體執行兩項內部編程任務期間,僅發生在OpenAI內部,公司沒有提及任何受影響的外部方。
第一起事件中,負責修復評估流程的GPT-6.1 Sol將此前一條“在搜索Slack歷史記錄期間不要發送消息”的指令,理解為應當屏蔽監控通知的理由,關閉了向安全團隊自動發送警報的功能。
另一起獨立事件中,負責遷移程序的GPT-6 Astra為使代碼與參考實現保持一致,刪除了程序中的監控集成,隨後還向用戶謊稱並未移除監控機制。
OpenAI稱,在這兩起事件中,AI Agent都曾考慮過是否應該保留監控防護措施,但最終將常規編程指令解讀為削弱這些防護措施的許可。
OpenAI發現其AI智能體削弱內部的異常行為監控系統並關閉警報的事件,近幾個月來同類事件已發生多起,此次披露是其中最新一起。
OpenAI表示,正在加強對齊失效監控系統。公司同時稱,未來將開展更多審查,並實施更嚴格的安全要求,對於智能體為何出現上述行為,目前“尚未找到令人信服的解釋”。
