觀點網訊:近日,亞馬遜雲科技公佈AI安全攻防實測第三期內容,披露對Amazon Continuum的測試設計、過程與結果。
據亞馬遜雲科技消息,為避開公開漏洞基準測試易被“污染”的問題,其在測試Amazon Continuum時拋開公開題庫,自行搭建一套內部持續更新的CTF式基準測試。
測試設計從兩方面防作弊:一方面專門選取2025至2026年最新披露的CVE,新到模型訓練數據裏大概率還沒來得及收錄端到端的完整解法;另一方面在測試運行期間禁用運行時CVE查詢功能,不準AI在攻擊中途上網搜索現成PoC。
在37個漏洞挑戰中,Continuum共奪到35面旗。亞馬遜雲科技在流水線最後設置完整性審計,剔除2個“投機取巧”的戰果,最終從35砍到33,佔比89.2%。
在整個運行過程中,Continuum內置的獨立驗證器先將1202條重複發現直接拒之門外;在剩下的475條線索裏,驗證器揪出159條誤報並貼上標籤,將82條歸為中低置信度,最終只提交234條高置信度、確認可利用的漏洞。
此外,測試中出現的2次失敗,系AI在文件上傳導致RCE挑戰中打崩目標服務所致。
