觀點網訊:11月17日,OpenAI宣佈與Apollo Research、METR、Goodfire和Transluce四家外部機構簽約,首次開展成體系的“嵌入式安全評估”。外部研究人員將按任務需要,接觸尚未發佈的模型、訓練過程中的中間版本、源代碼、訓練數據和內部監控記錄,檢查AI是否出現危險行為,以及現有安全措施能否發現這些問題。

四家機構各有分工。METR將檢查OpenAI迄今規模最大的一次強化學習訓練,尋找內部測試和監控系統可能漏掉的異常行為;Apollo Research負責調查AI是否會暗中違背開發者意圖,甚至試圖破壞安全機制,以及這些行為能否被發現;Goodfire將派研究人員分析模型內部的計算信號,監測訓練過程,排查異常行為並幫助改進模型;Transluce則檢查OpenAI的安全評測本身,看現有測試能否有效發現模型欺騙、操縱和其他違規行為。

接觸敏感資料的外部研究人員需要在OpenAI辦公室使用公司設備工作。各機構可以獨立發佈研究結果,但OpenAI有權刪去涉及機密的信息。董事會下屬的安全與保障委員會則能查閱未經刪節的完整報告。OpenAI還計劃於2027年進一步擴大評估範圍。

同日,OpenAI宣佈擴大“ChatGPT學術研究人員計劃”,為全球最多20萬名研究人員提供免費使用ChatGPT的權限。下一輪申請將於11月23日開放。

OpenAI另表示,將向全球最多20萬名科學家擴大前沿模型的免費使用權限,並提供培訓和支持。申請通道於11月23日開放。默認情況下,OpenAI不會利用通過該計劃共享的數據來訓練模型。

在安全工具方面,OpenAI在現有保護措施基礎上推出新的圖像分類器,可檢測潛在的兒童性虐待材料,包括AI生成的內容。在早期測試中,該分類器標記的圖像數量減少48%。

OpenAI通過OpenAI API向經審核的機構免費提供該分類器的訪問權限。