觀點網訊:近日,MIT CSAIL研究團隊展示一種名為“權重空間編程”(Weight-Space Programming)的AI優化方法。該方法讓GPT-6 Astra像程序員閱讀和修改代碼一樣,直接分析神經網絡權重,定位模型問題並修改其中的參數,整個過程沒有使用傳統的梯度訓練。

研究人員僅修改了Qwen3.5-0.8B的13.072萬個參數,佔參數總量的0.016%。修改後,該模型在MATH-500上的成績從7.9%提升至48.1%,GSM8K成績從13.8%提升至67.1%,IFEval指令遵循成績也從21.0%上升至62.3%。同時,該模型在MATH-500上觸及token上限的回答比例從93.0%降至33.1%。

這項方法還應用於其他任務。研究團隊在小車控制網絡上修改了3.5%的權重,為網絡加入“先後退蓄力,再全速前進”的控制路徑,使成功率從0提升至100%。

消息傳開後,有觀點認為這是一種剛剛在最新一代模型中出現的“階躍式能力”,如果大模型能直接讀寫另一個模型的權重,未來AI優化AI可能連重新訓練都不需要了。也有質疑指出,Qwen原本存在嚴重的重複推理問題,數學成績大幅上漲可能只是因為GPT-6 Astra修好了這個問題,並不等於一個模型憑空獲得了新的數學能力。