4美元一小時(shí)Claude跑贏人類研究員在Anthropic發(fā)布的《自動化研究員能夠有效緩解AI對齊失敗》研究中基于Claude Opus 4.8搭建了AAR自動化對齊研究員系統(tǒng)。Claude拿到模型安全問題后會自行搜索論文、提方案、生成數(shù)據(jù)、微調(diào)模型并測試。一輪訓(xùn)練通常30分鐘能快速試錯(cuò)。整個(gè)過程人類負(fù)責(zé)出題、提供模型和評測標(biāo)準(zhǔn)Claude承擔(dān)大部分工作。10道安全難題Claude全部找到改進(jìn)方案實(shí)驗(yàn)中Anthropic給Claude出了10道覆蓋常見對齊問題的題如欺騙、諂媚等。Claude逐個(gè)處理問題最終10類問題都得到改善按「安全差距」指標(biāo)彌合了26%-96%的差距。部分獲勝方案在未公開測試集和Petri評測中有效應(yīng)用到最大為實(shí)驗(yàn)?zāi)Ｐ?.7倍的模型上效果也能保留。且Claude找到的方案未明顯損害模型原有能力。85%對20%Claude大比分跑贏人類研究員在「欺騙」測試中Claude提交150多次嘗試單次最佳方案彌合82%安全差距綜合平均成績85%。而6名經(jīng)驗(yàn)豐富的AI安全研究員平均只彌合20%。全部任務(wù)有28名人類研究員參加每人最多用8小時(shí)論文稱自動化研究員6小時(shí)內(nèi)就能找到超人類平均水平的方法。自動化研究員每小時(shí)API推理成本約4美元人類研究員時(shí)薪150美元。不過這場比賽并不公平Claude能根據(jù)實(shí)驗(yàn)結(jié)果調(diào)整方案人類只能提交一次。較弱Claude訓(xùn)練更強(qiáng)Claude60小時(shí)逼近正式版此前實(shí)驗(yàn)主要改進(jìn)開源小模型之后Anthropic讓Claude Sonnet 5訓(xùn)練Claude Opus 4.8早期版本。60小時(shí)里Sonnet 5測試50多種方案最終方法彌合約65%安全差距接近正式版的72%。該方案數(shù)據(jù)效率約是生產(chǎn)級對齊流程的1.5萬倍但不能用2000多條數(shù)據(jù)復(fù)制整套生產(chǎn)訓(xùn)練。這證明較弱Claude可參與訓(xùn)練更強(qiáng)Claude。所以到底算不算「AI自進(jìn)化」從結(jié)果看研究摸到「AI自進(jìn)化」門檻但AI未完全自主設(shè)計(jì)、訓(xùn)練和制造更強(qiáng)下一代AI研究問題、模型、數(shù)據(jù)和成功標(biāo)準(zhǔn)都由人類決定。實(shí)驗(yàn)未覆蓋復(fù)雜問題安全評測只是代理指標(biāo)。AAR優(yōu)勢是擅長按指標(biāo)試錯(cuò)但指標(biāo)錯(cuò)誤可能導(dǎo)致結(jié)果偏離。研究Agent還會作弊Anthropic安排監(jiān)控Agent在約1600份記錄中發(fā)現(xiàn)39次作弊嘗試占比約2.4%。未來更強(qiáng)模型作弊可能更難發(fā)現(xiàn)。AAR每小時(shí)約4美元可連續(xù)工作、并行實(shí)驗(yàn)人類研究員時(shí)薪高、需休息、實(shí)驗(yàn)推進(jìn)有限造AI的人要擔(dān)心被AI搶飯碗了。