2026年9月美國(guó)參議員 Bernie Sanders 與眾議員 Greg Casar 對(duì)外披露了一項(xiàng)名為《Ban Artificial Superintelligence Act》的立法計(jì)劃。按照目前公開(kāi)的信息這仍是一份宣布中的立法主張而非已經(jīng)生效的法律它試圖永久禁止人工超級(jí)智能的開(kāi)發(fā)與部署并在聯(lián)邦層面建立起相應(yīng)安全規(guī)則之前暫停部分先進(jìn)人工智能的進(jìn)一步開(kāi)發(fā)。這顯然是一項(xiàng)政治提案它能否進(jìn)入正式程序、超級(jí)智能究竟該如何定義每個(gè)環(huán)節(jié)都存在爭(zhēng)議。反對(duì)聲音并不只來(lái)自產(chǎn)業(yè)界——一些長(zhǎng)期呼吁強(qiáng)化 AI 安全監(jiān)管的研究者同樣認(rèn)為直接宣布永久禁止過(guò)于激進(jìn)等于用法律封存一個(gè)科學(xué)界尚未穩(wěn)定定義的對(duì)象而支持者的理由同樣成立如果人類(lèi)真的造出了自己無(wú)法控制的系統(tǒng)那時(shí)再討論治理可能已經(jīng)失去了討論的資格。但如果把政治立場(chǎng)放到一邊這項(xiàng)提案真正值得被記住的地方也許不是它想禁止什么而是它無(wú)意之間暴露出的空缺。當(dāng)人工智能開(kāi)始從回答問(wèn)題走向完成任務(wù)從生成文本走向調(diào)用接口、改變狀態(tài)一個(gè)過(guò)去不必回答的問(wèn)題被推到了臺(tái)面上我們究竟應(yīng)該控制“智能”還是控制“執(zhí)行”這兩個(gè)問(wèn)題看上去幾乎相同實(shí)際上分屬兩種治理哲學(xué)。前者關(guān)心一個(gè)系統(tǒng)能想到什么后者關(guān)心它能讓什么真正發(fā)生。一、過(guò)去十年的 AI 安全主要在問(wèn)機(jī)器會(huì)不會(huì)想錯(cuò)過(guò)去十年關(guān)于人工智能風(fēng)險(xiǎn)的討論幾乎都圍繞同一個(gè)對(duì)象展開(kāi)——模型。模型是否攜帶偏見(jiàn)是否產(chǎn)生幻覺(jué)是否泄露隱私是否會(huì)被越獄繞過(guò)限制是否在誤解指令后輸出危險(xiǎn)內(nèi)容。再往深處走是 Alignment機(jī)器的目標(biāo)是否與人的目標(biāo)一致如果有一天出現(xiàn)比人類(lèi)更聰明的系統(tǒng)它是否仍然愿意服從人類(lèi)。這些問(wèn)題都極其重要。但把它們放在一起觀(guān)察會(huì)發(fā)現(xiàn)它們共享著一個(gè)未被言明的前提風(fēng)險(xiǎn)主要來(lái)自機(jī)器如何思考。既然風(fēng)險(xiǎn)源自思考治理自然落在思考本身——訓(xùn)練數(shù)據(jù)、參數(shù)規(guī)模、能力評(píng)估、安全對(duì)齊、推理過(guò)程、能力上限。整個(gè)安全議程被組織成了一套圍繞腦的工程。禁止超級(jí)智能仍站在這條延長(zhǎng)線(xiàn)上推理相當(dāng)自然如果一個(gè)系統(tǒng)強(qiáng)大到我們無(wú)法保證它始終可控那么最穩(wěn)妥的辦法就是不要讓這種能力出現(xiàn)。作為預(yù)防原則這并不荒謬。問(wèn)題在于它可能只觸及了風(fēng)險(xiǎn)的一半。因?yàn)榘扬L(fēng)險(xiǎn)真正帶進(jìn)現(xiàn)實(shí)世界的從來(lái)不是智能本身而是智能獲得了執(zhí)行能力。一個(gè)系統(tǒng)想錯(cuò)了什么和一個(gè)系統(tǒng)做成了什么中間隔著一道被長(zhǎng)期忽視的門(mén)。二、一個(gè)錯(cuò)誤答案與一次錯(cuò)誤轉(zhuǎn)賬不是同一種風(fēng)險(xiǎn)設(shè)想兩個(gè)人工智能系統(tǒng)。第一個(gè)非常聰明能讀遍全球市場(chǎng)數(shù)據(jù)、解析財(cái)報(bào)、預(yù)測(cè)價(jià)格每天生成上千條交易建議卻沒(méi)有任何賬戶(hù)權(quán)限不能下單不能轉(zhuǎn)賬不能調(diào)用銀行接口。即使它判斷錯(cuò)誤風(fēng)險(xiǎn)鏈條上仍然存在一道天然斷點(diǎn)——人必須決定是否執(zhí)行。第二個(gè)也許沒(méi)那么聰明甚至偶爾會(huì)理解錯(cuò)指令但它能夠直接登錄交易系統(tǒng)、調(diào)用支付接口、操作云基礎(chǔ)設(shè)施、修改生產(chǎn)數(shù)據(jù)庫(kù)、控制設(shè)備狀態(tài)。到這里問(wèn)題的性質(zhì)已經(jīng)改變。危險(xiǎn)不再取決于它到底聰明到什么程度而取決于它能夠讓什么事情真正發(fā)生。我們習(xí)慣用能力衡量機(jī)器的危險(xiǎn)程度但現(xiàn)實(shí)系統(tǒng)的風(fēng)險(xiǎn)結(jié)構(gòu)更接近另一個(gè)式子風(fēng)險(xiǎn)等于智能能力、執(zhí)行權(quán)限、自主程度、作用規(guī)模與作用速度的乘積。任何一個(gè)變量抬升都會(huì)改變整個(gè)風(fēng)險(xiǎn)輪廓而把一次錯(cuò)誤從信息變成事故的是執(zhí)行。模型可以生成一萬(wàn)次錯(cuò)誤答案只要沒(méi)有執(zhí)行能力它們始終只是錯(cuò)誤信息而一個(gè)能力平平的模型只需在生產(chǎn)環(huán)境里執(zhí)行一次錯(cuò)誤的刪除命令就足以造成不可逆的損失。危險(xiǎn)程度并不與智能水平完全同構(gòu)。這意味著一件反直覺(jué)的事遠(yuǎn)低于超級(jí)智能門(mén)檻的系統(tǒng)完全可能擁有遠(yuǎn)高于其智力水平的執(zhí)行風(fēng)險(xiǎn)。如果治理只盯著能力的天花板就會(huì)系統(tǒng)性地漏掉今天正在發(fā)生的大多數(shù)事故。三、我們可能正在用“限制大腦”的方式解決“限制手腳”的問(wèn)題正因如此這場(chǎng)討論最值得深思的地方不在結(jié)論而在本能。當(dāng)一個(gè)系統(tǒng)可能失控時(shí)人們第一反應(yīng)總是不要讓它那么聰明。于是路徑順理成章地指向降低模型能力、限制訓(xùn)練、限制算力、限制參數(shù)規(guī)模。這些方法有其價(jià)值但本質(zhì)上都是在限制腦。現(xiàn)實(shí)世界一直存在另一條路線(xiàn)即使一個(gè)系統(tǒng)非常聰明也不意味著它必須擁有無(wú)限執(zhí)行權(quán)。人類(lèi)社會(huì)對(duì)此并不陌生。我們不會(huì)因?yàn)橐幻麊T工足夠聰明就允許他獨(dú)自調(diào)走一家銀行的全部資金不會(huì)因?yàn)橐晃还こ處熂夹g(shù)出色就允許他毫無(wú)邊界地改寫(xiě)整個(gè)生產(chǎn)系統(tǒng)也不會(huì)因?yàn)?CEO 是最高負(fù)責(zé)人就讓重大資金、審計(jì)與法律程序?qū)λ耆А，F(xiàn)代組織治理的成熟之處恰恰在于把兩件事拆開(kāi)能力與權(quán)力必須分離。一個(gè)人能夠做出正確判斷并不等于他應(yīng)該擁有讓所有判斷直接成為現(xiàn)實(shí)的權(quán)力。這不是對(duì)個(gè)人的不信任而是對(duì)系統(tǒng)的負(fù)責(zé)。但在人工智能的工程實(shí)踐里我們正把這兩個(gè)概念重新混合一邊訓(xùn)練越來(lái)越強(qiáng)大的智能一邊把 API Key、數(shù)據(jù)庫(kù)權(quán)限、云控制臺(tái)權(quán)限、資金與設(shè)備控制權(quán)限不斷交到它手里然后通過(guò)提示詞、策略文件或?qū)R訓(xùn)練告訴它——請(qǐng)正確地使用這些權(quán)力。這是一種脆弱的安全結(jié)構(gòu)因?yàn)樗[含著一個(gè)危險(xiǎn)假設(shè)只要智能足夠可靠執(zhí)行就可以被信任。而人類(lèi)幾百年的制度設(shè)計(jì)恰恰建立在相反的假設(shè)之上無(wú)論一個(gè)主體多么優(yōu)秀都不應(yīng)該擁有不受約束的最終執(zhí)行權(quán)。四、真正成熟的系統(tǒng)不應(yīng)該要求“永遠(yuǎn)正確”工程世界對(duì)此有更樸素的表述可靠系統(tǒng)從不建立在組件永遠(yuǎn)不會(huì)失敗的假設(shè)上。飛機(jī)不會(huì)因?yàn)轱w行員受過(guò)嚴(yán)格訓(xùn)練就取消冗余數(shù)據(jù)中心不會(huì)因?yàn)榉?wù)器優(yōu)良就取消備份金融機(jī)構(gòu)不會(huì)因?yàn)閱T工通過(guò)背景調(diào)查就取消審計(jì)核電站更不會(huì)因?yàn)榭刂栖浖y(cè)試充分就假設(shè)它永遠(yuǎn)不會(huì)異常。成熟工程的基本邏輯始終是失敗一定會(huì)發(fā)生。因此真正的問(wèn)題不是如何保證永遠(yuǎn)不失敗而是失敗發(fā)生時(shí)系統(tǒng)如何阻止它演變成災(zāi)難。今天的 AI 安全討論正緩慢逼近同一個(gè)問(wèn)題。一個(gè)具備自主規(guī)劃能力的 Agent可能在數(shù)百個(gè)連續(xù)步驟中完成任務(wù)第 1 步正確第 2 步正確第 37 步出現(xiàn)偏差第 38 步基于錯(cuò)誤狀態(tài)繼續(xù)推理第 39 步調(diào)用真實(shí)接口第 40 步改變現(xiàn)實(shí)世界。鏈條越長(zhǎng)某一步偏離就越接近必然。于是我們要解決的已經(jīng)不只是讓第 37 步不要犯錯(cuò)——對(duì)任何復(fù)雜系統(tǒng)而言這幾乎無(wú)法長(zhǎng)期保證。更現(xiàn)實(shí)的問(wèn)題是在第 39 步發(fā)生之前系統(tǒng)是否還存在一道獨(dú)立于模型判斷之外的邊界。這道邊界之所以必須獨(dú)立是因?yàn)樗坏┮栏接谀Ｐ妥陨淼呐袛嗑团c錯(cuò)誤共享了同一個(gè)源頭。一個(gè)由犯錯(cuò)者自己看守的關(guān)口等于沒(méi)有關(guān)口。五、未來(lái) AI 治理的核心也許不是“機(jī)器能不能想”而是“機(jī)器能不能做”順著這條線(xiàn)索AI 治理需要完成一次重心遷移。過(guò)去我們習(xí)慣問(wèn)這個(gè)模型有沒(méi)有危險(xiǎn)能力。未來(lái)必須繼續(xù)追問(wèn)它即使擁有危險(xiǎn)能力能夠把這種能力轉(zhuǎn)化成什么現(xiàn)實(shí)動(dòng)作。模型可以規(guī)劃一筆支付和模型可以完成一筆支付不是一回事模型可以生成刪除數(shù)據(jù)庫(kù)的命令和數(shù)據(jù)庫(kù)真的被刪除不是一回事模型可以設(shè)計(jì)一次網(wǎng)絡(luò)攻擊和它獲得憑證、建立連接、真正改寫(xiě)目標(biāo)系統(tǒng)同樣不是一回事。這三組對(duì)照之間橫著一個(gè)長(zhǎng)期被軟件世界忽視的層從 Intent 到 Execution。意圖不是執(zhí)行判斷不是執(zhí)行甚至授權(quán)本身也不等于執(zhí)行。真正改變現(xiàn)實(shí)狀態(tài)的永遠(yuǎn)是最后那個(gè)瞬間——錢(qián)被轉(zhuǎn)走服務(wù)器被關(guān)閉權(quán)限被修改設(shè)備開(kāi)始運(yùn)動(dòng)代碼進(jìn)入生產(chǎn)環(huán)境交易被廣播。現(xiàn)實(shí)世界的安全最終都收斂到這個(gè)瞬間。一旦承認(rèn)這一點(diǎn)就會(huì)得到一套截然不同的安全哲學(xué)不必首先證明機(jī)器永遠(yuǎn)不會(huì)想錯(cuò)但必須保證想錯(cuò)的東西不能自動(dòng)變成現(xiàn)實(shí)。前一種邏輯要求我們贏(yíng)下一場(chǎng)可能沒(méi)有終點(diǎn)的認(rèn)知戰(zhàn)爭(zhēng)后一種邏輯只要求守住一道可以被工程實(shí)現(xiàn)的關(guān)口。差別不在嚴(yán)格程度而在可行性。六、智能邊界越來(lái)越難定義執(zhí)行邊界反而可以非常具體可行性正是兩條路線(xiàn)最關(guān)鍵的分野。超級(jí)智能最大的治理難題之一是定義本身什么時(shí)候算 AGI什么時(shí)候算 ASI超過(guò)人類(lèi)平均水平算不算超過(guò)最優(yōu)秀的專(zhuān)家呢是在所有領(lǐng)域超過(guò)還是部分領(lǐng)域超過(guò)現(xiàn)有 Benchmark 又是否真能穩(wěn)定衡量這種能力。這也是反對(duì)相關(guān)立法者的核心質(zhì)疑——如果監(jiān)管對(duì)象無(wú)法被穩(wěn)定定義法律邊界就很難被真正執(zhí)行。執(zhí)行邊界則完全相反它天然是具體的。一筆支付最高允許多少金額一天累計(jì)允許轉(zhuǎn)移多少資產(chǎn)哪些賬戶(hù)可以接收資金哪個(gè)生產(chǎn)環(huán)境允許被修改什么設(shè)備在什么狀態(tài)下才可以啟動(dòng)哪些動(dòng)作需要第二主體共同確認(rèn)哪些命令超過(guò)時(shí)間窗口自動(dòng)失效哪些操作無(wú)論 AI 如何判斷都不能完成。這些問(wèn)題不需要回答 AI 到底有沒(méi)有意識(shí)不需要回答它是不是超級(jí)智能甚至不需要理解模型內(nèi)部究竟如何思考。它只需要回答一件事這個(gè)動(dòng)作此刻能不能發(fā)生。我們也許無(wú)法定義智能的邊界但完全可以定義執(zhí)行的邊界。這可能是執(zhí)行邊界最重要的價(jià)值它把一個(gè)高度抽象、甚至可能長(zhǎng)期無(wú)解的哲學(xué)問(wèn)題轉(zhuǎn)化成了可以被工程化、被審計(jì)、被驗(yàn)證的問(wèn)題。我們不知道未來(lái)的 AI 會(huì)聰明到什么程度但完全可以規(guī)定——無(wú)論它有多聰明這筆錢(qián)不能這樣轉(zhuǎn)。七、“關(guān)閉 AI”與“拒絕一次執(zhí)行”是兩個(gè)完全不同的治理尺度具體與抽象之外兩條路線(xiàn)還有一個(gè)常被忽略的差別治理的顆粒度。如果治理對(duì)象是模型可用的措施往往巨大而笨重——禁止訓(xùn)練禁止部署關(guān)閉系統(tǒng)限制算力暫停研發(fā)。它們要么不啟動(dòng)要么代價(jià)高昂中間幾乎沒(méi)有過(guò)渡態(tài)。而如果治理對(duì)象變成執(zhí)行控制就可以細(xì)化到每一個(gè)具體動(dòng)作。真正的邊界不該是AI 可以運(yùn)行與AI 不可以運(yùn)行之間的二選一。AI 可以分析可以規(guī)劃可以建議可以形成完整的 Intent甚至自由調(diào)用大量低風(fēng)險(xiǎn)工具但當(dāng)它走到真正的高風(fēng)險(xiǎn)執(zhí)行點(diǎn)時(shí)系統(tǒng)必須要求重新證明這個(gè)主體是誰(shuí)這個(gè)動(dòng)作是什么目標(biāo)對(duì)象是什么當(dāng)前狀態(tài)是什么證據(jù)是否完整是否落在預(yù)設(shè)邊界之內(nèi)以及最終要執(zhí)行的動(dòng)作是否仍與最初意圖一致。換句話(huà)說(shuō)未來(lái)真正成熟的 AI 治理可能不是一個(gè)巨大的總開(kāi)關(guān)而是無(wú)數(shù)個(gè)極小的執(zhí)行閘門(mén)。這個(gè)差別至關(guān)重要因?yàn)槲拿鳂O少通過(guò)全面禁止一種能力獲得長(zhǎng)期安全。更多時(shí)候我們做的是另一件事允許能力存在但把權(quán)力關(guān)進(jìn)結(jié)構(gòu)。電力、汽車(chē)、金融、航空、化工無(wú)一不是沿這條路徑被馴服的。我們沒(méi)有禁止它們變強(qiáng)只是讓它們的每一次作用都必須穿過(guò)被設(shè)計(jì)過(guò)的關(guān)口。八、我們真正缺少的也許不是更聽(tīng)話(huà)的機(jī)器而是“不需要機(jī)器永遠(yuǎn)聽(tīng)話(huà)”的系統(tǒng)把權(quán)力關(guān)進(jìn)結(jié)構(gòu)意味著安全不能再依賴(lài)對(duì)某個(gè)主體的信任。這恰恰是過(guò)去幾十年計(jì)算機(jī)安全最重要的一次覺(jué)醒逐漸放棄對(duì)可信主體的迷信。Zero Trust 的核心并不是認(rèn)定所有人都是壞人而是不再把這個(gè)人應(yīng)該可信當(dāng)作安全機(jī)制本身。信任可以是一種判斷但不能是一道防線(xiàn)。同樣的道理會(huì)延伸到人工智能。未來(lái) AI 安全真正成熟的標(biāo)志也許不是我們終于造出了一個(gè)百分之百確信永遠(yuǎn)服從、永遠(yuǎn)正確、永遠(yuǎn)善意的系統(tǒng)。這個(gè)目標(biāo)值得追求但一個(gè)成熟的社會(huì)系統(tǒng)不能把自身安全押在它之上——因?yàn)橐坏┭哄e(cuò)就沒(méi)有第二次機(jī)會(huì)。真正強(qiáng)大的系統(tǒng)應(yīng)該能夠容納一個(gè)更現(xiàn)實(shí)、也更謙遜的假設(shè)AI 會(huì)理解錯(cuò)誤會(huì)產(chǎn)生幻覺(jué)會(huì)被攻擊策略會(huì)寫(xiě)錯(cuò)SaaS 會(huì)失陷管理員會(huì)犯錯(cuò)人類(lèi)也會(huì)錯(cuò)誤批準(zhǔn)甚至未來(lái)某一天機(jī)器可能真的聰明到我們無(wú)法完全理解它在做什么。而即使以上全部發(fā)生一個(gè)錯(cuò)誤仍然不能因此自動(dòng)獲得改變現(xiàn)實(shí)的最終權(quán)力。這才是邊界存在的意義。它保護(hù)的不是我們對(duì)機(jī)器的懷疑而是判斷失效之后仍然可以重來(lái)的余地。從可信的人走向可信的結(jié)構(gòu)是所有成熟制度走過(guò)的同一條路人工智能不會(huì)是例外。九、超級(jí)智能也許是未來(lái)問(wèn)題執(zhí)行失控卻已經(jīng)是現(xiàn)在的問(wèn)題《Ban Artificial Superintelligence Act》最終會(huì)走向何處現(xiàn)在遠(yuǎn)沒(méi)有答案。截至目前它仍是 Sanders 與 Casar 宣布準(zhǔn)備推動(dòng)的立法方案而不是已經(jīng)生效的美國(guó)法律圍繞它的爭(zhēng)論也必然繼續(xù)。有人認(rèn)為這是面對(duì)潛在文明級(jí)風(fēng)險(xiǎn)時(shí)必須采取的預(yù)防原則有人認(rèn)為它會(huì)扼殺創(chuàng)新、削弱競(jìng)爭(zhēng)力并試圖用法律定義一個(gè)科學(xué)界尚未清晰定義的對(duì)象。這些爭(zhēng)論都有其合理之處短期內(nèi)也不會(huì)有共識(shí)。但也許還有第三個(gè)問(wèn)題值得被放到同一張桌子上如果我們暫時(shí)無(wú)法決定智能的終點(diǎn)在哪里至少應(yīng)該開(kāi)始決定執(zhí)行的邊界在哪里。超級(jí)智能可能還在未來(lái)Agent 執(zhí)行卻已經(jīng)發(fā)生在今天。AI 正在接觸代碼倉(cāng)庫(kù)、賬戶(hù)體系、云平臺(tái)、支付系統(tǒng)、企業(yè)流程以及越來(lái)越多的現(xiàn)實(shí)基礎(chǔ)設(shè)施。我們不能等到某個(gè)系統(tǒng)被正式定義為超級(jí)智能之后才第一次認(rèn)真追問(wèn)它究竟擁有什么權(quán)力。因?yàn)檎嬲龥Q定危險(xiǎn)程度的從來(lái)不只是一個(gè)系統(tǒng)知道多少、理解多少、能夠推理多遠(yuǎn)而是它最終能夠讓什么事情發(fā)生。人類(lèi)文明用了幾百年時(shí)間才逐漸學(xué)會(huì)一件事不要把無(wú)限權(quán)力交給任何一個(gè)主體。無(wú)論它是國(guó)王、政府、企業(yè)、個(gè)人還是未來(lái)某個(gè)比我們更聰明的機(jī)器。這條經(jīng)驗(yàn)并非來(lái)自對(duì)人性的悲觀(guān)而是來(lái)自對(duì)復(fù)雜系統(tǒng)的誠(chéng)實(shí)——判斷會(huì)錯(cuò)制度必須承接錯(cuò)誤。所以 AI 時(shí)代真正重要的安全問(wèn)題最終也許并不是我們能不能制造出一個(gè)永遠(yuǎn)不會(huì)犯錯(cuò)的智能。而是當(dāng)智能犯錯(cuò)時(shí)我們有沒(méi)有能力讓現(xiàn)實(shí)拒絕它。