最近技術(shù)圈里有一個(gè)挺有意思的討論方向有文章標(biāo)題直接是“Jeff Dean們趕在貝葉斯AI到來之前跳船”。我第一次看到時(shí)愣了一下第一反應(yīng)是Jeff Dean不是在Google做AI研究嗎怎么就要跳船了細(xì)看之后才明白這里的“跳船”并不是誰真要離職而是用一種很戲劇化的方式說如果下一波AI范式真的轉(zhuǎn)向貝葉斯方法連深度學(xué)習(xí)時(shí)代最標(biāo)志性的一批研究者也得重新調(diào)整自己的技術(shù)路線。這個(gè)討論真正的價(jià)值不是八卦而是讓我們重新思考一個(gè)問題貝葉斯AI到底意味著什么它會(huì)取代現(xiàn)在的深度學(xué)習(xí)嗎普通開發(fā)者該怎么應(yīng)對(duì)先說我的判斷貝葉斯AI不會(huì)在一夜之間把現(xiàn)有深度學(xué)習(xí)從工程棧里踢出去但它正在補(bǔ)上深度學(xué)習(xí)最被詬病的一環(huán)——不確定性表達(dá)。真正會(huì)發(fā)生的不是“舊船沉沒”而是“新能力滲入舊系統(tǒng)”。它首先會(huì)改變我們看待模型輸出的方式也會(huì)改變工程側(cè)的質(zhì)量控制流程。對(duì)開發(fā)者來說現(xiàn)在不是急著換框架而是要理解這套思維并且知道它會(huì)在哪些場(chǎng)景里用得上。1. “跳船”是比喻但背后有真實(shí)的焦慮1.1 深度學(xué)習(xí)時(shí)代的成功同時(shí)也埋下了“確定性”的隱患過去十年深度學(xué)習(xí)幾乎成了AI的代名詞。圖像識(shí)別、語音識(shí)別、自然語言處理一個(gè)個(gè)任務(wù)被刷新模型越來越深參數(shù)越來越多效果也越來越好。這套范式的核心思路是用大規(guī)模數(shù)據(jù)和梯度下降學(xué)出一個(gè)固定的函數(shù)映射。訓(xùn)練完成后模型參數(shù)固定輸入一個(gè)樣本輸出一個(gè)答案。這個(gè)過程非常高效也極其依賴“數(shù)據(jù)分布足夠穩(wěn)定”這個(gè)前提。問題恰恰出在這里。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)輸出的是一個(gè)點(diǎn)估計(jì)。它告訴你“這張圖有80%的概率是貓”但這個(gè)80%本身是從softmax里來的它并不一定代表模型真正的不確定程度。當(dāng)輸入樣本來自訓(xùn)練分布之外或者場(chǎng)景發(fā)生變化時(shí)模型依然會(huì)自信地給出一個(gè)結(jié)果而且往往沒有機(jī)制告訴你“我不確定”。這種“過度自信”在實(shí)驗(yàn)室刷榜時(shí)沒什么影響但在醫(yī)療輔助診斷、自動(dòng)駕駛、金融風(fēng)控、自動(dòng)駕駛這類高風(fēng)險(xiǎn)場(chǎng)景里就會(huì)變成很麻煩的事情。你需要知道模型什么時(shí)候靠得住什么時(shí)候需要轉(zhuǎn)給人來處理。這時(shí)候確定性模型的天花板就暴露出來了。1.2 貝葉斯AI總是被討論是因?yàn)樗诨卮鹨粋€(gè)關(guān)鍵問題貝葉斯AI的核心關(guān)注點(diǎn)不是“怎么把準(zhǔn)確率再提高一個(gè)點(diǎn)”而是“模型憑什么相信自己給出的答案”。它試圖把概率分布放到模型的每一個(gè)環(huán)節(jié)參數(shù)不再是固定的數(shù)而是分布預(yù)測(cè)結(jié)果不再是一個(gè)點(diǎn)而是一個(gè)范圍模型對(duì)某個(gè)樣本的把握程度會(huì)被顯式地表達(dá)出來。從這個(gè)角度看貝葉斯AI被反復(fù)提起并不是因?yàn)槟硞€(gè)新算法橫空出世而是因?yàn)樯疃葘W(xué)習(xí)的工程化已經(jīng)到了一個(gè)階段大家開始在意可靠性、可解釋性和決策邊界。當(dāng)模型被放進(jìn)真實(shí)業(yè)務(wù)流程里不確定性就不是學(xué)術(shù)概念而是成本和安全問題。所以那些“跳船”的討論本質(zhì)上是在說如果下一階段AI比拼的不只是“誰更準(zhǔn)”而是“誰更知道自己不知道什么”那過去以確定性為默認(rèn)前提的技術(shù)棧就需要加一塊新的拼圖。1.3 三個(gè)容易被誤讀的信號(hào)關(guān)于“Jeff Dean們跳船”這個(gè)說法我覺得至少有三層信號(hào)值得拆開看而不是只看表面第一層技術(shù)路線焦慮。如果貝葉斯方法成為主流很多研究積累和工程架構(gòu)都要重寫這會(huì)帶來巨大的路徑依賴問題。第二層能力版圖變化。過去擅長調(diào)深度學(xué)習(xí)模型的人未必擅長構(gòu)建概率模型和推斷過程技能樹需要更新。第三層工具生態(tài)遷移。一旦主流框架開始內(nèi)置更多貝葉斯能力現(xiàn)有的部署、監(jiān)控、調(diào)參流程都會(huì)跟著變。但這三層信號(hào)都不能直接推導(dǎo)出“深度學(xué)習(xí)馬上會(huì)被替代”。更穩(wěn)妥的判斷是貝葉斯方法會(huì)先從邊緣場(chǎng)景滲入比如小樣本、風(fēng)險(xiǎn)敏感、在線學(xué)習(xí)然后逐步影響模型設(shè)計(jì)思路。對(duì)大多數(shù)人來說它更像是給現(xiàn)有系統(tǒng)增加一個(gè)“不確定性開關(guān)”而不是一次性推翻所有東西。2. 貝葉斯AI不是一套新框架而是一種補(bǔ)認(rèn)知的方式2.1 把“猜一個(gè)數(shù)”改寫成“給一個(gè)分布”要理解貝葉斯AI最好的方式不是先啃數(shù)學(xué)公式而是先看一個(gè)思維習(xí)慣的轉(zhuǎn)變。在傳統(tǒng)機(jī)器學(xué)習(xí)里我們要學(xué)一個(gè)參數(shù)θ讓預(yù)測(cè)值y盡可能接近真實(shí)值。訓(xùn)練完得到一個(gè)θ的估計(jì)值比如0.73。用的時(shí)候就直接拿0.73去做計(jì)算。這里有一個(gè)隱含假設(shè)θ就是那個(gè)正確答案。在貝葉斯視角里θ不是一個(gè)固定值而是一個(gè)隨機(jī)變量。我們會(huì)先給θ設(shè)定一個(gè)先驗(yàn)分布表示在沒看到數(shù)據(jù)之前我們認(rèn)為θ大概在什么范圍。然后看到數(shù)據(jù)之后用貝葉斯公式更新這個(gè)分布得到后驗(yàn)分布。后驗(yàn)分布的意義是在看了這些數(shù)據(jù)之后我們對(duì)θ的信念變成了什么樣子。最終預(yù)測(cè)時(shí)不是用某一個(gè)θ值而是把后驗(yàn)分布里所有可能的θ都考慮一遍最后得到一個(gè)帶不確定性的預(yù)測(cè)結(jié)果。這個(gè)轉(zhuǎn)變看起來只是數(shù)學(xué)形式變了但它帶來的思考方式完全不同你不再追求“唯一正確答案”而是在表達(dá)“我認(rèn)為哪個(gè)答案更可能以及有多少把握”。2.2 貝葉斯深度學(xué)習(xí)給神經(jīng)網(wǎng)絡(luò)增加不確定性接口貝葉斯深度學(xué)習(xí)的想法很直接把神經(jīng)網(wǎng)絡(luò)的權(quán)重從固定參數(shù)改成隨機(jī)變量然后通過學(xué)習(xí)這些權(quán)重的后驗(yàn)分布來做預(yù)測(cè)。這樣一來同一個(gè)輸入樣本模型可以給出一個(gè)預(yù)測(cè)分布而不是一個(gè)單一的logit。這個(gè)做法有幾類常見實(shí)現(xiàn)方式一種是在網(wǎng)絡(luò)層中引入隨機(jī)性比如Dropout它在訓(xùn)練時(shí)隨機(jī)丟棄部分神經(jīng)元在推理時(shí)如果保持開啟多次前向傳播也能得到一個(gè)預(yù)測(cè)分布。這被看作一種近似的貝葉斯推斷。另一種是顯式定義權(quán)重先驗(yàn)然后使用變分推斷或馬爾可夫鏈蒙特卡洛方法去近似后驗(yàn)比如用Pyro、TensorFlow Probability、PyMC等工具。還有一種是混合做法只對(duì)最后幾層或關(guān)鍵模塊做貝葉斯化降低計(jì)算成本。這里要注意多數(shù)實(shí)現(xiàn)都不是“完整貝葉斯化”而是做了近似。因?yàn)樯顚泳W(wǎng)絡(luò)的完整后驗(yàn)分布極難計(jì)算工程上通常會(huì)在“表達(dá)能力”和“不確定性質(zhì)量”之間做取舍。2.3 它和當(dāng)前主流不是二選一而是嵌套關(guān)系很多人聽到“貝葉斯AI”第一反應(yīng)是“又要學(xué)一套新的理論”。但其實(shí)它完全可以嵌套在已有深度學(xué)習(xí)流程里。你在用ResNet做圖像分類也可以不改變主干網(wǎng)絡(luò)只是在最后一層加上不確定性估計(jì)。你在用BERT做文本分類也可以保留預(yù)訓(xùn)練權(quán)重但對(duì)分類頭引入隨機(jī)性。你在做強(qiáng)化學(xué)習(xí)也可以把Q值的估計(jì)從點(diǎn)值改成分布幫助智能體判斷哪些動(dòng)作風(fēng)險(xiǎn)更高。所以更合適的理解方式是貝葉斯方法不是把深度學(xué)習(xí)推翻而是在深度學(xué)習(xí)的上層加了一個(gè)“認(rèn)知層”。這個(gè)認(rèn)知層負(fù)責(zé)告訴系統(tǒng)這個(gè)輸出有多可靠有沒有可能是異常樣本是否需要人工介入。真正有價(jià)值的是這個(gè)認(rèn)知層而不是“換一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)”本身。3. 如果工程側(cè)引入貝葉斯AI第一波變化會(huì)在哪里3.1 模型輸出從點(diǎn)估計(jì)變成分布化結(jié)果工程側(cè)最早能感知到的變化一定是接口形態(tài)。傳統(tǒng)模型部署后輸入一條樣本返回一個(gè)分?jǐn)?shù)或類別。比如在風(fēng)控場(chǎng)景里返回一個(gè)0.85的風(fēng)險(xiǎn)分。到了貝葉斯模型返回的可能是多組采樣結(jié)果或者一個(gè)分布的參數(shù)。你需要決定如何對(duì)外暴露這些信息是返回均值讓調(diào)用方像以前一樣使用還是返回一個(gè)區(qū)間比如95%置信范圍或者返回多次采樣的完整序列供下游做進(jìn)一步分析。這會(huì)給服務(wù)端設(shè)計(jì)帶來新問題響應(yīng)體變大了計(jì)算延遲增加了緩存和批處理策略也要重新考慮。如果還是只有一個(gè)點(diǎn)估計(jì)那貝葉斯化帶來的好處就沒有被真正用起來。3.2 評(píng)估指標(biāo)不能只看準(zhǔn)確率還要看校準(zhǔn)度過去我們?cè)u(píng)估模型主要看準(zhǔn)確率、F1、AUC這類指標(biāo)。這些指標(biāo)衡量的是“排名質(zhì)量”或“分類正確性”但并不直接回答“概率標(biāo)定得準(zhǔn)不準(zhǔn)”。什么是校準(zhǔn)度簡單說當(dāng)模型說某條樣本有80%的概率是正例那在實(shí)際統(tǒng)計(jì)中它是否真的有80%的比例是正例如果模型說80%時(shí)實(shí)際只有60%那它的概率是不準(zhǔn)的。確定性深度學(xué)習(xí)模型經(jīng)常有這種問題。貝葉斯模型的價(jià)值之一就是能讓模型輸出的概率更接近真實(shí)頻率。工程上相應(yīng)地需要引入新的評(píng)估維度比如可靠性圖、期望校準(zhǔn)誤差ECE、負(fù)對(duì)數(shù)似然。也就是說你不僅要看模型預(yù)測(cè)得準(zhǔn)不準(zhǔn)還要看它“對(duì)自己的估計(jì)”準(zhǔn)不準(zhǔn)。3.3 成本與調(diào)試后驗(yàn)推斷會(huì)帶來新的復(fù)雜度貝葉斯模型不是免費(fèi)的午餐。它的訓(xùn)練和推斷通常比確定性模型更貴因?yàn)橐幚矸植家蓸右坪篁?yàn)。這會(huì)帶來幾個(gè)工程問題訓(xùn)練時(shí)間變長尤其當(dāng)模型規(guī)模增大時(shí)變分推斷的優(yōu)化會(huì)更敏感。推理階段如果需要多次采樣延遲會(huì)成倍上升需要做采樣次數(shù)與延遲的權(quán)衡。需要新的診斷工具比如觀察后驗(yàn)采樣是否收斂檢查先驗(yàn)是否合理查看梯度是否穩(wěn)定。這類問題意味著引入貝葉斯AI并不是“換一個(gè)模型文件”而是要把整個(gè)訓(xùn)練、驗(yàn)證、監(jiān)控鏈路都升級(jí)一遍。對(duì)于小規(guī)模實(shí)驗(yàn)這個(gè)成本可以接受對(duì)于大規(guī)模、高并發(fā)業(yè)務(wù)就需要做很多工程取舍。4. 普通開發(fā)者可以先這樣理解并且試起來4.1 用一個(gè)最小示例感受貝葉斯神經(jīng)網(wǎng)絡(luò)如果你從來沒有接觸過貝葉斯建模我建議不要直接去啃理論而是先跑一個(gè)最小示例。這里給出一個(gè)使用Pyro實(shí)現(xiàn)貝葉斯線性回歸的示意結(jié)構(gòu)核心是理解“先驗(yàn)、似然、后驗(yàn)”這三件事。# 這是一個(gè)教學(xué)示意具體API以你安裝的版本為準(zhǔn) import torch import pyro import pyro.distributions as dist from pyro.contrib.autoguide import AutoDiagonalNormal def model(x, yNone): # 先驗(yàn)在觀察數(shù)據(jù)之前我們相信斜率a和截距b大概在什么范圍 a pyro.sample(a, dist.Normal(0., 1.)) b pyro.sample(b, dist.Normal(0., 1.)) mu a b * x # 似然在給定參數(shù)條件下觀測(cè)到y(tǒng)的概率 with pyro.plate(data, len(x)): obs pyro.sample(obs, dist.Normal(mu, 0.2), obsy) return mu # 使用變分推斷指南分布近似后驗(yàn) guide AutoDiagonalNormal(model) # 之后可以用SVI做優(yōu)化得到參數(shù)的后驗(yàn)分布注意這段代碼不是完整的可運(yùn)行腳本而是幫助理解流程的結(jié)構(gòu)。真正使用時(shí)你還需要定義優(yōu)化器、損失函數(shù)、訓(xùn)練循環(huán)還要檢查后驗(yàn)采樣是否收斂。4.2 對(duì)比實(shí)驗(yàn)確定性模型和貝葉斯模型行為差異比起直接在生產(chǎn)環(huán)境里上貝葉斯模型我更建議先做一個(gè)對(duì)比實(shí)驗(yàn)。用同一份小數(shù)據(jù)集訓(xùn)練一個(gè)普通線性回歸模型和一個(gè)貝葉斯線性回歸模型然后觀察它們?cè)趦蓚€(gè)場(chǎng)景下的差異一個(gè)場(chǎng)景是正常范圍內(nèi)的數(shù)據(jù)看兩個(gè)模型的表現(xiàn)是否接近。另一個(gè)場(chǎng)景是故意構(gòu)造一個(gè)遠(yuǎn)離訓(xùn)練分布的輸入看貝葉斯模型的預(yù)測(cè)方差是否變大。你會(huì)發(fā)現(xiàn)普通線性回歸在這兩種情況下都給出一個(gè)確定數(shù)值而貝葉斯回歸在遠(yuǎn)離訓(xùn)練數(shù)據(jù)時(shí)預(yù)測(cè)方差會(huì)明顯增大。這個(gè)特性就是“知道自己不知道”在行為層面的體現(xiàn)。這個(gè)實(shí)驗(yàn)的價(jià)值不只是學(xué)會(huì)一個(gè)模型而是讓你建立起對(duì)“不確定性”的直覺。以后再看到模型的預(yù)測(cè)時(shí)你會(huì)多問一句這個(gè)數(shù)到底靠不靠譜4.3 一個(gè)針對(duì)貝葉斯模型訓(xùn)練問題的排查鏈路貝葉斯模型的訓(xùn)練比傳統(tǒng)模型更容易出現(xiàn)“看起來沒變化”或“預(yù)測(cè)值很奇怪”的問題。如果遇到后驗(yàn)不穩(wěn)定、loss不下降、采樣的結(jié)果分布異常我一般會(huì)按這個(gè)順序排查先看數(shù)據(jù)本身。輸入是否有缺失值、是否標(biāo)準(zhǔn)化、樣本量是否小到難以支撐有效推斷。再看先驗(yàn)設(shè)置。先驗(yàn)范圍是否太窄或太寬。如果先驗(yàn)標(biāo)準(zhǔn)差設(shè)置為0.01那模型幾乎沒有空間去學(xué)習(xí)數(shù)據(jù)中的信號(hào)。檢查推斷方式。變分推斷是否收斂可以看ELBO曲線是否平緩如果是MCMC則要看采樣鏈?zhǔn)欠窕旌狭己?。調(diào)整學(xué)習(xí)率和訓(xùn)練步數(shù)。貝葉斯模型的優(yōu)化通常比標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)更敏感學(xué)習(xí)率過大往往會(huì)導(dǎo)致ELBO發(fā)散。最后檢查后驗(yàn)證的合理性?？纯春篁?yàn)均值和標(biāo)準(zhǔn)差是否符合常識(shí)如果后驗(yàn)均值落在完全反直覺的區(qū)域通常說明先驗(yàn)、似然或數(shù)據(jù)有一個(gè)地方不對(duì)。這個(gè)排查順序并不是標(biāo)準(zhǔn)答案但它能幫你避免最常犯的錯(cuò)一上來就調(diào)參數(shù)卻忽略了先驗(yàn)和數(shù)據(jù)預(yù)處理。5. 真正要準(zhǔn)備的不是馬上切換而是判斷能力5.1 面對(duì)范式轉(zhuǎn)移“跳船”不如“加裝壓艙物”我不太喜歡“跳船”這個(gè)動(dòng)作因?yàn)樗[含的是一種all-in式的選擇要么留在舊船要么跳到新船。但技術(shù)演進(jìn)從來不是這么簡單的二分法。深度學(xué)習(xí)帶來了可擴(kuò)展的表示學(xué)習(xí)貝葉斯方法帶來了可靠的不確定性表達(dá)。兩者真正結(jié)合才會(huì)形成更完整的AI能力。對(duì)開發(fā)者來說與其糾結(jié)要不要“跳”不如把貝葉斯思維加進(jìn)自己的工具箱把它當(dāng)作處理高不確定性場(chǎng)景的備選方案。這就像寫代碼時(shí)你既需要熟悉命令式編程也需要理解函數(shù)式編程。新的范式不會(huì)讓你忘了舊的而是給你多一種解決問題的視角。5.2 一個(gè)可復(fù)用的技術(shù)趨勢(shì)評(píng)估框架面對(duì)“某某技術(shù)要來了”這類的討論我不建議只憑熱搜詞決定學(xué)習(xí)方向?？梢蕴子孟旅孢@個(gè)框架去判斷判斷維度要問的問題參考信號(hào)問題頻率這個(gè)技術(shù)真正高頻解決的問題是什么是小樣本、高風(fēng)險(xiǎn)決策還是日常圖像/文本分類替代成本它替代現(xiàn)有流程需要改動(dòng)多少環(huán)節(jié)模型、接口、監(jiān)控、人員技能是否都要?jiǎng)邮找孢吔缢痊F(xiàn)有方法好在哪里適用范圍有多寬僅限特定場(chǎng)景還是能覆蓋大多數(shù)任務(wù)生態(tài)成熟度工具鏈、社區(qū)、文檔、案例是否完整是否有穩(wěn)定框架、生產(chǎn)實(shí)踐和排錯(cuò)經(jīng)驗(yàn)?zāi)芰w移我已有的知識(shí)和經(jīng)驗(yàn)?zāi)軓?fù)用多少概率編程與深度學(xué)習(xí)的結(jié)合點(diǎn)是否容易理解這套評(píng)估框架比“別人都在討論所以我也要學(xué)”要可靠得多。它能幫你把一個(gè)新概念放到真實(shí)約束里判斷它的優(yōu)先級(jí)和適配范圍。5.3 工具會(huì)變工程問題不會(huì)憑空消失最后我想說無論貝葉斯AI會(huì)在什么時(shí)候、以什么程度進(jìn)入主流它背后要解決的工程問題其實(shí)是長期存在的模型不可信怎么辦數(shù)據(jù)分布漂移怎么辦預(yù)測(cè)出錯(cuò)誰來兜底這些問題不會(huì)因?yàn)槟硞€(gè)工具消失也不會(huì)因?yàn)槟硞€(gè)新框架出現(xiàn)就自動(dòng)解決。真正有價(jià)值的是你是否具備了理解問題本質(zhì)的能力。當(dāng)你看到“跳船”這類標(biāo)題時(shí)能不被情緒帶著走而是拆解出背后的技術(shù)變量然后回到自己的業(yè)務(wù)場(chǎng)景里做驗(yàn)證——這才是比追趕概念更重要的事。下一篇博客我會(huì)用一個(gè)具體的貝葉斯神經(jīng)網(wǎng)絡(luò)案例把先驗(yàn)設(shè)置、變分推斷和結(jié)果可視化完整串一遍。如果你也想從“聽說過貝葉斯AI”走到“能跑出一個(gè)帶不確定性的模型”可以先從今天的最小示例開始。