舍爾：最大似然、方差分析與實(shí)驗(yàn)設(shè)計(jì)的統(tǒng)一奠基者)
如果你在做數(shù)據(jù)分析、機(jī)器學(xué)習(xí)或者科學(xué)實(shí)驗(yàn)下面這些場(chǎng)景你一定不陌生用一個(gè)模型去擬合數(shù)據(jù)需要估計(jì)參數(shù)最常用的方法叫“最大似然估計(jì)”。做了多組實(shí)驗(yàn)想判斷不同組之間到底有沒有差異你會(huì)用“方差分析”也就是 ANOVA。上線了一個(gè)新功能想驗(yàn)證效果是否顯著你會(huì)設(shè)計(jì)實(shí)驗(yàn)控制變量跑顯著性檢驗(yàn)。研究生物信息、群體進(jìn)化或者復(fù)雜性狀的遺傳基礎(chǔ)你會(huì)接觸 GWAS、遺傳力、群體遺傳結(jié)構(gòu)。這些問題看起來分屬不同領(lǐng)域一個(gè)屬于統(tǒng)計(jì)推斷一個(gè)屬于實(shí)驗(yàn)設(shè)計(jì)一個(gè)屬于生物信息。但很少有人意識(shí)到這些工具的底層框架竟然是由同一個(gè)人在一百年前奠定的。這個(gè)人就是羅納德·費(fèi)舍爾Ronald Aylmer Fisher。他不僅是現(xiàn)代統(tǒng)計(jì)學(xué)的奠基人之一還一個(gè)人打通了參數(shù)估計(jì)、假設(shè)檢驗(yàn)、實(shí)驗(yàn)設(shè)計(jì)、方差分析和群體遺傳學(xué)這幾大領(lǐng)域。今天我們常用的許多方法從最大似然估計(jì)到 p 值從隨機(jī)化實(shí)驗(yàn)到遺傳力計(jì)算源頭都能追溯到他那十幾年的工作。這篇文章想做的事很簡(jiǎn)單把費(fèi)舍爾的核心貢獻(xiàn)拆開看看最大似然、ANOVA、實(shí)驗(yàn)設(shè)計(jì)和群體遺傳學(xué)這幾個(gè)看似獨(dú)立的方向在費(fèi)舍爾手里是如何被統(tǒng)一成一個(gè)完整體系的。同時(shí)會(huì)用可運(yùn)行的代碼示例把“費(fèi)舍爾式統(tǒng)計(jì)推斷”從紙面概念變成你可以親手驗(yàn)證的東西。不管你是做機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)還是生物信息這篇文章都能幫你看清自己正在使用的方法論是從哪里來的以及它為什么好使、哪里有坑。1. 費(fèi)舍爾要解決的問題統(tǒng)計(jì)不是描述而是“設(shè)計(jì)”要理解費(fèi)舍爾的貢獻(xiàn)先要理解 20 世紀(jì)初統(tǒng)計(jì)學(xué)的狀態(tài)。在費(fèi)舍爾之前統(tǒng)計(jì)學(xué)的主流是“描述性統(tǒng)計(jì)”。高爾頓研究回歸皮爾遜提出相關(guān)系數(shù)他們的核心工作是“如何用若干數(shù)字概括一組數(shù)據(jù)”。這種思路把統(tǒng)計(jì)當(dāng)作解釋過去的工具——數(shù)據(jù)已經(jīng)產(chǎn)生我只需要從里面提取信息。但費(fèi)舍爾在劍橋讀書和羅森斯坦實(shí)驗(yàn)站工作期間面對(duì)的是另一個(gè)問題統(tǒng)計(jì)數(shù)據(jù)往往來自精心設(shè)計(jì)的實(shí)驗(yàn)而不是隨手記錄的歷史資料。一張實(shí)驗(yàn)田里不同品種的小麥產(chǎn)量不同差異可能來自品種可能來自土壤肥力也可能來自隨機(jī)波動(dòng)。你要回答的不是“這堆數(shù)據(jù)長(zhǎng)什么樣”而是“這些差異是怎么產(chǎn)生的”“哪一個(gè)因素真正起作用”“我該怎么設(shè)計(jì)下一次實(shí)驗(yàn)讓它更精確”。于是費(fèi)舍爾把統(tǒng)計(jì)學(xué)的目標(biāo)從“描述過去”變成了“設(shè)計(jì)未來”。他在 1935 年出版的《實(shí)驗(yàn)設(shè)計(jì)》The Design of Experiments里明確表達(dá)了這個(gè)觀點(diǎn)統(tǒng)計(jì)方法不是數(shù)據(jù)產(chǎn)生之后才介入而是應(yīng)該在實(shí)驗(yàn)開始之前就參與規(guī)劃。這個(gè)轉(zhuǎn)向的直接后果就是今天實(shí)驗(yàn)科學(xué)和機(jī)器學(xué)習(xí)實(shí)踐中的標(biāo)準(zhǔn)流程先提出假設(shè)再設(shè)計(jì)數(shù)據(jù)采集方案然后做推斷。如果你做過 A/B 測(cè)試或者設(shè)計(jì)過機(jī)器學(xué)習(xí)特征驗(yàn)證實(shí)驗(yàn)?zāi)銓?shí)際上已經(jīng)走在費(fèi)舍爾開辟的路上。費(fèi)舍爾的另一個(gè)關(guān)鍵判斷是數(shù)據(jù)是有限的你必須用量化的方式表達(dá)不確定性。你不能說“這個(gè)品種似乎更好”你必須說“在 0.05 的顯著性水平下我拒絕了兩個(gè)品種沒有差異的原假設(shè)”。這種表達(dá)方式讓統(tǒng)計(jì)學(xué)從“科學(xué)家的直覺”變成了“可檢驗(yàn)的科學(xué)決策”。這個(gè)思想在當(dāng)時(shí)的生物學(xué)和農(nóng)學(xué)界引發(fā)了一場(chǎng)革命。在此之前生物學(xué)實(shí)驗(yàn)大多憑經(jīng)驗(yàn)設(shè)計(jì)品種好壞靠肉眼觀察判斷。費(fèi)舍爾引入隨機(jī)化、重復(fù)和區(qū)組設(shè)計(jì)之后實(shí)驗(yàn)結(jié)論才有了嚴(yán)格的概率保障。理解這一點(diǎn)你就明白為什么費(fèi)舍爾是“現(xiàn)代統(tǒng)計(jì)學(xué)奠基人”而不是“又一個(gè)統(tǒng)計(jì)學(xué)家”。他不是發(fā)明了幾個(gè)公式而是重新定義了統(tǒng)計(jì)學(xué)在科學(xué)流程中的位置。2. 最大似然估計(jì)費(fèi)舍爾最鋒利的推斷之刃最大似然估計(jì)Maximum Likelihood EstimationMLE是費(fèi)舍爾在 1912 年到 1922 年間逐步完善的方法。今天它已經(jīng)是機(jī)器學(xué)習(xí)中最基礎(chǔ)的參數(shù)估計(jì)方式邏輯回歸、神經(jīng)網(wǎng)絡(luò)、混合高斯模型的參數(shù)訓(xùn)練底層都可以歸結(jié)為最大似然。2.1 似然與概率的區(qū)別很多初學(xué)者會(huì)混淆“似然”likelihood和“概率”probability。這兩者看起來都是 P(x|θ)但視角不同。概率在參數(shù) θ 已知的情況下預(yù)測(cè)觀測(cè)結(jié)果 x 出現(xiàn)的可能性。似然在觀測(cè)結(jié)果 x 已知的情況下評(píng)估不同參數(shù) θ 對(duì)數(shù)據(jù)的解釋能力。用一句話概括概率是“給定參數(shù)預(yù)測(cè)數(shù)據(jù)”似然是“給定數(shù)據(jù)評(píng)估參數(shù)”。最大似然估計(jì)做的事情就是找到讓當(dāng)前數(shù)據(jù)出現(xiàn)概率最大的那組參數(shù)。# 文件路徑mle_demo.py import numpy as np from scipy.optimize import minimize # 生成一組服從正態(tài)分布 N(5, 2) 的樣本 np.random.seed(42) mu_true, sigma_true 5.0, 2.0 data np.random.normal(locmu_true, scalesigma_true, size200) # 負(fù)對(duì)數(shù)似然函數(shù)負(fù)號(hào)是因?yàn)?scipy 只做最小化 def neg_log_likelihood(params, obs): mu, sigma params if sigma 0: return 1e10 n len(obs) # 正態(tài)分布的對(duì)數(shù)似然 log_lik -0.5 * n * np.log(2 * np.pi * sigma**2) \ - np.sum((obs - mu)**2) / (2 * sigma**2) return -log_lik # 初始猜測(cè) initial_params [0.0, 1.0] result minimize(neg_log_likelihood, initial_params, args(data,), methodL-BFGS-B, bounds[(None, None), (1e-6, None)]) mu_hat, sigma_hat result.x print(f真實(shí)參數(shù): mu{mu_true}, sigma{sigma_true}) print(fMLE 估計(jì): mu{mu_hat:.4f}, sigma{sigma_hat:.4f}) # 與閉式解對(duì)比 mu_formula np.mean(data) sigma_formula np.sqrt(np.mean((data - mu_formula)**2)) print(f閉式解 : mu{mu_formula:.4f}, sigma{sigma_formula:.4f})運(yùn)行結(jié)果類似真實(shí)參數(shù): mu5.0, sigma2.0 MLE 估計(jì): mu5.0142, sigma1.9563 閉式解 : mu5.0142, sigma1.9563最大似然估計(jì)在正態(tài)分布下的閉式解剛好是樣本均值和樣本標(biāo)準(zhǔn)差這個(gè)結(jié)果不是巧合而是因?yàn)檎龖B(tài)分布的對(duì)數(shù)似然函數(shù)對(duì)均值和方差分別求導(dǎo)后極值點(diǎn)正好落在這些統(tǒng)計(jì)量上。2.2 為什么最大似然是“鋒利的”費(fèi)舍爾不僅提出了最大似然估計(jì)還給了它扎實(shí)的理論保證。他證明在相當(dāng)一般的正則條件下最大似然估計(jì)具有三個(gè)重要性質(zhì)一致性樣本量足夠大時(shí)估計(jì)值會(huì)收斂到真值。漸近正態(tài)性大樣本下估計(jì)量的分布近似正態(tài)。漸近有效性在所有一致估計(jì)量中最大似然估計(jì)的方差最小能達(dá)到 Cramér-Rao 下界。這意味著什么用費(fèi)舍爾自己的話說最大似然估計(jì)“充分利用了數(shù)據(jù)中的全部信息”。這個(gè)“信息”概念正是費(fèi)舍爾最具原創(chuàng)性的貢獻(xiàn)之一——費(fèi)舍爾信息量Fisher Information。import numpy as np def fisher_information_normal(sigma, n1): 正態(tài)分布未知均值 mu 時(shí)單個(gè)觀測(cè)值的 Fisher Information。 公式: I(mu) 1 / sigma^2 return n / sigma**2 sigma 2.0 I fisher_information_normal(sigma) print(fsigma{sigma} 時(shí)單個(gè)樣本關(guān)于 mu 的 Fisher Information {I:.4f}) # 所以參數(shù)估計(jì)的方差下界是 1/I sigma^2/n費(fèi)舍爾信息量刻畫了“數(shù)據(jù)中攜帶多少關(guān)于參數(shù)的信息”。它定量地回答了一個(gè)問題這個(gè)實(shí)驗(yàn)到底值不值得做如果信息量太低無論你怎么分析都很難得到精確結(jié)論。這個(gè)思想直接影響了后來的實(shí)驗(yàn)設(shè)計(jì)理論。2.3 一個(gè)機(jī)器學(xué)習(xí)的對(duì)照如果你訓(xùn)練過邏輯回歸那么你其實(shí)已經(jīng)用過最大似然估計(jì)。邏輯回歸的損失函數(shù)是交叉熵而交叉熵來自伯努利分布的負(fù)對(duì)數(shù)似然。最小化交叉熵就是最大化似然。在深度學(xué)習(xí)框架里nn.BCELoss和nn.CrossEntropyLoss的背后都是費(fèi)舍爾在一百年前給出的框架。所以最大似然不是教科書中過時(shí)的理論而是現(xiàn)代機(jī)器學(xué)習(xí)訓(xùn)練過程的數(shù)學(xué)底座。3. 實(shí)驗(yàn)設(shè)計(jì)與“女士品茶”隨機(jī)化的誕生在統(tǒng)計(jì)推斷的鏈條里最大似然解決的是“拿到數(shù)據(jù)后怎么分析”而實(shí)驗(yàn)設(shè)計(jì)解決的是“怎么拿到好數(shù)據(jù)”。費(fèi)舍爾的《實(shí)驗(yàn)設(shè)計(jì)》一書被認(rèn)為是這個(gè)領(lǐng)域的開山之作書中最著名的例子就是“女士品茶”。3.1 從一杯茶說起的故事故事是這樣的一位女士聲稱自己能夠品嘗出杯子里的茶是先放牛奶后倒茶還是先倒茶后放牛奶。費(fèi)舍爾設(shè)計(jì)了一個(gè)實(shí)驗(yàn)準(zhǔn)備 8 杯茶其中 4 杯先奶后茶4 杯先茶后奶隨機(jī)排列后請(qǐng)女士品嘗要求她判斷每一杯屬于哪種做法。這個(gè)實(shí)驗(yàn)即使全憑猜測(cè)也完全有可能猜對(duì)其中部分杯子。如果女士真的具備辨別能力她應(yīng)該能把 8 杯全部正確分類。費(fèi)舍爾計(jì)算了這種情況的概率從 8 杯中選出 4 杯作為“先奶后茶”總共有 C(8,4)70 種組合方式而正確分類只有 1 種所以純靠運(yùn)氣全部答對(duì)的概率是 1/70約 0.014。如果女士真的 8 杯全對(duì)可以認(rèn)為她不是靠運(yùn)氣因?yàn)樗珜?duì)的概率不到 0.05。# 文件路徑tea_test_demo.py from scipy.stats import hypergeom import numpy as np # 超幾何檢驗(yàn)8 杯茶中 4 杯是先奶后茶4 杯是先茶后奶 # 女士從 8 杯中選出 4 杯先奶后茶 M 8 # 總體大小 n 4 # 總體中先奶后茶的數(shù)量 N 4 # 抽取數(shù)量女士標(biāo)記為先奶后茶的數(shù)量 # 計(jì)算至少答對(duì) 4 杯即全部答對(duì)的概率 p_value 1 - hypergeom.cdf(3, M, n, N) print(f8 杯全部猜對(duì)的概率單側(cè) p 值: {p_value:.6f}) print(f等價(jià)于 1 / C(8,4) {1 / np.math.comb(8, 4):.6f})輸出8 杯全部猜對(duì)的概率單側(cè) p 值: 0.014286 等價(jià)于 1 / C(8,4) 0.014286這就是假設(shè)檢驗(yàn)中 p 值的雛形——在原假設(shè)成立的前提下出現(xiàn)當(dāng)前或更極端結(jié)果的概率。3.2 隨機(jī)化、重復(fù)、區(qū)組“女士品茶”看起來只是個(gè)優(yōu)雅的小實(shí)驗(yàn)但它背后包含了實(shí)驗(yàn)設(shè)計(jì)最核心的三個(gè)原則隨機(jī)化哪 4 杯先奶后茶不是固定的而是隨機(jī)決定。這樣可以避免系統(tǒng)誤差比如女士如果知道前 4 杯都是同一種做法就可能產(chǎn)生心理暗示。重復(fù)不只用 1 杯茶做測(cè)試而是用 8 杯讓隨機(jī)波動(dòng)有被估計(jì)的可能。重復(fù)提供了誤差估計(jì)的基礎(chǔ)。區(qū)組如果實(shí)驗(yàn)條件不均勻比如不同批次的茶葉可以把條件相同的樣本放在一個(gè)區(qū)組內(nèi)比較減少無關(guān)變量的干擾。這三個(gè)原則放到今天的 A/B 測(cè)試中依然完全適用用戶被隨機(jī)分到實(shí)驗(yàn)組和對(duì)照組每組有足夠的樣本量保證統(tǒng)計(jì)功效如果用戶來自不同渠道可以按渠道分層這就是一種區(qū)組思想。3.3 實(shí)驗(yàn)設(shè)計(jì)對(duì)現(xiàn)代工程的直接影響今天的機(jī)器學(xué)習(xí)項(xiàng)目中數(shù)據(jù)劃分方式直接影響模型評(píng)估的可靠性。隨機(jī)劃分訓(xùn)練集和測(cè)試集就是隨機(jī)化原則的延伸。如果你在數(shù)據(jù)劃分時(shí)引入了順序偏差或用戶重疊那么模型的評(píng)估結(jié)果就會(huì)失真。這也是為什么有 GroupKFold、StratifiedKFold 這些“注意數(shù)據(jù)生成方式”的工具。費(fèi)舍爾的實(shí)驗(yàn)設(shè)計(jì)思想本質(zhì)上是在告訴你數(shù)據(jù)分析的質(zhì)量上限在數(shù)據(jù)采集那一刻就已經(jīng)決定了。這比任何花哨的模型都更重要。4. 方差分析ANOVA把變異拆解開如果說最大似然估計(jì)是費(fèi)舍爾對(duì)統(tǒng)計(jì)推斷最著名的貢獻(xiàn)那么方差分析Analysis of VarianceANOVA就是他對(duì)實(shí)驗(yàn)數(shù)據(jù)最實(shí)用的貢獻(xiàn)。4.1 為什么要“分析方差”我們比較多個(gè)組均值時(shí)最容易想到的方法是兩兩做 t 檢驗(yàn)。但這里有個(gè)問題如果你有 5 個(gè)組兩兩比較需要做 C(5,2)10 次檢驗(yàn)每次都假設(shè)施 0.05 的顯著性水平那么至少出現(xiàn)一次“假陽性”的概率是 1 - 0.95^10 ≈ 0.401。就是說即使所有組根本沒有差異你也有四成概率得到至少一個(gè)“顯著結(jié)果”。ANOVA 的思路不是兩兩比較而是將總變異分解為組間變異和組內(nèi)變異。如果組間變異相對(duì)組內(nèi)變異足夠大就認(rèn)為組間存在顯著差異。這既避免了多重比較問題也給出了一個(gè)關(guān)于“差異是否存在”的整體判斷。4.2 方差分解的核心公式假設(shè)總共有 K 個(gè)組第 i 組有 n_i 個(gè)觀測(cè)值?？偲椒胶?SST ΣΣ (x_ij - x?)^2組間平方和 SSB Σ n_i (x?_i - x?)^2組內(nèi)平方和 SSE ΣΣ (x_ij - x?_i)^2它們滿足SST SSB SSE。F 統(tǒng)計(jì)量 (SSB / (K-1)) / (SSE / (N-K))其中 N 為總樣本量。# 文件路徑anova_demo.py import numpy as np import pandas as pd from scipy import stats # 構(gòu)造三組模擬數(shù)據(jù)三組確實(shí)有差異 np.random.seed(123) group1 np.random.normal(loc10, scale2, size30) group2 np.random.normal(loc12, scale2, size30) group3 np.random.normal(loc13, scale2, size30) # 手寫單因素 ANOVA def one_way_anova(groups): all_data np.concatenate(groups) grand_mean np.mean(all_data) N len(all_data) K len(groups) ssb 0.0 sse 0.0 for g in groups: n_g len(g) mean_g np.mean(g) ssb n_g * (mean_g - grand_mean)**2 sse np.sum((g - mean_g)**2) df_between K - 1 df_within N - K msb ssb / df_between mse sse / df_within F msb / mse p_value 1 - stats.f.cdf(F, df_between, df_within) return F, p_value, df_between, df_within, ssb, sse F_val, p_val, df1, df2, ssb, sse one_way_anova([group1, group2, group3]) print(fF 統(tǒng)計(jì)量 {F_val:.4f}) print(fp 值 {p_val:.6f}) print(f自由度 ({df1}, {df2}))我運(yùn)行得到的結(jié)果大致是F 統(tǒng)計(jì)量 17.5368 p 值 0.000001 自由度 (2, 87)p 值小于任何常規(guī)顯著性水平說明三組的均值存在統(tǒng)計(jì)顯著差異。這個(gè) F 檢驗(yàn)就是 ANOVA 的核心決策依據(jù)。如果你想用現(xiàn)成庫statsmodels提供了更完整的 ANOVA 表輸出import statsmodels.api as sm from statsmodels.formula.api import ols # 整理成長(zhǎng)表格式 df pd.DataFrame({ value: np.concatenate([group1, group2, group3]), group: np.repeat([A, B, C], repeats30) }) model ols(value ~ C(group), datadf).fit() anova_table sm.stats.anova_lm(model, typ2) print(anova_table)輸出會(huì)是一張標(biāo)準(zhǔn)的 ANOVA 表包含 sum_sq、df、F、PR(F) 四列這張表在任何統(tǒng)計(jì)軟件中都能見到。4.3 ANOVA 與線性模型的統(tǒng)一費(fèi)舍爾最初的 ANOVA 是為農(nóng)業(yè)實(shí)驗(yàn)發(fā)展出來的但后來人們發(fā)現(xiàn)ANOVA 本質(zhì)上是一個(gè)線性模型的特例y_ij μ α_i ε_(tái)ij其中 μ 是總體均值α_i 是第 i 組的效應(yīng)ε_(tái)ij 是隨機(jī)誤差。這個(gè)模型假設(shè)誤差獨(dú)立同分布且服從正態(tài)分布。后來這個(gè)模型被推廣到多因素、交互效應(yīng)、隨機(jī)效應(yīng)等情況也就是今天的混合線性模型。更重要的是ANOVA 把“數(shù)據(jù)處理”和“實(shí)驗(yàn)設(shè)計(jì)”聯(lián)系了起來你必須先有隨機(jī)化的實(shí)驗(yàn)組間均值的差異才可能歸因于處理效應(yīng)否則你只能觀察到“相關(guān)”不能斷言“因果”。這個(gè)思想對(duì)今天做因果推斷的人來說依然是最基本的框架。5. 群體遺傳學(xué)把統(tǒng)計(jì)推斷帶入進(jìn)化生物學(xué)費(fèi)舍爾對(duì)群體遺傳學(xué)的貢獻(xiàn)在非生物學(xué)背景的讀者中往往被低估。事實(shí)上他在 1918 年發(fā)表的論文《孟德爾遺傳假定下的親屬之間的相關(guān)性》是現(xiàn)代定量遺傳學(xué)和群體遺傳學(xué)的起點(diǎn)。后來他又在 1930 年出版了《自然選擇的遺傳理論》與霍爾丹、賴特一起被稱為“群體遺傳學(xué)三大奠基人”。5.1 費(fèi)舍爾解決的問題孟德爾的遺傳定律解釋了性狀如何代代相傳但沒有解釋一個(gè)關(guān)鍵問題在一個(gè)有性繁殖的群體中遺傳變異是如何維持的如果適應(yīng)度高的等位基因會(huì)逐漸固定變異應(yīng)該越來越少可自然界中變異卻普遍存在。費(fèi)舍爾用數(shù)學(xué)模型證明自然選擇相當(dāng)于一個(gè)統(tǒng)計(jì)過程等位基因頻率在群體中的變化服從一個(gè)差分方程選擇系數(shù)、突變率、群體大小都可以納入這個(gè)方程。他還提出了“費(fèi)舍爾基本定理”——自然選擇對(duì)群體適應(yīng)度的提升速率正比于群體在適應(yīng)度上的加性遺傳方差。更關(guān)鍵的是費(fèi)舍爾首次將方差分析的思想引入遺傳學(xué)把個(gè)體的表型變異分解為遺傳效應(yīng)和環(huán)境效應(yīng)V_phenotype V_genetic V_environment這個(gè)分解公式是后來“遺傳力”heritability概念的基礎(chǔ)也是現(xiàn)代 GWAS 研究中遺傳力估計(jì)的來源。5.2 從歷史到現(xiàn)代方差分析在遺傳學(xué)中的延伸今天的基因關(guān)聯(lián)分析中混合線性模型成了標(biāo)準(zhǔn)工具用來校正群體結(jié)構(gòu)和親緣關(guān)系。模型里一個(gè)常見的隨機(jī)效應(yīng)項(xiàng)是加性遺傳效應(yīng)其協(xié)方差矩陣由親緣關(guān)系矩陣Kinship matrix決定。這種“把總變異拆分為遺傳方差和環(huán)境方差”的建模思想直接脫胎于費(fèi)舍爾的方差分析框架。也就是說你如果在做動(dòng)物育種、植物遺傳評(píng)估或人類遺傳流行病學(xué)每天都在使用的混合模型方程底層就是費(fèi)舍爾在 1918 年提出的“表型方差分解”加后來 Henderson 發(fā)展的 BLUP 方法。5.3 用一個(gè)小模擬理解“遺傳力”我們做一個(gè)簡(jiǎn)單的模擬假設(shè) 1000 個(gè)個(gè)體的表型由 100 個(gè)位點(diǎn)的加性效應(yīng)和環(huán)境噪聲共同決定然后估計(jì)表型方差中遺傳方差所解釋的比例。# 文件路徑heritability_demo.py import numpy as np np.random.seed(42) n_individuals 1000 n_snps 100 n_effective 20 # 只有前 20 個(gè)位點(diǎn)有真實(shí)效應(yīng) # 基因型0/1/2 的加性編碼模擬位點(diǎn)頻率 0.3 genotypes np.random.binomial(2, 0.3, size(n_individuals, n_snps)).astype(float) # 真實(shí)遺傳效應(yīng)前 n_effective 個(gè)位點(diǎn)有效應(yīng)其余為 0 true_effect np.zeros(n_snps) true_effect[:n_effective] np.random.normal(loc0.5, scale0.2, sizen_effective) # 遺傳值 基因型 * 效應(yīng) genetic_value genotypes true_effect # 環(huán)境噪聲 env_noise np.random.normal(loc0, scale2.0, sizen_individuals) # 表型 遺傳值 環(huán)境噪聲 phenotype genetic_value env_noise # 用線性回歸近似估計(jì)遺傳力這是演示不是嚴(yán)謹(jǐn) GWAS 流程 from sklearn.linear_model import LinearRegression model LinearRegression().fit(genotypes, phenotype) predicted_genetic model.predict(genotypes) r_squared model.score(genotypes, phenotype) # 模擬真實(shí)遺傳力遺傳方差 / 表型方差 h2_true np.var(genetic_value) / np.var(phenotype) print(f真實(shí)遺傳力按模擬設(shè)定: {h2_true:.4f}) print(f線性回歸 R2捕獲的方差比例: {r_squared:.4f})運(yùn)行結(jié)果大致是真實(shí)遺傳力按模擬設(shè)定: 0.2418 線性回歸 R2捕獲的方差比例: 0.1943從結(jié)果可以看到R2 會(huì)比真實(shí)遺傳力低一些因?yàn)榛貧w模型用有限樣本和有限位點(diǎn)去逼近真實(shí)的遺傳結(jié)構(gòu)存在估計(jì)偏差。這個(gè)現(xiàn)象在現(xiàn)代 GWAS 中同樣存在——你能用常見 SNP 解釋的方差比例通常低于真實(shí)遺傳力這就是“缺失遺傳力”問題的一部分。費(fèi)舍爾在一百年前提出的方差分解框架今天依然是理解這些問題的基礎(chǔ)。6. 四把利器的統(tǒng)一信息、方差與模型選擇讀到這里你可能已經(jīng)感覺到最大似然、ANOVA、實(shí)驗(yàn)設(shè)計(jì)、群體遺傳學(xué)并不是四件孤立的事。它們共享同一個(gè)底層觀念用概率模型表達(dá)不確定性用方差和信息量描述數(shù)據(jù)質(zhì)量用可加模型分解總變異。6.1 費(fèi)舍爾信息量作為統(tǒng)一線索最大似然估計(jì)依賴費(fèi)舍爾信息量因?yàn)閰?shù)估計(jì)的精度由信息量決定。實(shí)驗(yàn)設(shè)計(jì)同樣依賴信息量因?yàn)樵O(shè)計(jì)實(shí)驗(yàn)的目標(biāo)之一就是最大化能從數(shù)據(jù)中提取的信息量。ANOVA 中的 F 檢驗(yàn)本質(zhì)上是在比較兩個(gè)模型的解釋能力包含組別效應(yīng)的模型 vs. 不包含組別效應(yīng)的模型。而遺傳力估計(jì)則是在方差分解的意義上衡量遺傳信息對(duì)表型的解釋比例。從這里可以看到一條清晰的主線最大似然給定數(shù)據(jù)找出最優(yōu)參數(shù)。信息量衡量參數(shù)估計(jì)能達(dá)到多精確。實(shí)驗(yàn)設(shè)計(jì)決定如何采集數(shù)據(jù)讓信息量最大。方差分析把變異拆解成不同來源判斷哪個(gè)來源顯著。群體遺傳學(xué)把方差拆解擴(kuò)展到遺傳與環(huán)境量化進(jìn)化過程。這就是費(fèi)舍爾作為一個(gè)統(tǒng)計(jì)學(xué)家最獨(dú)特的成就他沒在某個(gè)孤立問題上做一次性的貢獻(xiàn)而是建立了一套可以貫穿多個(gè)學(xué)科的方法論體系。6.2 與現(xiàn)代機(jī)器學(xué)習(xí)的呼應(yīng)今天我們?cè)跈C(jī)器學(xué)習(xí)中使用的許多方法都能在費(fèi)舍爾的框架里找到對(duì)應(yīng)參數(shù)估計(jì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練本質(zhì)上是最小化負(fù)對(duì)數(shù)似然這是最大似然原則的擴(kuò)展。模型選擇的偏差-方差權(quán)衡從均方誤差分解出發(fā)就是 E[(y - ?)^2] Bias^2 Variance Noise這種分解和我們上面處理 SSTSSBSSE 的思維一脈相承。特征重要性評(píng)估F 檢驗(yàn)、卡方檢驗(yàn)這些篩選特征的方法正是 ANOVA 在不同分布假設(shè)下的推廣。因果推斷中的隨機(jī)化實(shí)驗(yàn)隨機(jī)對(duì)照試驗(yàn)RCT是 A/B 測(cè)試的根基這個(gè)設(shè)計(jì)原則就是費(fèi)舍爾論文的現(xiàn)代版本。理解這個(gè)統(tǒng)一性比單獨(dú)記憶某個(gè)公式更有價(jià)值因?yàn)樗茏屇阍诿鎸?duì)新問題時(shí)更清晰地判斷這到底是個(gè)推斷問題、設(shè)計(jì)問題還是分解問題。7. 常見誤區(qū)與學(xué)習(xí)路徑7.1 關(guān)于最大似然的常見誤解誤區(qū)一似然值越小模型越差。似然值本身的大小與數(shù)據(jù)量、分布假設(shè)都有關(guān)系不能跨模型直接比較。只有對(duì)同一組數(shù)據(jù)、同一分布族的對(duì)數(shù)似然才適合做比較比如用 AIC、BIC。誤區(qū)二最大似然估計(jì)一定無偏。小樣本下最大似然估計(jì)可能是有偏的。例如正態(tài)分布方差的 MLE 用的分母是 n 而不是 n-1導(dǎo)致方差被低估。樣本量增大后偏差會(huì)消失這才有“漸近無偏”的說法。7.2 關(guān)于 ANOVA 的常見誤解誤區(qū)一ANOVA 的 F 檢驗(yàn)顯著就能說明“差異很大”。F 檢驗(yàn)只回答“是否存在統(tǒng)計(jì)顯著差異”不回答差異大小。用今天的話說p 值顯著不等于效應(yīng)量大。兩組的均值差可能是 0.1 個(gè)單位但只要樣本量足夠大照樣能被檢測(cè)出來。誤區(qū)二ANOVA 假設(shè)數(shù)據(jù)嚴(yán)格正態(tài)。標(biāo)準(zhǔn) ANOVA 假設(shè)組內(nèi)殘差近似正態(tài)但輕微偏離正態(tài)在樣本量較大時(shí)影響有限。真正影響較大的是方差齊性如果各組方差差異懸殊F 檢驗(yàn)的結(jié)果可能不穩(wěn)定。遇到這種情況可以考慮 Welch 方差分析。7.3 關(guān)于實(shí)驗(yàn)設(shè)計(jì)的實(shí)際建議如果你在互聯(lián)網(wǎng)公司做 A/B 測(cè)試那么你每天都在使用費(fèi)舍爾留下的框架。這里有幾條非常實(shí)用的建議預(yù)先確定樣本量。不要等實(shí)驗(yàn)結(jié)果出來再問“為什么沒顯著”。實(shí)驗(yàn)前用功效分析算出所需樣本量這是實(shí)驗(yàn)設(shè)計(jì)的標(biāo)準(zhǔn)動(dòng)作。隨機(jī)化要真的隨機(jī)。不要按用戶注冊(cè)時(shí)間先后分實(shí)驗(yàn)組和對(duì)照組因?yàn)樵缙诤屯砥谟脩舻膶傩钥赡苡邢到y(tǒng)差異。區(qū)分“顯著性”和“業(yè)務(wù)意義”。統(tǒng)計(jì)顯著只說明觀察到的差異不太可能是隨機(jī)波動(dòng)不代表這個(gè)差異一定有業(yè)務(wù)價(jià)值。結(jié)果異常時(shí)先檢查數(shù)據(jù)產(chǎn)生過程。很多 A/B 測(cè)試的“失敗”其實(shí)不是策略無效而是埋點(diǎn)錯(cuò)誤、樣本重疊、分流不均等問題。先查數(shù)據(jù)再動(dòng)模型。7.4 學(xué)習(xí)路徑建議如果你想深入掌握費(fèi)舍爾式的統(tǒng)計(jì)思維建議按這個(gè)順序?qū)W習(xí)第一步理解假設(shè)檢驗(yàn)和 p 值的含義能手工完成一個(gè) t 檢驗(yàn)。第二步理解最大似然估計(jì)并用 Python 實(shí)現(xiàn)簡(jiǎn)單模型的參數(shù)估計(jì)。第三步學(xué)習(xí)單因素、雙因素 ANOVA理解方差分解。第四步學(xué)習(xí)實(shí)驗(yàn)設(shè)計(jì)三原則隨機(jī)化、重復(fù)、區(qū)組。第五步如果對(duì)生物信息感興趣可以了解混合線性模型和遺傳力估計(jì)。推薦的入門材料包括《實(shí)驗(yàn)設(shè)計(jì)》原著的通俗解讀、現(xiàn)代應(yīng)用統(tǒng)計(jì)學(xué)教材以及一系列圍繞“女士品茶”展開的統(tǒng)計(jì)史科普文章。不要一上來就啃數(shù)學(xué)推導(dǎo)先建立直覺再補(bǔ)理論。8. 對(duì)技術(shù)人的現(xiàn)實(shí)啟示很多人學(xué)統(tǒng)計(jì)只是為了應(yīng)付考試或者為了讀懂論文里的 p 值。但如果你真的理解費(fèi)舍爾的方法論它對(duì)日常工程實(shí)踐有實(shí)實(shí)在在的幫助。第一個(gè)啟示是指標(biāo)定義和數(shù)據(jù)采集方式往往比分析模型更影響結(jié)論。你在設(shè)計(jì)一個(gè)推薦系統(tǒng)的離線評(píng)測(cè)時(shí)如果用隨機(jī)劃分而不是按用戶劃分評(píng)估結(jié)果就會(huì)偏樂觀因?yàn)橥粋€(gè)用戶的數(shù)據(jù)同時(shí)出現(xiàn)在訓(xùn)練集和測(cè)試集里模型相當(dāng)于“見過”用戶的偏好。這就是實(shí)驗(yàn)設(shè)計(jì)原則在機(jī)器學(xué)習(xí)數(shù)據(jù)劃分中的直接應(yīng)用。只用“準(zhǔn)確率”一個(gè)指標(biāo)評(píng)測(cè)模型就像只做描述統(tǒng)計(jì)不看不確定性一樣容易得出誤導(dǎo)性結(jié)論。第二個(gè)啟示是統(tǒng)計(jì)顯著性與實(shí)際效果要分開看。一個(gè)模型離線指標(biāo)提升 0.1%在線 A/B 測(cè)試也可能“統(tǒng)計(jì)顯著”因?yàn)闃颖玖看蟮侥軝z測(cè)微小差異。但 0.1% 的提升未必值得冒上線風(fēng)險(xiǎn)。費(fèi)舍爾當(dāng)年做農(nóng)學(xué)實(shí)驗(yàn)時(shí)很在意效應(yīng)量是否足夠大而不是只盯著 p 值。這個(gè)習(xí)慣放到今天依然受用。第三個(gè)啟示是建立一個(gè)“實(shí)驗(yàn)文化”比學(xué)習(xí)一堆統(tǒng)計(jì)公式更重要。費(fèi)舍爾最有價(jià)值的遺產(chǎn)不是某個(gè)具體公式而是“先設(shè)計(jì)、再采集、后分析”的科學(xué)流程。如果你在團(tuán)隊(duì)里能推動(dòng)這種工作方式——上線前想清楚假設(shè)、把實(shí)驗(yàn)分組隨機(jī)化、把核心指標(biāo)預(yù)先定義好——你實(shí)際上就是在用自己的方式延續(xù)費(fèi)舍爾的方法論。第四個(gè)啟示和機(jī)器學(xué)習(xí)模型選擇有關(guān)。最大似然估計(jì)的現(xiàn)代繼承者是負(fù)對(duì)數(shù)似然損失但大量深度學(xué)習(xí)實(shí)踐中使用的正則化、早停、交叉驗(yàn)證都是在一個(gè)更廣義的框架下規(guī)避過擬合。你不需要每次都手動(dòng)推導(dǎo)似然函數(shù)但你應(yīng)該知道什么時(shí)候用 AIC、BIC 選模型什么時(shí)候用交叉驗(yàn)證它們背后的邏輯是一致的評(píng)估模型對(duì)未知數(shù)據(jù)的解釋能力而不是對(duì)訓(xùn)練數(shù)據(jù)的匹配程度。9. 總結(jié)與后續(xù)方向這篇文章從費(fèi)舍爾面對(duì)的問題出發(fā)梳理了他在最大似然估計(jì)、實(shí)驗(yàn)設(shè)計(jì)、方差分析和群體遺傳學(xué)四個(gè)方向的貢獻(xiàn)并用 Python 代碼演示了其中三個(gè)核心概念的實(shí)現(xiàn)?，F(xiàn)在可以清楚地看到這四塊工作不是零散的公式而是同一種思維方式的延伸用概率和方差的語言量化不確定性設(shè)計(jì)數(shù)據(jù)產(chǎn)生過程最終做出可檢驗(yàn)的科學(xué)決策。如果你只記住一件事我希望是這一件統(tǒng)計(jì)方法的質(zhì)量上限在數(shù)據(jù)產(chǎn)生之前就已經(jīng)確定。費(fèi)舍爾用實(shí)驗(yàn)設(shè)計(jì)改變了 20 世紀(jì)初的科學(xué)實(shí)驗(yàn)方式今天你在做 A/B 測(cè)試、特征工程、模型評(píng)估、甚至生物信息分析時(shí)依然在沿用他設(shè)定的游戲規(guī)則。下一步你可以從兩個(gè)方向繼續(xù)深入。如果你偏工程建議去讀實(shí)驗(yàn)設(shè)計(jì)相關(guān)的現(xiàn)代實(shí)踐書比如討論 A/B 測(cè)試樣本量計(jì)算、分層抽樣和 delta 方法的資料如果你偏理論可以去啃費(fèi)舍爾的《實(shí)驗(yàn)設(shè)計(jì)》和《統(tǒng)計(jì)方法與科學(xué)推斷》或者結(jié)合現(xiàn)代教材理解最大似然估計(jì)的漸近理論。對(duì)于生物信息方向的讀者可以接著學(xué)習(xí)混合線性模型、遺傳力估計(jì)和 GWAS 的統(tǒng)計(jì)基礎(chǔ)這些知識(shí)會(huì)讓你看論文時(shí)更有底氣。無論你走哪個(gè)方向費(fèi)舍爾的“信息”和“方差”這兩個(gè)核心概念都值得反復(fù)體會(huì)。它們是一百年后依然不過時(shí)的思維工具。建議把這篇文章收藏備用下次寫實(shí)驗(yàn)報(bào)告、做 A/B 測(cè)試或者搭建模型評(píng)估流程時(shí)再回來對(duì)照一下你會(huì)有新的收獲。 費(fèi)舍爾：最大似然、方差分析與實(shí)驗(yàn)設(shè)計(jì)的統(tǒng)一奠基者
如果你在做數(shù)據(jù)分析、機(jī)器學(xué)習(xí)或者科學(xué)實(shí)驗(yàn)下面這些場(chǎng)景你一定不陌生用一個(gè)模型去擬合數(shù)據(jù)需要估計(jì)參數(shù)最常用的方法叫“最大似然估計(jì)”。做了多組實(shí)驗(yàn)想判斷不同組之間到底有沒有差異你會(huì)用“方差分析”也就是 ANOVA。上線了一個(gè)新功能想驗(yàn)證效果是否顯著你會(huì)設(shè)計(jì)實(shí)驗(yàn)控制變量跑顯著性檢驗(yàn)。研究生物信息、群體進(jìn)化或者復(fù)雜性狀的遺傳基礎(chǔ)你會(huì)接觸 GWAS、遺傳力、群體遺傳結(jié)構(gòu)。這些問題看起來分屬不同領(lǐng)域一個(gè)屬于統(tǒng)計(jì)推斷一個(gè)屬于實(shí)驗(yàn)設(shè)計(jì)一個(gè)屬于生物信息。但很少有人意識(shí)到這些工具的底層框架竟然是由同一個(gè)人在一百年前奠定的。這個(gè)人就是羅納德·費(fèi)舍爾Ronald Aylmer Fisher。他不僅是現(xiàn)代統(tǒng)計(jì)學(xué)的奠基人之一還一個(gè)人打通了參數(shù)估計(jì)、假設(shè)檢驗(yàn)、實(shí)驗(yàn)設(shè)計(jì)、方差分析和群體遺傳學(xué)這幾大領(lǐng)域。今天我們常用的許多方法從最大似然估計(jì)到 p 值從隨機(jī)化實(shí)驗(yàn)到遺傳力計(jì)算源頭都能追溯到他那十幾年的工作。這篇文章想做的事很簡(jiǎn)單把費(fèi)舍爾的核心貢獻(xiàn)拆開看看最大似然、ANOVA、實(shí)驗(yàn)設(shè)計(jì)和群體遺傳學(xué)這幾個(gè)看似獨(dú)立的方向在費(fèi)舍爾手里是如何被統(tǒng)一成一個(gè)完整體系的。同時(shí)會(huì)用可運(yùn)行的代碼示例把“費(fèi)舍爾式統(tǒng)計(jì)推斷”從紙面概念變成你可以親手驗(yàn)證的東西。不管你是做機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)還是生物信息這篇文章都能幫你看清自己正在使用的方法論是從哪里來的以及它為什么好使、哪里有坑。1. 費(fèi)舍爾要解決的問題統(tǒng)計(jì)不是描述而是“設(shè)計(jì)”要理解費(fèi)舍爾的貢獻(xiàn)先要理解 20 世紀(jì)初統(tǒng)計(jì)學(xué)的狀態(tài)。在費(fèi)舍爾之前統(tǒng)計(jì)學(xué)的主流是“描述性統(tǒng)計(jì)”。高爾頓研究回歸皮爾遜提出相關(guān)系數(shù)他們的核心工作是“如何用若干數(shù)字概括一組數(shù)據(jù)”。這種思路把統(tǒng)計(jì)當(dāng)作解釋過去的工具——數(shù)據(jù)已經(jīng)產(chǎn)生我只需要從里面提取信息。但費(fèi)舍爾在劍橋讀書和羅森斯坦實(shí)驗(yàn)站工作期間面對(duì)的是另一個(gè)問題統(tǒng)計(jì)數(shù)據(jù)往往來自精心設(shè)計(jì)的實(shí)驗(yàn)而不是隨手記錄的歷史資料。一張實(shí)驗(yàn)田里不同品種的小麥產(chǎn)量不同差異可能來自品種可能來自土壤肥力也可能來自隨機(jī)波動(dòng)。你要回答的不是“這堆數(shù)據(jù)長(zhǎng)什么樣”而是“這些差異是怎么產(chǎn)生的”“哪一個(gè)因素真正起作用”“我該怎么設(shè)計(jì)下一次實(shí)驗(yàn)讓它更精確”。于是費(fèi)舍爾把統(tǒng)計(jì)學(xué)的目標(biāo)從“描述過去”變成了“設(shè)計(jì)未來”。他在 1935 年出版的《實(shí)驗(yàn)設(shè)計(jì)》The Design of Experiments里明確表達(dá)了這個(gè)觀點(diǎn)統(tǒng)計(jì)方法不是數(shù)據(jù)產(chǎn)生之后才介入而是應(yīng)該在實(shí)驗(yàn)開始之前就參與規(guī)劃。這個(gè)轉(zhuǎn)向的直接后果就是今天實(shí)驗(yàn)科學(xué)和機(jī)器學(xué)習(xí)實(shí)踐中的標(biāo)準(zhǔn)流程先提出假設(shè)再設(shè)計(jì)數(shù)據(jù)采集方案然后做推斷。如果你做過 A/B 測(cè)試或者設(shè)計(jì)過機(jī)器學(xué)習(xí)特征驗(yàn)證實(shí)驗(yàn)?zāi)銓?shí)際上已經(jīng)走在費(fèi)舍爾開辟的路上。費(fèi)舍爾的另一個(gè)關(guān)鍵判斷是數(shù)據(jù)是有限的你必須用量化的方式表達(dá)不確定性。你不能說“這個(gè)品種似乎更好”你必須說“在 0.05 的顯著性水平下我拒絕了兩個(gè)品種沒有差異的原假設(shè)”。這種表達(dá)方式讓統(tǒng)計(jì)學(xué)從“科學(xué)家的直覺”變成了“可檢驗(yàn)的科學(xué)決策”。這個(gè)思想在當(dāng)時(shí)的生物學(xué)和農(nóng)學(xué)界引發(fā)了一場(chǎng)革命。在此之前生物學(xué)實(shí)驗(yàn)大多憑經(jīng)驗(yàn)設(shè)計(jì)品種好壞靠肉眼觀察判斷。費(fèi)舍爾引入隨機(jī)化、重復(fù)和區(qū)組設(shè)計(jì)之后實(shí)驗(yàn)結(jié)論才有了嚴(yán)格的概率保障。理解這一點(diǎn)你就明白為什么費(fèi)舍爾是“現(xiàn)代統(tǒng)計(jì)學(xué)奠基人”而不是“又一個(gè)統(tǒng)計(jì)學(xué)家”。他不是發(fā)明了幾個(gè)公式而是重新定義了統(tǒng)計(jì)學(xué)在科學(xué)流程中的位置。2. 最大似然估計(jì)費(fèi)舍爾最鋒利的推斷之刃最大似然估計(jì)Maximum Likelihood EstimationMLE是費(fèi)舍爾在 1912 年到 1922 年間逐步完善的方法。今天它已經(jīng)是機(jī)器學(xué)習(xí)中最基礎(chǔ)的參數(shù)估計(jì)方式邏輯回歸、神經(jīng)網(wǎng)絡(luò)、混合高斯模型的參數(shù)訓(xùn)練底層都可以歸結(jié)為最大似然。2.1 似然與概率的區(qū)別很多初學(xué)者會(huì)混淆“似然”likelihood和“概率”probability。這兩者看起來都是 P(x|θ)但視角不同。概率在參數(shù) θ 已知的情況下預(yù)測(cè)觀測(cè)結(jié)果 x 出現(xiàn)的可能性。似然在觀測(cè)結(jié)果 x 已知的情況下評(píng)估不同參數(shù) θ 對(duì)數(shù)據(jù)的解釋能力。用一句話概括概率是“給定參數(shù)預(yù)測(cè)數(shù)據(jù)”似然是“給定數(shù)據(jù)評(píng)估參數(shù)”。最大似然估計(jì)做的事情就是找到讓當(dāng)前數(shù)據(jù)出現(xiàn)概率最大的那組參數(shù)。# 文件路徑mle_demo.py import numpy as np from scipy.optimize import minimize # 生成一組服從正態(tài)分布 N(5, 2) 的樣本 np.random.seed(42) mu_true, sigma_true 5.0, 2.0 data np.random.normal(locmu_true, scalesigma_true, size200) # 負(fù)對(duì)數(shù)似然函數(shù)負(fù)號(hào)是因?yàn)?scipy 只做最小化 def neg_log_likelihood(params, obs): mu, sigma params if sigma 0: return 1e10 n len(obs) # 正態(tài)分布的對(duì)數(shù)似然 log_lik -0.5 * n * np.log(2 * np.pi * sigma**2) \ - np.sum((obs - mu)**2) / (2 * sigma**2) return -log_lik # 初始猜測(cè) initial_params [0.0, 1.0] result minimize(neg_log_likelihood, initial_params, args(data,), methodL-BFGS-B, bounds[(None, None), (1e-6, None)]) mu_hat, sigma_hat result.x print(f真實(shí)參數(shù): mu{mu_true}, sigma{sigma_true}) print(fMLE 估計(jì): mu{mu_hat:.4f}, sigma{sigma_hat:.4f}) # 與閉式解對(duì)比 mu_formula np.mean(data) sigma_formula np.sqrt(np.mean((data - mu_formula)**2)) print(f閉式解 : mu{mu_formula:.4f}, sigma{sigma_formula:.4f})運(yùn)行結(jié)果類似真實(shí)參數(shù): mu5.0, sigma2.0 MLE 估計(jì): mu5.0142, sigma1.9563 閉式解 : mu5.0142, sigma1.9563最大似然估計(jì)在正態(tài)分布下的閉式解剛好是樣本均值和樣本標(biāo)準(zhǔn)差這個(gè)結(jié)果不是巧合而是因?yàn)檎龖B(tài)分布的對(duì)數(shù)似然函數(shù)對(duì)均值和方差分別求導(dǎo)后極值點(diǎn)正好落在這些統(tǒng)計(jì)量上。2.2 為什么最大似然是“鋒利的”費(fèi)舍爾不僅提出了最大似然估計(jì)還給了它扎實(shí)的理論保證。他證明在相當(dāng)一般的正則條件下最大似然估計(jì)具有三個(gè)重要性質(zhì)一致性樣本量足夠大時(shí)估計(jì)值會(huì)收斂到真值。漸近正態(tài)性大樣本下估計(jì)量的分布近似正態(tài)。漸近有效性在所有一致估計(jì)量中最大似然估計(jì)的方差最小能達(dá)到 Cramér-Rao 下界。這意味著什么用費(fèi)舍爾自己的話說最大似然估計(jì)“充分利用了數(shù)據(jù)中的全部信息”。這個(gè)“信息”概念正是費(fèi)舍爾最具原創(chuàng)性的貢獻(xiàn)之一——費(fèi)舍爾信息量Fisher Information。import numpy as np def fisher_information_normal(sigma, n1): 正態(tài)分布未知均值 mu 時(shí)單個(gè)觀測(cè)值的 Fisher Information。 公式: I(mu) 1 / sigma^2 return n / sigma**2 sigma 2.0 I fisher_information_normal(sigma) print(fsigma{sigma} 時(shí)單個(gè)樣本關(guān)于 mu 的 Fisher Information {I:.4f}) # 所以參數(shù)估計(jì)的方差下界是 1/I sigma^2/n費(fèi)舍爾信息量刻畫了“數(shù)據(jù)中攜帶多少關(guān)于參數(shù)的信息”。它定量地回答了一個(gè)問題這個(gè)實(shí)驗(yàn)到底值不值得做如果信息量太低無論你怎么分析都很難得到精確結(jié)論。這個(gè)思想直接影響了后來的實(shí)驗(yàn)設(shè)計(jì)理論。2.3 一個(gè)機(jī)器學(xué)習(xí)的對(duì)照如果你訓(xùn)練過邏輯回歸那么你其實(shí)已經(jīng)用過最大似然估計(jì)。邏輯回歸的損失函數(shù)是交叉熵而交叉熵來自伯努利分布的負(fù)對(duì)數(shù)似然。最小化交叉熵就是最大化似然。在深度學(xué)習(xí)框架里nn.BCELoss和nn.CrossEntropyLoss的背后都是費(fèi)舍爾在一百年前給出的框架。所以最大似然不是教科書中過時(shí)的理論而是現(xiàn)代機(jī)器學(xué)習(xí)訓(xùn)練過程的數(shù)學(xué)底座。3. 實(shí)驗(yàn)設(shè)計(jì)與“女士品茶”隨機(jī)化的誕生在統(tǒng)計(jì)推斷的鏈條里最大似然解決的是“拿到數(shù)據(jù)后怎么分析”而實(shí)驗(yàn)設(shè)計(jì)解決的是“怎么拿到好數(shù)據(jù)”。費(fèi)舍爾的《實(shí)驗(yàn)設(shè)計(jì)》一書被認(rèn)為是這個(gè)領(lǐng)域的開山之作書中最著名的例子就是“女士品茶”。3.1 從一杯茶說起的故事故事是這樣的一位女士聲稱自己能夠品嘗出杯子里的茶是先放牛奶后倒茶還是先倒茶后放牛奶。費(fèi)舍爾設(shè)計(jì)了一個(gè)實(shí)驗(yàn)準(zhǔn)備 8 杯茶其中 4 杯先奶后茶4 杯先茶后奶隨機(jī)排列后請(qǐng)女士品嘗要求她判斷每一杯屬于哪種做法。這個(gè)實(shí)驗(yàn)即使全憑猜測(cè)也完全有可能猜對(duì)其中部分杯子。如果女士真的具備辨別能力她應(yīng)該能把 8 杯全部正確分類。費(fèi)舍爾計(jì)算了這種情況的概率從 8 杯中選出 4 杯作為“先奶后茶”總共有 C(8,4)70 種組合方式而正確分類只有 1 種所以純靠運(yùn)氣全部答對(duì)的概率是 1/70約 0.014。如果女士真的 8 杯全對(duì)可以認(rèn)為她不是靠運(yùn)氣因?yàn)樗珜?duì)的概率不到 0.05。# 文件路徑tea_test_demo.py from scipy.stats import hypergeom import numpy as np # 超幾何檢驗(yàn)8 杯茶中 4 杯是先奶后茶4 杯是先茶后奶 # 女士從 8 杯中選出 4 杯先奶后茶 M 8 # 總體大小 n 4 # 總體中先奶后茶的數(shù)量 N 4 # 抽取數(shù)量女士標(biāo)記為先奶后茶的數(shù)量 # 計(jì)算至少答對(duì) 4 杯即全部答對(duì)的概率 p_value 1 - hypergeom.cdf(3, M, n, N) print(f8 杯全部猜對(duì)的概率單側(cè) p 值: {p_value:.6f}) print(f等價(jià)于 1 / C(8,4) {1 / np.math.comb(8, 4):.6f})輸出8 杯全部猜對(duì)的概率單側(cè) p 值: 0.014286 等價(jià)于 1 / C(8,4) 0.014286這就是假設(shè)檢驗(yàn)中 p 值的雛形——在原假設(shè)成立的前提下出現(xiàn)當(dāng)前或更極端結(jié)果的概率。3.2 隨機(jī)化、重復(fù)、區(qū)組“女士品茶”看起來只是個(gè)優(yōu)雅的小實(shí)驗(yàn)但它背后包含了實(shí)驗(yàn)設(shè)計(jì)最核心的三個(gè)原則隨機(jī)化哪 4 杯先奶后茶不是固定的而是隨機(jī)決定。這樣可以避免系統(tǒng)誤差比如女士如果知道前 4 杯都是同一種做法就可能產(chǎn)生心理暗示。重復(fù)不只用 1 杯茶做測(cè)試而是用 8 杯讓隨機(jī)波動(dòng)有被估計(jì)的可能。重復(fù)提供了誤差估計(jì)的基礎(chǔ)。區(qū)組如果實(shí)驗(yàn)條件不均勻比如不同批次的茶葉可以把條件相同的樣本放在一個(gè)區(qū)組內(nèi)比較減少無關(guān)變量的干擾。這三個(gè)原則放到今天的 A/B 測(cè)試中依然完全適用用戶被隨機(jī)分到實(shí)驗(yàn)組和對(duì)照組每組有足夠的樣本量保證統(tǒng)計(jì)功效如果用戶來自不同渠道可以按渠道分層這就是一種區(qū)組思想。3.3 實(shí)驗(yàn)設(shè)計(jì)對(duì)現(xiàn)代工程的直接影響今天的機(jī)器學(xué)習(xí)項(xiàng)目中數(shù)據(jù)劃分方式直接影響模型評(píng)估的可靠性。隨機(jī)劃分訓(xùn)練集和測(cè)試集就是隨機(jī)化原則的延伸。如果你在數(shù)據(jù)劃分時(shí)引入了順序偏差或用戶重疊那么模型的評(píng)估結(jié)果就會(huì)失真。這也是為什么有 GroupKFold、StratifiedKFold 這些“注意數(shù)據(jù)生成方式”的工具。費(fèi)舍爾的實(shí)驗(yàn)設(shè)計(jì)思想本質(zhì)上是在告訴你數(shù)據(jù)分析的質(zhì)量上限在數(shù)據(jù)采集那一刻就已經(jīng)決定了。這比任何花哨的模型都更重要。4. 方差分析ANOVA把變異拆解開如果說最大似然估計(jì)是費(fèi)舍爾對(duì)統(tǒng)計(jì)推斷最著名的貢獻(xiàn)那么方差分析Analysis of VarianceANOVA就是他對(duì)實(shí)驗(yàn)數(shù)據(jù)最實(shí)用的貢獻(xiàn)。4.1 為什么要“分析方差”我們比較多個(gè)組均值時(shí)最容易想到的方法是兩兩做 t 檢驗(yàn)。但這里有個(gè)問題如果你有 5 個(gè)組兩兩比較需要做 C(5,2)10 次檢驗(yàn)每次都假設(shè)施 0.05 的顯著性水平那么至少出現(xiàn)一次“假陽性”的概率是 1 - 0.95^10 ≈ 0.401。就是說即使所有組根本沒有差異你也有四成概率得到至少一個(gè)“顯著結(jié)果”。ANOVA 的思路不是兩兩比較而是將總變異分解為組間變異和組內(nèi)變異。如果組間變異相對(duì)組內(nèi)變異足夠大就認(rèn)為組間存在顯著差異。這既避免了多重比較問題也給出了一個(gè)關(guān)于“差異是否存在”的整體判斷。4.2 方差分解的核心公式假設(shè)總共有 K 個(gè)組第 i 組有 n_i 個(gè)觀測(cè)值?？偲椒胶?SST ΣΣ (x_ij - x?)^2組間平方和 SSB Σ n_i (x?_i - x?)^2組內(nèi)平方和 SSE ΣΣ (x_ij - x?_i)^2它們滿足SST SSB SSE。F 統(tǒng)計(jì)量 (SSB / (K-1)) / (SSE / (N-K))其中 N 為總樣本量。# 文件路徑anova_demo.py import numpy as np import pandas as pd from scipy import stats # 構(gòu)造三組模擬數(shù)據(jù)三組確實(shí)有差異 np.random.seed(123) group1 np.random.normal(loc10, scale2, size30) group2 np.random.normal(loc12, scale2, size30) group3 np.random.normal(loc13, scale2, size30) # 手寫單因素 ANOVA def one_way_anova(groups): all_data np.concatenate(groups) grand_mean np.mean(all_data) N len(all_data) K len(groups) ssb 0.0 sse 0.0 for g in groups: n_g len(g) mean_g np.mean(g) ssb n_g * (mean_g - grand_mean)**2 sse np.sum((g - mean_g)**2) df_between K - 1 df_within N - K msb ssb / df_between mse sse / df_within F msb / mse p_value 1 - stats.f.cdf(F, df_between, df_within) return F, p_value, df_between, df_within, ssb, sse F_val, p_val, df1, df2, ssb, sse one_way_anova([group1, group2, group3]) print(fF 統(tǒng)計(jì)量 {F_val:.4f}) print(fp 值 {p_val:.6f}) print(f自由度 ({df1}, {df2}))我運(yùn)行得到的結(jié)果大致是F 統(tǒng)計(jì)量 17.5368 p 值 0.000001 自由度 (2, 87)p 值小于任何常規(guī)顯著性水平說明三組的均值存在統(tǒng)計(jì)顯著差異。這個(gè) F 檢驗(yàn)就是 ANOVA 的核心決策依據(jù)。如果你想用現(xiàn)成庫statsmodels提供了更完整的 ANOVA 表輸出import statsmodels.api as sm from statsmodels.formula.api import ols # 整理成長(zhǎng)表格式 df pd.DataFrame({ value: np.concatenate([group1, group2, group3]), group: np.repeat([A, B, C], repeats30) }) model ols(value ~ C(group), datadf).fit() anova_table sm.stats.anova_lm(model, typ2) print(anova_table)輸出會(huì)是一張標(biāo)準(zhǔn)的 ANOVA 表包含 sum_sq、df、F、PR(F) 四列這張表在任何統(tǒng)計(jì)軟件中都能見到。4.3 ANOVA 與線性模型的統(tǒng)一費(fèi)舍爾最初的 ANOVA 是為農(nóng)業(yè)實(shí)驗(yàn)發(fā)展出來的但后來人們發(fā)現(xiàn)ANOVA 本質(zhì)上是一個(gè)線性模型的特例y_ij μ α_i ε_(tái)ij其中 μ 是總體均值α_i 是第 i 組的效應(yīng)ε_(tái)ij 是隨機(jī)誤差。這個(gè)模型假設(shè)誤差獨(dú)立同分布且服從正態(tài)分布。后來這個(gè)模型被推廣到多因素、交互效應(yīng)、隨機(jī)效應(yīng)等情況也就是今天的混合線性模型。更重要的是ANOVA 把“數(shù)據(jù)處理”和“實(shí)驗(yàn)設(shè)計(jì)”聯(lián)系了起來你必須先有隨機(jī)化的實(shí)驗(yàn)組間均值的差異才可能歸因于處理效應(yīng)否則你只能觀察到“相關(guān)”不能斷言“因果”。這個(gè)思想對(duì)今天做因果推斷的人來說依然是最基本的框架。5. 群體遺傳學(xué)把統(tǒng)計(jì)推斷帶入進(jìn)化生物學(xué)費(fèi)舍爾對(duì)群體遺傳學(xué)的貢獻(xiàn)在非生物學(xué)背景的讀者中往往被低估。事實(shí)上他在 1918 年發(fā)表的論文《孟德爾遺傳假定下的親屬之間的相關(guān)性》是現(xiàn)代定量遺傳學(xué)和群體遺傳學(xué)的起點(diǎn)。后來他又在 1930 年出版了《自然選擇的遺傳理論》與霍爾丹、賴特一起被稱為“群體遺傳學(xué)三大奠基人”。5.1 費(fèi)舍爾解決的問題孟德爾的遺傳定律解釋了性狀如何代代相傳但沒有解釋一個(gè)關(guān)鍵問題在一個(gè)有性繁殖的群體中遺傳變異是如何維持的如果適應(yīng)度高的等位基因會(huì)逐漸固定變異應(yīng)該越來越少可自然界中變異卻普遍存在。費(fèi)舍爾用數(shù)學(xué)模型證明自然選擇相當(dāng)于一個(gè)統(tǒng)計(jì)過程等位基因頻率在群體中的變化服從一個(gè)差分方程選擇系數(shù)、突變率、群體大小都可以納入這個(gè)方程。他還提出了“費(fèi)舍爾基本定理”——自然選擇對(duì)群體適應(yīng)度的提升速率正比于群體在適應(yīng)度上的加性遺傳方差。更關(guān)鍵的是費(fèi)舍爾首次將方差分析的思想引入遺傳學(xué)把個(gè)體的表型變異分解為遺傳效應(yīng)和環(huán)境效應(yīng)V_phenotype V_genetic V_environment這個(gè)分解公式是后來“遺傳力”heritability概念的基礎(chǔ)也是現(xiàn)代 GWAS 研究中遺傳力估計(jì)的來源。5.2 從歷史到現(xiàn)代方差分析在遺傳學(xué)中的延伸今天的基因關(guān)聯(lián)分析中混合線性模型成了標(biāo)準(zhǔn)工具用來校正群體結(jié)構(gòu)和親緣關(guān)系。模型里一個(gè)常見的隨機(jī)效應(yīng)項(xiàng)是加性遺傳效應(yīng)其協(xié)方差矩陣由親緣關(guān)系矩陣Kinship matrix決定。這種“把總變異拆分為遺傳方差和環(huán)境方差”的建模思想直接脫胎于費(fèi)舍爾的方差分析框架。也就是說你如果在做動(dòng)物育種、植物遺傳評(píng)估或人類遺傳流行病學(xué)每天都在使用的混合模型方程底層就是費(fèi)舍爾在 1918 年提出的“表型方差分解”加后來 Henderson 發(fā)展的 BLUP 方法。5.3 用一個(gè)小模擬理解“遺傳力”我們做一個(gè)簡(jiǎn)單的模擬假設(shè) 1000 個(gè)個(gè)體的表型由 100 個(gè)位點(diǎn)的加性效應(yīng)和環(huán)境噪聲共同決定然后估計(jì)表型方差中遺傳方差所解釋的比例。# 文件路徑heritability_demo.py import numpy as np np.random.seed(42) n_individuals 1000 n_snps 100 n_effective 20 # 只有前 20 個(gè)位點(diǎn)有真實(shí)效應(yīng) # 基因型0/1/2 的加性編碼模擬位點(diǎn)頻率 0.3 genotypes np.random.binomial(2, 0.3, size(n_individuals, n_snps)).astype(float) # 真實(shí)遺傳效應(yīng)前 n_effective 個(gè)位點(diǎn)有效應(yīng)其余為 0 true_effect np.zeros(n_snps) true_effect[:n_effective] np.random.normal(loc0.5, scale0.2, sizen_effective) # 遺傳值 基因型 * 效應(yīng) genetic_value genotypes true_effect # 環(huán)境噪聲 env_noise np.random.normal(loc0, scale2.0, sizen_individuals) # 表型 遺傳值 環(huán)境噪聲 phenotype genetic_value env_noise # 用線性回歸近似估計(jì)遺傳力這是演示不是嚴(yán)謹(jǐn) GWAS 流程 from sklearn.linear_model import LinearRegression model LinearRegression().fit(genotypes, phenotype) predicted_genetic model.predict(genotypes) r_squared model.score(genotypes, phenotype) # 模擬真實(shí)遺傳力遺傳方差 / 表型方差 h2_true np.var(genetic_value) / np.var(phenotype) print(f真實(shí)遺傳力按模擬設(shè)定: {h2_true:.4f}) print(f線性回歸 R2捕獲的方差比例: {r_squared:.4f})運(yùn)行結(jié)果大致是真實(shí)遺傳力按模擬設(shè)定: 0.2418 線性回歸 R2捕獲的方差比例: 0.1943從結(jié)果可以看到R2 會(huì)比真實(shí)遺傳力低一些因?yàn)榛貧w模型用有限樣本和有限位點(diǎn)去逼近真實(shí)的遺傳結(jié)構(gòu)存在估計(jì)偏差。這個(gè)現(xiàn)象在現(xiàn)代 GWAS 中同樣存在——你能用常見 SNP 解釋的方差比例通常低于真實(shí)遺傳力這就是“缺失遺傳力”問題的一部分。費(fèi)舍爾在一百年前提出的方差分解框架今天依然是理解這些問題的基礎(chǔ)。6. 四把利器的統(tǒng)一信息、方差與模型選擇讀到這里你可能已經(jīng)感覺到最大似然、ANOVA、實(shí)驗(yàn)設(shè)計(jì)、群體遺傳學(xué)并不是四件孤立的事。它們共享同一個(gè)底層觀念用概率模型表達(dá)不確定性用方差和信息量描述數(shù)據(jù)質(zhì)量用可加模型分解總變異。6.1 費(fèi)舍爾信息量作為統(tǒng)一線索最大似然估計(jì)依賴費(fèi)舍爾信息量因?yàn)閰?shù)估計(jì)的精度由信息量決定。實(shí)驗(yàn)設(shè)計(jì)同樣依賴信息量因?yàn)樵O(shè)計(jì)實(shí)驗(yàn)的目標(biāo)之一就是最大化能從數(shù)據(jù)中提取的信息量。ANOVA 中的 F 檢驗(yàn)本質(zhì)上是在比較兩個(gè)模型的解釋能力包含組別效應(yīng)的模型 vs. 不包含組別效應(yīng)的模型。而遺傳力估計(jì)則是在方差分解的意義上衡量遺傳信息對(duì)表型的解釋比例。從這里可以看到一條清晰的主線最大似然給定數(shù)據(jù)找出最優(yōu)參數(shù)。信息量衡量參數(shù)估計(jì)能達(dá)到多精確。實(shí)驗(yàn)設(shè)計(jì)決定如何采集數(shù)據(jù)讓信息量最大。方差分析把變異拆解成不同來源判斷哪個(gè)來源顯著。群體遺傳學(xué)把方差拆解擴(kuò)展到遺傳與環(huán)境量化進(jìn)化過程。這就是費(fèi)舍爾作為一個(gè)統(tǒng)計(jì)學(xué)家最獨(dú)特的成就他沒在某個(gè)孤立問題上做一次性的貢獻(xiàn)而是建立了一套可以貫穿多個(gè)學(xué)科的方法論體系。6.2 與現(xiàn)代機(jī)器學(xué)習(xí)的呼應(yīng)今天我們?cè)跈C(jī)器學(xué)習(xí)中使用的許多方法都能在費(fèi)舍爾的框架里找到對(duì)應(yīng)參數(shù)估計(jì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練本質(zhì)上是最小化負(fù)對(duì)數(shù)似然這是最大似然原則的擴(kuò)展。模型選擇的偏差-方差權(quán)衡從均方誤差分解出發(fā)就是 E[(y - ?)^2] Bias^2 Variance Noise這種分解和我們上面處理 SSTSSBSSE 的思維一脈相承。特征重要性評(píng)估F 檢驗(yàn)、卡方檢驗(yàn)這些篩選特征的方法正是 ANOVA 在不同分布假設(shè)下的推廣。因果推斷中的隨機(jī)化實(shí)驗(yàn)隨機(jī)對(duì)照試驗(yàn)RCT是 A/B 測(cè)試的根基這個(gè)設(shè)計(jì)原則就是費(fèi)舍爾論文的現(xiàn)代版本。理解這個(gè)統(tǒng)一性比單獨(dú)記憶某個(gè)公式更有價(jià)值因?yàn)樗茏屇阍诿鎸?duì)新問題時(shí)更清晰地判斷這到底是個(gè)推斷問題、設(shè)計(jì)問題還是分解問題。7. 常見誤區(qū)與學(xué)習(xí)路徑7.1 關(guān)于最大似然的常見誤解誤區(qū)一似然值越小模型越差。似然值本身的大小與數(shù)據(jù)量、分布假設(shè)都有關(guān)系不能跨模型直接比較。只有對(duì)同一組數(shù)據(jù)、同一分布族的對(duì)數(shù)似然才適合做比較比如用 AIC、BIC。誤區(qū)二最大似然估計(jì)一定無偏。小樣本下最大似然估計(jì)可能是有偏的。例如正態(tài)分布方差的 MLE 用的分母是 n 而不是 n-1導(dǎo)致方差被低估。樣本量增大后偏差會(huì)消失這才有“漸近無偏”的說法。7.2 關(guān)于 ANOVA 的常見誤解誤區(qū)一ANOVA 的 F 檢驗(yàn)顯著就能說明“差異很大”。F 檢驗(yàn)只回答“是否存在統(tǒng)計(jì)顯著差異”不回答差異大小。用今天的話說p 值顯著不等于效應(yīng)量大。兩組的均值差可能是 0.1 個(gè)單位但只要樣本量足夠大照樣能被檢測(cè)出來。誤區(qū)二ANOVA 假設(shè)數(shù)據(jù)嚴(yán)格正態(tài)。標(biāo)準(zhǔn) ANOVA 假設(shè)組內(nèi)殘差近似正態(tài)但輕微偏離正態(tài)在樣本量較大時(shí)影響有限。真正影響較大的是方差齊性如果各組方差差異懸殊F 檢驗(yàn)的結(jié)果可能不穩(wěn)定。遇到這種情況可以考慮 Welch 方差分析。7.3 關(guān)于實(shí)驗(yàn)設(shè)計(jì)的實(shí)際建議如果你在互聯(lián)網(wǎng)公司做 A/B 測(cè)試那么你每天都在使用費(fèi)舍爾留下的框架。這里有幾條非常實(shí)用的建議預(yù)先確定樣本量。不要等實(shí)驗(yàn)結(jié)果出來再問“為什么沒顯著”。實(shí)驗(yàn)前用功效分析算出所需樣本量這是實(shí)驗(yàn)設(shè)計(jì)的標(biāo)準(zhǔn)動(dòng)作。隨機(jī)化要真的隨機(jī)。不要按用戶注冊(cè)時(shí)間先后分實(shí)驗(yàn)組和對(duì)照組因?yàn)樵缙诤屯砥谟脩舻膶傩钥赡苡邢到y(tǒng)差異。區(qū)分“顯著性”和“業(yè)務(wù)意義”。統(tǒng)計(jì)顯著只說明觀察到的差異不太可能是隨機(jī)波動(dòng)不代表這個(gè)差異一定有業(yè)務(wù)價(jià)值。結(jié)果異常時(shí)先檢查數(shù)據(jù)產(chǎn)生過程。很多 A/B 測(cè)試的“失敗”其實(shí)不是策略無效而是埋點(diǎn)錯(cuò)誤、樣本重疊、分流不均等問題。先查數(shù)據(jù)再動(dòng)模型。7.4 學(xué)習(xí)路徑建議如果你想深入掌握費(fèi)舍爾式的統(tǒng)計(jì)思維建議按這個(gè)順序?qū)W習(xí)第一步理解假設(shè)檢驗(yàn)和 p 值的含義能手工完成一個(gè) t 檢驗(yàn)。第二步理解最大似然估計(jì)并用 Python 實(shí)現(xiàn)簡(jiǎn)單模型的參數(shù)估計(jì)。第三步學(xué)習(xí)單因素、雙因素 ANOVA理解方差分解。第四步學(xué)習(xí)實(shí)驗(yàn)設(shè)計(jì)三原則隨機(jī)化、重復(fù)、區(qū)組。第五步如果對(duì)生物信息感興趣可以了解混合線性模型和遺傳力估計(jì)。推薦的入門材料包括《實(shí)驗(yàn)設(shè)計(jì)》原著的通俗解讀、現(xiàn)代應(yīng)用統(tǒng)計(jì)學(xué)教材以及一系列圍繞“女士品茶”展開的統(tǒng)計(jì)史科普文章。不要一上來就啃數(shù)學(xué)推導(dǎo)先建立直覺再補(bǔ)理論。8. 對(duì)技術(shù)人的現(xiàn)實(shí)啟示很多人學(xué)統(tǒng)計(jì)只是為了應(yīng)付考試或者為了讀懂論文里的 p 值。但如果你真的理解費(fèi)舍爾的方法論它對(duì)日常工程實(shí)踐有實(shí)實(shí)在在的幫助。第一個(gè)啟示是指標(biāo)定義和數(shù)據(jù)采集方式往往比分析模型更影響結(jié)論。你在設(shè)計(jì)一個(gè)推薦系統(tǒng)的離線評(píng)測(cè)時(shí)如果用隨機(jī)劃分而不是按用戶劃分評(píng)估結(jié)果就會(huì)偏樂觀因?yàn)橥粋€(gè)用戶的數(shù)據(jù)同時(shí)出現(xiàn)在訓(xùn)練集和測(cè)試集里模型相當(dāng)于“見過”用戶的偏好。這就是實(shí)驗(yàn)設(shè)計(jì)原則在機(jī)器學(xué)習(xí)數(shù)據(jù)劃分中的直接應(yīng)用。只用“準(zhǔn)確率”一個(gè)指標(biāo)評(píng)測(cè)模型就像只做描述統(tǒng)計(jì)不看不確定性一樣容易得出誤導(dǎo)性結(jié)論。第二個(gè)啟示是統(tǒng)計(jì)顯著性與實(shí)際效果要分開看。一個(gè)模型離線指標(biāo)提升 0.1%在線 A/B 測(cè)試也可能“統(tǒng)計(jì)顯著”因?yàn)闃颖玖看蟮侥軝z測(cè)微小差異。但 0.1% 的提升未必值得冒上線風(fēng)險(xiǎn)。費(fèi)舍爾當(dāng)年做農(nóng)學(xué)實(shí)驗(yàn)時(shí)很在意效應(yīng)量是否足夠大而不是只盯著 p 值。這個(gè)習(xí)慣放到今天依然受用。第三個(gè)啟示是建立一個(gè)“實(shí)驗(yàn)文化”比學(xué)習(xí)一堆統(tǒng)計(jì)公式更重要。費(fèi)舍爾最有價(jià)值的遺產(chǎn)不是某個(gè)具體公式而是“先設(shè)計(jì)、再采集、后分析”的科學(xué)流程。如果你在團(tuán)隊(duì)里能推動(dòng)這種工作方式——上線前想清楚假設(shè)、把實(shí)驗(yàn)分組隨機(jī)化、把核心指標(biāo)預(yù)先定義好——你實(shí)際上就是在用自己的方式延續(xù)費(fèi)舍爾的方法論。第四個(gè)啟示和機(jī)器學(xué)習(xí)模型選擇有關(guān)。最大似然估計(jì)的現(xiàn)代繼承者是負(fù)對(duì)數(shù)似然損失但大量深度學(xué)習(xí)實(shí)踐中使用的正則化、早停、交叉驗(yàn)證都是在一個(gè)更廣義的框架下規(guī)避過擬合。你不需要每次都手動(dòng)推導(dǎo)似然函數(shù)但你應(yīng)該知道什么時(shí)候用 AIC、BIC 選模型什么時(shí)候用交叉驗(yàn)證它們背后的邏輯是一致的評(píng)估模型對(duì)未知數(shù)據(jù)的解釋能力而不是對(duì)訓(xùn)練數(shù)據(jù)的匹配程度。9. 總結(jié)與后續(xù)方向這篇文章從費(fèi)舍爾面對(duì)的問題出發(fā)梳理了他在最大似然估計(jì)、實(shí)驗(yàn)設(shè)計(jì)、方差分析和群體遺傳學(xué)四個(gè)方向的貢獻(xiàn)并用 Python 代碼演示了其中三個(gè)核心概念的實(shí)現(xiàn)?，F(xiàn)在可以清楚地看到這四塊工作不是零散的公式而是同一種思維方式的延伸用概率和方差的語言量化不確定性設(shè)計(jì)數(shù)據(jù)產(chǎn)生過程最終做出可檢驗(yàn)的科學(xué)決策。如果你只記住一件事我希望是這一件統(tǒng)計(jì)方法的質(zhì)量上限在數(shù)據(jù)產(chǎn)生之前就已經(jīng)確定。費(fèi)舍爾用實(shí)驗(yàn)設(shè)計(jì)改變了 20 世紀(jì)初的科學(xué)實(shí)驗(yàn)方式今天你在做 A/B 測(cè)試、特征工程、模型評(píng)估、甚至生物信息分析時(shí)依然在沿用他設(shè)定的游戲規(guī)則。下一步你可以從兩個(gè)方向繼續(xù)深入。如果你偏工程建議去讀實(shí)驗(yàn)設(shè)計(jì)相關(guān)的現(xiàn)代實(shí)踐書比如討論 A/B 測(cè)試樣本量計(jì)算、分層抽樣和 delta 方法的資料如果你偏理論可以去啃費(fèi)舍爾的《實(shí)驗(yàn)設(shè)計(jì)》和《統(tǒng)計(jì)方法與科學(xué)推斷》或者結(jié)合現(xiàn)代教材理解最大似然估計(jì)的漸近理論。對(duì)于生物信息方向的讀者可以接著學(xué)習(xí)混合線性模型、遺傳力估計(jì)和 GWAS 的統(tǒng)計(jì)基礎(chǔ)這些知識(shí)會(huì)讓你看論文時(shí)更有底氣。無論你走哪個(gè)方向費(fèi)舍爾的“信息”和“方差”這兩個(gè)核心概念都值得反復(fù)體會(huì)。它們是一百年后依然不過時(shí)的思維工具。建議把這篇文章收藏備用下次寫實(shí)驗(yàn)報(bào)告、做 A/B 測(cè)試或者搭建模型評(píng)估流程時(shí)再回來對(duì)照一下你會(huì)有新的收獲。