先潑一盆冷水大模型這個詞如今已經(jīng)被用到近乎通貨膨脹了。有人用它指ChatGPT那種聊天窗口有人用它指自己電腦上跑起來的本地推理服務(wù)還有人說的是我要訓(xùn)練一個自己的模型——這三類人對話的時候表面都在聊大模型實際聊的完全是三套東西。這種認(rèn)知錯位正是大量熱搜詞背后真正的問題源頭為什么有人搜ollama部署大模型有人搜大模型微調(diào)還有人搜有可以免費(fèi)使用的大模型嗎。本文想做的就是把這些散落的概念拼成一張完整的坐標(biāo)系讓零基礎(chǔ)的讀者讀完能準(zhǔn)確判斷大模型到底是什么、它怎么會說人話、它的邊界在哪、以及最常見的部署和微調(diào)到底是怎么一回事。1. 先校準(zhǔn)坐標(biāo)大模型不是一個東西而是一類方法的統(tǒng)稱1.1 大在哪里參數(shù)、數(shù)據(jù)、算力這三座大山所有人都在說大模型大但很少有人講清楚它到底大在什么地方。傳統(tǒng)機(jī)器學(xué)習(xí)模型通常只有幾百萬到幾千萬個參數(shù)而大模型的參數(shù)規(guī)模動輒數(shù)十億、數(shù)百億甚至上千億。GPT-3的1750億參數(shù)是一個經(jīng)常被引用的里程碑?dāng)?shù)字。參數(shù)可以粗略理解為模型內(nèi)部用來存儲知識和規(guī)律的旋鈕數(shù)量旋鈕越多模型能記住的模式就越復(fù)雜。但要撐起這么大的參數(shù)量光有算法遠(yuǎn)遠(yuǎn)不夠。大模型真正吃掉的是三樣?xùn)|西海量的訓(xùn)練數(shù)據(jù)、大規(guī)模的算力集群、以及用來清洗和處理這些數(shù)據(jù)的工程體系。用個生活化的類比小模型像一個只背了本崗位手冊的專員遇到手冊之外的問題就會卡殼大模型像一個把一座圖書館通讀過的畢業(yè)生雖然不能保證每道題都對但覆蓋面和處理問題的靈活度完全不同。這里需要澄清一個關(guān)鍵認(rèn)知大模型并不是一個具體的產(chǎn)品也不是某一個軟件。它是一套海量參數(shù) 海量數(shù)據(jù) 大規(guī)模算力訓(xùn)練出來的神經(jīng)網(wǎng)絡(luò)模型。我們?nèi)粘＝佑|的聊天機(jī)器人、AI繪圖工具只是這套模型能力的外包裝。1.2 一串容易混的近親概念LLM、多模態(tài)、開源與閉源很多新手最困惑的是深度學(xué)習(xí)預(yù)訓(xùn)練模型大模型LLM這些詞之間的關(guān)系。深度學(xué)習(xí)是人工智能的一個技術(shù)流派本質(zhì)是搭建多層神經(jīng)網(wǎng)絡(luò)讓它自動從數(shù)據(jù)里學(xué)規(guī)律。預(yù)訓(xùn)練模型是先用大規(guī)模無標(biāo)注數(shù)據(jù)把模型喂一遍讓它具備通用的語言理解能力BERT、GPT-2都是這個階段的代表。大模型則是在預(yù)訓(xùn)練路線走到極致后的產(chǎn)物——參數(shù)規(guī)?？邕^千億門檻出現(xiàn)了許多小模型沒有的能力。LLM是Large Language Model的縮寫特指做大語言模型的只能處理文本。多模態(tài)大模型則更進(jìn)一步能把文本、圖像、音頻、視頻統(tǒng)一到同一個模型框架里理解GPT-4V、以及各類能看圖說話的模型都屬于這一類。從技術(shù)生態(tài)上看大模型又分成開源和閉源兩條線。開源的代表有LLaMA系列、千問系列、DeepSeek系列模型權(quán)重公開可以下載到本地部署、二次開發(fā)閉源的代表有GPT-4、Claude等只能通過官方API調(diào)用。很多新人會把模型和產(chǎn)品混為一談這里舉個最簡單的區(qū)分方式ChatGPT是一個產(chǎn)品它的背后是GPT模型而做這個模型和產(chǎn)品的公司叫OpenAI。搞清楚這一層后面很多疑問都會迎刃而解。1.3 為什么行業(yè)大模型到處開花最近在熱搜里頻繁看到農(nóng)業(yè)大模型金融大模型法律大模型這類詞。很多人以為每個行業(yè)都要從零訓(xùn)練一個全新的模型真實情況并不是這樣。行業(yè)大模型的技術(shù)路線絕大多數(shù)是通用底座 行業(yè)數(shù)據(jù)適配先用海量通用語料訓(xùn)練出一個具備基礎(chǔ)能力的底座模型再灌入某個行業(yè)的特定數(shù)據(jù)做進(jìn)一步微調(diào)。拿熱搜里提到的農(nóng)業(yè)場景舉例。通用大模型本身并不懂土壤墑情、氣象數(shù)據(jù)和作物生長模型之間的關(guān)系但把農(nóng)業(yè)傳感器采集的土壤濕度、溫度、光照、氣象預(yù)報等數(shù)據(jù)經(jīng)過處理后注入模型做針對性訓(xùn)練它就能在智能灌溉、施肥決策、病蟲害預(yù)警這些任務(wù)上給出參考建議。農(nóng)業(yè)、金融、法律這類領(lǐng)域的大模型本質(zhì)上不是另起爐灶而是把通用能力和行業(yè)know-how結(jié)合起來。理解了這個機(jī)制你再看任何XX行業(yè)大模型的新聞就不會被概念唬住。2. 大模型是怎么練成的預(yù)訓(xùn)練、微調(diào)與對齊這三道工序2.1 預(yù)訓(xùn)練用填空游戲讀遍互聯(lián)網(wǎng)大模型最底層的訓(xùn)練方式聽起來簡單到讓人懷疑給模型一段文本遮住后面一部分讓它預(yù)測下一個詞應(yīng)該是什么。這個任務(wù)在學(xué)術(shù)界叫next token prediction也就是下一個詞元預(yù)測。模型每猜一次跟真實文本對比一次錯了就調(diào)整參數(shù)循環(huán)往復(fù)幾十萬步。為什么這個看似笨拙的任務(wù)能產(chǎn)生智能關(guān)鍵在于訓(xùn)練的規(guī)模。當(dāng)模型在幾乎整個互聯(lián)網(wǎng)規(guī)模的中文和英文文本上反復(fù)做這個練習(xí)它被迫學(xué)會了語法規(guī)則、事實知識、邏輯推理的統(tǒng)計模式甚至不同語言之間的對應(yīng)關(guān)系。這就好比一個孩子把整個圖書館的書都逐字逐句地填詞填了一遍雖然他沒有專門的課本但語言規(guī)律已經(jīng)內(nèi)化在神經(jīng)網(wǎng)絡(luò)的權(quán)重里了。這個階段練出來的模型叫基座模型。這里有個特別容易踩的認(rèn)知坑基座模型只會續(xù)寫文本不會對話。你問它你好它可能會一本正經(jīng)地繼續(xù)往下寫你好這是一個關(guān)于...——因為它訓(xùn)練時看到的文本就是這種連續(xù)的篇章。你現(xiàn)在用到的所有能聊天的大模型幾乎都在基座之上又經(jīng)過了好幾個步驟的處理。2.2 監(jiān)督微調(diào)SFT把續(xù)寫者變成對話者為了讓模型學(xué)會對話研究人員會構(gòu)造大量用戶提問-標(biāo)準(zhǔn)回答的配對樣本讓模型照著這些范例調(diào)整行為方式。這個過程叫監(jiān)督微調(diào)英文縮寫SFTSupervised Fine-Tuning。大量熱搜里的大模型微調(diào)指的就是這一類后續(xù)訓(xùn)練步驟只不過基座模型微調(diào)所使用的數(shù)據(jù)和訓(xùn)練目標(biāo)五花八門。SFT的意義在于行為對齊?；Ｐ椭篮芏嘀R但它不知道該怎么用聊天的口吻把答案組織出來。通過幾萬條高質(zhì)量的對話樣本訓(xùn)練模型學(xué)會了原來回答用戶問題應(yīng)該先給結(jié)論、再給解釋這類約定俗成的交互規(guī)范。許多開源模型會單獨(dú)發(fā)布對話版和基座版區(qū)別就在于對話版已經(jīng)經(jīng)過了SFT這道工序。很多初學(xué)者以為微調(diào)是為了給模型注入新知識這其實是另一個常見誤解。微調(diào)最主要的作用是改變模型的行為風(fēng)格或輸出格式而不是往它腦子里塞新事實。要更新知識更可靠的做法通常是檢索增強(qiáng)生成RAG也就是在回答問題時先從外部知識庫檢索相關(guān)信息再交給模型組織答案。2.3 RLHF與內(nèi)容對齊模型為什么聽話也受限對話能力有了但這時候模型還有一個致命問題它分不清什么樣的回答是好的。它可能老老實實回答也可能輸出充滿偏見的、有害的或者純粹編造的內(nèi)容。于是就有了第三個關(guān)鍵工序——RLHF基于人類反饋的強(qiáng)化學(xué)習(xí)。RLHF的過程大致是先讓模型針對同一批問題生成多個回答由標(biāo)注人員按質(zhì)量排序打分用這些偏好數(shù)據(jù)訓(xùn)練一個獎勵模型再用強(qiáng)化學(xué)習(xí)算法引導(dǎo)主模型往高分方向優(yōu)化。這個工序讓模型學(xué)會了拒絕回答違反安全規(guī)范的問題也學(xué)會了更貼合人類偏好的表達(dá)方式。這也是為什么你在使用大模型時偶爾會看到它道歉或者拒絕回答。很多人把這理解為模型被閹割或限制但從工程角度看這正是對齊技術(shù)的體現(xiàn)——內(nèi)容和行為邊界是模型產(chǎn)品化的必要條件。社交媒體上討論的大模型投毒測試本質(zhì)上就是安全評測領(lǐng)域的一種手段通過構(gòu)造對抗性的輸入來檢驗?zāi)Ｐ驮趷阂鈹?shù)據(jù)影響下能否保持可靠性這類測試暴露出的問題最終又會推動對齊技術(shù)繼續(xù)升級。一個沒有對齊的模型在真實場景中是沒法放心使用的。2.4 別把微調(diào)當(dāng)成萬能藥自從開源模型普及后微調(diào)這個詞幾乎成了大模型領(lǐng)域最大的流量入口但也帶來了最多的誤解。這里把微調(diào)最常見的三類目標(biāo)梳理清楚領(lǐng)域適應(yīng)比如讓通用模型更懂法律條文、醫(yī)療術(shù)語用領(lǐng)域語料繼續(xù)訓(xùn)練。行為對齊讓模型按指定格式輸出比如永遠(yuǎn)用JSON返回、先給摘要再給詳情。能力增強(qiáng)通過特定任務(wù)數(shù)據(jù)增強(qiáng)模型某個方面的表現(xiàn)比如更擅長寫SQL、更擅長做數(shù)學(xué)推理。但微調(diào)不是萬能藥。模型在預(yù)訓(xùn)練階段沒學(xué)到的東西靠微調(diào)很難補(bǔ)上模型已經(jīng)學(xué)會但表現(xiàn)不穩(wěn)定的能力微調(diào)倒是可以把它校準(zhǔn)得更準(zhǔn)。判斷該不該微調(diào)一個簡單的原則是先想清楚問題出在知識缺失還是行為偏離。知識缺失優(yōu)先考慮RAG行為偏離才適合微調(diào)。這個區(qū)分判斷做對了能省下大把時間和算力。3. 能力邊界幻覺、上下文窗口和溫度到底在說什么3.1 幻覺一本正經(jīng)地胡說八道根子在概率用過一陣大模型的人遲早會遇到一個場景它信誓旦旦地給出一個答案引經(jīng)據(jù)典、邏輯嚴(yán)密但你去核對后發(fā)現(xiàn)全是編的。這就是大模型最著名的幻覺問題。要理解幻覺得先理解大模型生成文本的底層機(jī)制。它每生成一個詞都是根據(jù)當(dāng)前已經(jīng)生成的內(nèi)容在整個詞表上計算每個詞出現(xiàn)的概率然后從中采樣。這種機(jī)制本質(zhì)上是在做最像樣子的接龍不是在查數(shù)據(jù)庫。所以模型并不具備知道這個概念它只有根據(jù)上下文推斷哪個詞最合理這個能力。明白了這一點很多現(xiàn)象就說得通了越是熱門話題訓(xùn)練數(shù)據(jù)里相關(guān)內(nèi)容多模型表現(xiàn)越好因為統(tǒng)計規(guī)律明顯越是冷門、專業(yè)、更新快的信息模型越容易翻車因為數(shù)據(jù)中缺乏穩(wěn)定規(guī)律可供推斷。緩解幻覺的常用手段有幾個一是用RAG給模型提供參考資料讓它帶著材料回答而不是憑空發(fā)揮二是通過Prompt要求它標(biāo)注信息來源或承認(rèn)不確定性三是在關(guān)鍵場景引入人工復(fù)核機(jī)制把模型輸出當(dāng)初稿而不是定稿。對使用大模型的人來說最重要的習(xí)慣是對于高風(fēng)險決策永遠(yuǎn)對模型輸出保持核對意識。3.2 上下文窗口為什么聊著聊著它就失憶了很多人在連續(xù)對話時發(fā)現(xiàn)大模型聊到后面會忘記前面說過的內(nèi)容或者在處理超長文章時突然斷片。這背后的關(guān)鍵概念是上下文窗口context window指的是模型單次能處理的文本總長度單位是token。token是模型讀寫文本的基本單位可以粗略理解為詞元。英文里一個單詞通常是一個或兩個token中文里一個漢字大約是一個到一點五個token。上下文窗口越大模型能同時看見的信息越多。但是窗口有限超出的部分就會被截斷或忽略。這個特性可以類比人類的工作記憶。模型并沒有真正意義的長期記憶它只能看到當(dāng)前上下文窗口范圍內(nèi)的內(nèi)容。要讓它記住某個信息有兩種常見辦法一是把關(guān)鍵信息重復(fù)放進(jìn)每次對話的上下文里比如把背景資料寫在系統(tǒng)提示詞中二是借助外部存儲做RAG讓模型回答前先查詢相關(guān)片段再連同問題一起交給模型處理。了解上下文窗口還有一個實際價值做長文檔總結(jié)時如果不先切分文檔直接整個丟給模型到達(dá)窗口上限后模型要么報錯要么只總結(jié)前半段。通行的做法是分段摘要再合并這也是很多所謂長文本處理技巧的本質(zhì)。3.3 溫度讓模型在穩(wěn)定和放飛之間滑動在各類大模型API的參數(shù)里temperature溫度是最常見也最容易被忽視的一個。它的取值范圍通常是0到2作用是控制模型輸出時的隨機(jī)性。溫度越低概率分布越尖銳模型越傾向于選最高概率的詞輸出就更穩(wěn)定、更可預(yù)測溫度越高概率分布越平坦低概率的詞也有機(jī)會被選中輸出就更多樣、更有創(chuàng)造性但也更容易出現(xiàn)錯誤或跑題。實操中我的建議是分場景設(shè)置寫代碼、做數(shù)學(xué)題、提煉結(jié)構(gòu)化信息時溫度設(shè)在0到0.3之間追求準(zhǔn)確性寫營銷文案、頭腦風(fēng)暴、創(chuàng)意故事時溫度可以調(diào)到0.7到1.0讓表達(dá)更豐富。很多新人追求金句頻出的效果把溫度拉得很高結(jié)果發(fā)現(xiàn)模型開始胡說八道就是這個參數(shù)的掌控出了問題。另一個常與溫度一起出現(xiàn)的參數(shù)是top_p它控制的是只在累計概率達(dá)到p閾值的詞元里采樣。兩者作用方向類似實踐中保持一個固定、微調(diào)另一個就夠了不需要同時大動干戈。3.4 能力邊界不是缺陷是設(shè)計約束說到底幻覺、上下文、溫度這些概念指向的是同一個事實大模型不是一個提供事實的數(shù)據(jù)庫而是一個基于概率生成文本的系統(tǒng)。它的能力邊界不是不夠好的缺陷而是理解和使用它的基本前提。正因為如此用好大模型的核心技能其實是管理不確定性。把大模型當(dāng)作一個聰明但沒有常識判斷力的實習(xí)生它能快速產(chǎn)出草案、梳理思路、生成初版內(nèi)容但那些需要確保真實、精確、合規(guī)的環(huán)節(jié)必須由人來把關(guān)。這種認(rèn)知聽著簡單但實踐中最容易忘。很多人遭遇一兩次幻覺后就得出大模型不靠譜的結(jié)論也有人完全信任模型輸出直接用在正經(jīng)場合結(jié)果翻了車。兩種極端都源于對能力邊界的誤判。4. 本地部署還是調(diào)用API先弄懂顯存賬再掏錢4.1 為什么那么多人想本地部署大模型相關(guān)熱搜里ollama部署大模型本地部署ai大模型本地部署大模型出現(xiàn)頻率極高。背后驅(qū)動的往往是這幾類需求數(shù)據(jù)不出內(nèi)網(wǎng)的安全合規(guī)要求、業(yè)務(wù)系統(tǒng)需要與模型深度集成、希望免去按調(diào)用量付費(fèi)的成本、以及想在離線環(huán)境里使用模型。這個想法本身合理但大多數(shù)人對本地部署的真實成本完全沒有概念。很多人以為部署一個開源大模型就像裝Photoshop一樣下載雙擊就行實際上最大的門檻不是軟件而是硬件——確切說是顯卡顯存。4.2 算一筆顯存賬你的顯卡到底能跑多大的模型模型加載到顯存時最占空間的是模型權(quán)重本身。有一個基礎(chǔ)的估算公式模型參數(shù)量億乘以2字節(jié)FP16精度再除以1024就得到大約需要的顯存GB數(shù)。比如一個70億參數(shù)的7B模型在FP16精度下大約需要(70 \times 2 \div 1024 \approx 13.7)GB顯存。但這只是模型權(quán)重的部分推理過程中還有中間激活值、KV緩存等額外開銷實際占用量會更高。以下是一份面向個人部署的參考表按常見模型規(guī)模整理模型規(guī)模參數(shù)量FP16加載顯存約4bit量化后約適合場景小參數(shù)1B-3B2-6GB1-2GBCPU都能跑、嵌入式設(shè)備、簡單任務(wù)中等規(guī)模7B-8B14-16GB4-6GB消費(fèi)級顯卡、本地聊天、文檔處理較大規(guī)模14B-32B28-64GB8-16GB更強(qiáng)推理、需要多卡或大顯存卡大規(guī)模70B140GB35-40GB生產(chǎn)級服務(wù)通常需多卡集群量化技術(shù)是本地部署繞不開的話題。4bit量化會把每個權(quán)重的存儲從16bit壓縮到4bit模型體積大幅縮小代價是輸出質(zhì)量可能有輕微下降。這也是為什么很多16GB顯存的顯卡用戶也能跑7B模型的對話版——用的就是量化后的版本?，F(xiàn)實一點的建議是如果只是個人體驗、學(xué)習(xí)或輕量使用一張24GB顯存的消費(fèi)級顯卡配合量化方案就很舒適想認(rèn)真做應(yīng)用開發(fā)先別急著買卡優(yōu)先利用云端GPU按需租用更劃算至于普通人手上只有集顯或輕薄本也不必焦慮——Ollama支持純CPU跑小模型速度不快但能跑或者干脆先用免費(fèi)API把概念悟透了再考慮硬件投入?？达@卡天梯圖的時候同樣別只看顯存大小推理大模型更看重的是顯存帶寬和FP16/F32算力這兩項直接決定生成速度。同樣24GB顯存不同卡的吞吐差距可能有兩三倍。4.3 部署工具怎么選Ollama、vLLM、AirLLM各管哪一段市面上部署工具很多讓人眼花繚亂但它們的定位其實各不相同。Ollama是目前個人本地部署最友好的入口一條命令就能拉模型、起服務(wù)。它把模型下載、權(quán)重轉(zhuǎn)換、推理服務(wù)、命令行交互全部封裝好了適合完全沒有工程經(jīng)驗的新手。比如說裝完Ollama后在終端執(zhí)行ollama run qwen2.5:7b它就會自動下載模型并在當(dāng)前終端開啟一個聊天窗口。后續(xù)要接入其他應(yīng)用Ollama還提供了兼容OpenAI格式的本地API很多第三方的圖形界面和插件都能直接接進(jìn)去。但Ollama的定位更偏向方便地跑起來它不是為高并發(fā)、大規(guī)模生產(chǎn)場景準(zhǔn)備的。如果你要做一個面向多用戶的線上應(yīng)用vLLM是更合適的選擇。它通過PagedAttention技術(shù)管理KV緩存把顯存利用率和吞吐量做了大幅優(yōu)化還支持連續(xù)批處理在服務(wù)大量并發(fā)請求時優(yōu)勢非常明顯。vllm如何優(yōu)化大模型的緩存命中率這類問題核心其實就是KV緩存復(fù)用——相同前綴的請求可以共享緩存從而減少重復(fù)計算這也是vLLM能在高并發(fā)場景下壓榨出更高吞吐量的原因之一。AirLLM則是另一類思路它讓顯存特別有限的用戶也能跑大模型辦法是把模型分層加載每次只計算需要的層把其他層暫時放到內(nèi)存里。代價是慢但對就想體驗一下70B模型的人來說這條路徑確實降低了硬件門檻。工具選的邏輯其實很樸素先明確目標(biāo)。只是自己體驗直接上Ollama要寫代碼做集成先跑通Ollama再用兼容接口切換要上生產(chǎn)環(huán)境直接學(xué)vLLM。不要反過來一上來就折騰生產(chǎn)級工具那會勸退自己。4.4 不想買卡免費(fèi)大模型API與托管平臺的取舍做本地部署之前有必要先了解另一條路直接用API。目前的免費(fèi)渠道大體有幾類開源模型服務(wù)商提供的免費(fèi)額度、各大云平臺的免費(fèi)試用資源、以及HuggingFace這類開發(fā)者社區(qū)的托管推理空間。免費(fèi)API的優(yōu)點很直接不需要硬件投入只要會寫代碼就能接入能力很強(qiáng)的大模型。但代價同樣明顯請求頻率受限、可能會有隊列等待、數(shù)據(jù)會經(jīng)過第三方服務(wù)、以及免費(fèi)額度隨時可能調(diào)整。對學(xué)習(xí)和驗證產(chǎn)品原型來說這些完全是可接受的但對依賴模型能力做生產(chǎn)業(yè)務(wù)的人來說免費(fèi)方案意味著不可控的風(fēng)險。免費(fèi)的真實含義多數(shù)時候是用隱私、時間和穩(wěn)定性的隱性成本去換金錢成本。理性的做法是分階段學(xué)習(xí)階段大膽用免費(fèi)API快速積累經(jīng)驗產(chǎn)品原型階段繼續(xù)用免費(fèi)方案驗證確定需要穩(wěn)定服務(wù)或數(shù)據(jù)合規(guī)時再算本地部署或購買云服務(wù)的經(jīng)濟(jì)賬。5. 三種人三條路從會用大模型到會做大模型應(yīng)用5.1 先對號入座你是誰決定你該學(xué)什么大模型相關(guān)的熱搜里大模型學(xué)習(xí)路線的搜索量一直居高不下。但學(xué)習(xí)大模型這件事不可能有一條放之四海而皆準(zhǔn)的路線因為不同目標(biāo)對應(yīng)完全不同的知識棧。可以把學(xué)習(xí)者粗略分成三類使用者、應(yīng)用開發(fā)者、算法研究者。使用者是想把大模型作為生產(chǎn)工具的人比如用AI輔助寫文檔、做PPT、寫代碼。這類人最需要學(xué)的是Prompt編寫、工具使用和基本的信息鑒別能力完全不需要懂神經(jīng)網(wǎng)絡(luò)。應(yīng)用開發(fā)者是想用大模型搭建產(chǎn)品功能的工程師比如做一個客服機(jī)器人、文檔問答系統(tǒng)、內(nèi)容生成工具。這類人需要掌握API調(diào)用、Prompt工程、RAG流程、模型部署、以及成本控制。算法研究者是真正想深入模型訓(xùn)練、微調(diào)、對齊技術(shù)的人。這類人需要有扎實的機(jī)器學(xué)習(xí)基礎(chǔ)、深度學(xué)習(xí)和自然語言處理功底以及大量的訓(xùn)練調(diào)試經(jīng)驗。很多人一上來就求從零到算法工程師的速成路線結(jié)果在自己不需要的深度里掙扎幾個月熱情耗盡。最務(wù)實的做法是先明確自己屬于哪一類再順著那條路往下走。5.2 使用者的基本功把對話能力用到極致別小看會使用這件事。絕大多數(shù)對大模型失望的人問題出在不會提問。一段好的Prompt通常包含三個要素角色、任務(wù)、約束條件。角色設(shè)定讓模型進(jìn)入合適的語態(tài)比如你是一名資深的數(shù)據(jù)分析師任務(wù)描述要具體比如請分析這份銷售報表中第三季度的環(huán)比變化約束條件則限制輸出的格式和范圍比如用表格呈現(xiàn)、每條結(jié)論附上數(shù)據(jù)來源。使用層面的進(jìn)階技巧是迭代追問。很多新手期待一次提問就得到完美答案但真實可靠的產(chǎn)出往往是多輪對話不斷收斂的結(jié)果先讓模型給一個框架再針對框架逐段細(xì)化最后要求它潤色和復(fù)核。掌握這個節(jié)奏比背一百個所謂咒語模板都管用。5.3 應(yīng)用開發(fā)者的核心工程點API調(diào)用、RAG與Agent如果目標(biāo)是做應(yīng)用光會聊天是不夠的。第一個要跨過的坎是從網(wǎng)頁聊天切換到編程調(diào)用。目前主流的大模型平臺幾乎都提供了OpenAI兼容的調(diào)用接口核心流程是一致的構(gòu)造請求消息、設(shè)置參數(shù)、發(fā)送到服務(wù)端、接收流式或一次性響應(yīng)。新手完全可以先寫一個幾十行的腳本讓程序調(diào)用大模型完成一個小任務(wù)比如給一段文本生成摘要再逐步增加復(fù)雜度。應(yīng)用開發(fā)真正拉開差距的地方是對RAG和Agent的理解。RAG解決的是模型不知道你私有數(shù)據(jù)的問題先把文檔切塊、用Embedding模型轉(zhuǎn)成向量存入向量數(shù)據(jù)庫用戶提問時先檢索相關(guān)資料再連同問題一起發(fā)給大模型。Agent則是讓模型具備使用工具的能力——它可以調(diào)用搜索引擎、執(zhí)行代碼、查詢數(shù)據(jù)庫把大模型從只會說話升級成能動手做事。這兩個概念是當(dāng)前大模型應(yīng)用開發(fā)最熱門的工程范式。熱搜里頻繁出現(xiàn)的大模型應(yīng)用開發(fā)多模態(tài)大模型應(yīng)用本質(zhì)上都是在這兩個技術(shù)底座上疊加產(chǎn)品創(chuàng)意。5.4 動手微調(diào)之前先想清楚三件事如果你已經(jīng)走到了想微調(diào)模型這一步說明前面的API使用和RAG已經(jīng)不能滿足你了。但在動手之前有三件事必須冷靜評估。首先是數(shù)據(jù)。微調(diào)的質(zhì)量上限幾乎完全由數(shù)據(jù)決定而不是模型框架。高質(zhì)量的領(lǐng)域數(shù)據(jù)、嚴(yán)格的清洗流程、合理的標(biāo)注規(guī)范這些準(zhǔn)備工作的耗時通常遠(yuǎn)超訓(xùn)練本身。很多團(tuán)隊微調(diào)效果不理想根子都在數(shù)據(jù)上。其次是算力。全參數(shù)微調(diào)一個7B模型單張消費(fèi)級顯卡幾乎不可能完成但實踐中大多數(shù)微調(diào)任務(wù)根本不需要全參數(shù)LoRA這類參數(shù)高效微調(diào)技術(shù)只訓(xùn)練一小部分附加參數(shù)單張24GB顯存的卡就能跑通效果在很多任務(wù)上跟全量微調(diào)差距不大。最后是評估方案。沒有評測體系就談不上微調(diào)成敗。動手之前先準(zhǔn)備一組必須表現(xiàn)好的測試用例微調(diào)前先跑一遍基線分?jǐn)?shù)微調(diào)后再跑一遍對比效果。如果沒有這套流程你很可能辛苦訓(xùn)練幾天最后得到一個感覺變了但說不清哪里變好的模型。國內(nèi)高校和社區(qū)里已經(jīng)有不少高質(zhì)量的免費(fèi)教程比如上海交通大學(xué)的《動手學(xué)大模型》系列項目會帶著學(xué)習(xí)者從數(shù)據(jù)準(zhǔn)備、模型部署到微調(diào)訓(xùn)練完整走一遍。這類資料的用法是邊做邊學(xué)而不是當(dāng)小說讀——跑通一個最小示例比閱讀十篇原理文章都更有收獲。6. 我踩過的幾個坑關(guān)于大模型的誤判與糾偏說了這么多概念和路線最后分享幾個我實際踩過的坑每一個都曾讓我的項目多花了不少時間。第一個坑是盲目追求大模型。早期做本地部署時我也覺得參數(shù)越大效果越好結(jié)果7B模型跑得挺流暢非要上70B最后顯卡爆顯存機(jī)器卡死項目好幾天沒法推進(jìn)。后來才明白選模型首先要看任務(wù)復(fù)雜度簡單文檔分類用7B就夠復(fù)雜推理才需要上更大模型。能用小模型解決的事不要硬上大模型。第二個坑是想用微調(diào)解決知識太舊的問題。有一段時間我需要讓模型回答內(nèi)部產(chǎn)品文檔相關(guān)的問題第一反應(yīng)是微調(diào)一個專屬模型忙活了大半個月效果還是不理想。后來換了RAG方案檢索相關(guān)的產(chǎn)品文檔片段再讓模型回答效果立竿見影。微調(diào)適合調(diào)行為不適合補(bǔ)知識這個辨別判斷越早做越好。第三個坑是忽略溫度參數(shù)。早期做代碼生成任務(wù)時我保留了默認(rèn)溫度模型輸出很有想象力變量名花里胡哨、注釋也活潑但代碼偶爾會夾帶不存在的函數(shù)調(diào)用。后來把溫度調(diào)到接近0代碼生成的穩(wěn)定性立竿見影。寫代碼用低溫寫文案用高溫這個習(xí)慣幾乎可以無腦復(fù)制到所有場景。第四個坑是拿模型輸出當(dāng)定論。不管模型說得多么篤定只要內(nèi)容涉及專業(yè)判斷或事實核查我現(xiàn)在的做法永遠(yuǎn)是讓它給出信息來源、或者去原文里確認(rèn)。大模型是優(yōu)秀的初稿生成器但決定性的把關(guān)永遠(yuǎn)要留給人的判斷。說到底大模型不是什么神秘的東西它就是新一代的生產(chǎn)力工具。理解它的訓(xùn)練機(jī)制、能力邊界和部署邏輯再帶著清晰的預(yù)期去使用你就能在這個工具面前保持主動而不是被它的一本正經(jīng)帶著走。