RAG 系統(tǒng)上線后最常被吐槽的是檢索不準(zhǔn)。明明知識(shí)庫(kù)里有答案用戶換一種口語(yǔ)化問(wèn)法向量檢索卻召回一堆無(wú)關(guān)段落大模型只能基于錯(cuò)誤上下文硬答于是“答非所問(wèn)”“回答不專業(yè)”就都來(lái)了。問(wèn)題往往出在 Embedding 模型的能力邊界而不是生成模型本身不聰明。面向 2026 年RAG 優(yōu)化已經(jīng)不只是調(diào)切塊長(zhǎng)度或換個(gè)大模型。越來(lái)越多團(tuán)隊(duì)開(kāi)始走同一條路線借助 Qwen3 構(gòu)造高質(zhì)量訓(xùn)練數(shù)據(jù)對(duì) Embedding 模型做領(lǐng)域微調(diào)讓向量檢索更貼近真實(shí)業(yè)務(wù)語(yǔ)言最終讓大模型回答更專業(yè)。這篇博客會(huì)把這條鏈路拆開(kāi)講清楚RAG 為什么檢索不準(zhǔn)、Embedding 微調(diào)的基本原理、Qwen3 在數(shù)據(jù)生成和難負(fù)樣本構(gòu)造里的角色、訓(xùn)練代碼怎么寫、接入 Milvus 和 LlamaIndex 時(shí)要注意什么、上線后效果怎么評(píng)估以及生產(chǎn)落地上最容易踩的坑。1. 先理解 RAG 檢索不準(zhǔn)的根因再?zèng)Q定要不要微調(diào) Embedding1.1 檢索不準(zhǔn)往往不是“模型笨”而是“召回偏了”RAG 的完整鏈路通常分三塊知識(shí)庫(kù)切塊、文本向量化、向量檢索與排序。大多數(shù)團(tuán)隊(duì)投入精力最少、出錯(cuò)卻最多的是中間那塊 Embedding。Embedding 模型做的事情是把一段文本壓縮成一個(gè)向量讓語(yǔ)義相近的文本在向量空間里距離更近。例如“怎么申請(qǐng)工傷認(rèn)定”和“工傷認(rèn)定申請(qǐng)流程”應(yīng)該是近鄰而“工傷鑒定標(biāo)準(zhǔn)”雖然包含“工傷”兩個(gè)字卻不應(yīng)在用戶問(wèn)流程時(shí)排在前面。問(wèn)題在于通用 Embedding 模型是在互聯(lián)網(wǎng)開(kāi)放語(yǔ)料上訓(xùn)練的它擅長(zhǎng)處理“通用語(yǔ)言”但面對(duì)一個(gè)行業(yè)的簡(jiǎn)稱、系統(tǒng)名稱、產(chǎn)品術(shù)語(yǔ)、客服話術(shù)、中英混排、業(yè)務(wù)單據(jù)編號(hào)時(shí)向量空間的分布可能完全不對(duì)。觀察下面這種典型 badcase用戶 Query檢索結(jié)果是期望結(jié)果我們公司發(fā)票沖紅后稅號(hào)會(huì)變嗎發(fā)票管理辦法關(guān)于紅字發(fā)票的規(guī)定本項(xiàng)目發(fā)票沖紅的具體操作指南XX 系統(tǒng)登錄報(bào) 5001 錯(cuò)誤怎么辦系統(tǒng)使用手冊(cè)目錄XX 系統(tǒng) 5001 錯(cuò)誤碼說(shuō)明如果把這兩組 Query 和文檔片段丟給通用 Embedding 模型會(huì)發(fā)現(xiàn)相似度分?jǐn)?shù)往往沒(méi)有明顯區(qū)分度。問(wèn)題不是切塊沒(méi)切好而是模型根本不知道“5001 錯(cuò)誤碼”在這個(gè)系統(tǒng)里等價(jià)于“登錄鑒權(quán)失敗”。1.2 通用 Embedding 模型的“領(lǐng)域盲區(qū)”長(zhǎng)什么樣行業(yè)內(nèi)比較常見(jiàn)的開(kāi)源 Embedding 模型包括 BGE 系列、BGE-M3、GTE 系列、M3E 等。它們?cè)谥杏⑽耐ㄓ脵z索任務(wù)上表現(xiàn)很好但一進(jìn)垂直領(lǐng)域就會(huì)暴露幾個(gè)問(wèn)題。第一專業(yè)術(shù)語(yǔ)語(yǔ)義稀疏。比如“貨描不符”“質(zhì)保單”“T0 回款”這些詞在訓(xùn)練語(yǔ)料里出現(xiàn)頻次不高模型很容易把它們當(dāng)成普通詞語(yǔ)處理向量表征不夠穩(wěn)定。第二口語(yǔ)化和反問(wèn)句式泛化弱。RAG 系統(tǒng)的真實(shí)用戶不會(huì)按照文檔目錄說(shuō)話他們經(jīng)常輸入“這個(gè)單子咋走流程”“為什么不能提現(xiàn)”和正式文檔的語(yǔ)言風(fēng)格差異很大。第三同義詞和縮寫關(guān)聯(lián)弱。“結(jié)算單”和“Settlement Note”“結(jié)算憑證”在業(yè)務(wù)里可能指向同一類文件但通用模型不一定能建立這種等價(jià)關(guān)系。用戶搜索“qwen3 embedding 微調(diào)”時(shí)看到的很多教程本質(zhì)上都是在解決這類“領(lǐng)域盲區(qū)”。如果只是換一個(gè)更大的通用模型通常只能緩解問(wèn)題不能根治。要讓檢索真正貼近業(yè)務(wù)就要讓 Embedding 模型見(jiàn)過(guò)業(yè)務(wù)數(shù)據(jù)并針對(duì)業(yè)務(wù) Query 和文檔做過(guò)對(duì)比學(xué)習(xí)。1.3 什么時(shí)候該微調(diào)什么時(shí)候先不要?jiǎng)?Embedding微調(diào) Embedding 不是 RAG 優(yōu)化的第一步甚至不是第二步。在投入 GPU 訓(xùn)練之前可以按下面順序排查。排查項(xiàng)檢查方式如果存在問(wèn)題切塊粒度查看召回文檔是否在中間截?cái)嗾{(diào)整 chunk_size / overlap或按標(biāo)題、段落結(jié)構(gòu)切塊元數(shù)據(jù)過(guò)濾是否能用業(yè)務(wù)字段排除明顯無(wú)關(guān)文檔增加創(chuàng)建時(shí)間、部門、文檔類型等過(guò)濾條件Query 改寫用戶原問(wèn)是否太口語(yǔ)化、太短用大模型把 Query 改寫成標(biāo)準(zhǔn)檢索詞再走向量檢索Rerank 模型召回 top50 后是否仍然把錯(cuò)誤文檔排在前面加入專門的 Rerank 模型做精排Embedding 領(lǐng)域適配上述手段都做過(guò)后 badcase 仍重復(fù)出現(xiàn)再考慮微調(diào) Embedding 模型換句話說(shuō)微調(diào) Embedding 適合在“檢索鏈路已經(jīng)比較完整、但深層語(yǔ)義匹配能力不足”的階段啟動(dòng)。它的前置條件有三個(gè)一是有一個(gè)可重復(fù)復(fù)現(xiàn)的 badcase 集合二是有辦法評(píng)估召回效果不靠肉眼感覺(jué)三是有能力構(gòu)造一批覆蓋業(yè)務(wù)場(chǎng)景的訓(xùn)練數(shù)據(jù)。如果知識(shí)庫(kù)總共只有幾百個(gè)文檔檢索效果差主要因?yàn)榍袎K太粗或者沒(méi)有元數(shù)據(jù)過(guò)濾那么先優(yōu)化這些環(huán)節(jié)性價(jià)比更高。2. 微調(diào) Embedding 的原理對(duì)比學(xué)習(xí)、難負(fù)樣本和 Qwen3 的定位2.1 Embedding 模型訓(xùn)練的本質(zhì)是“拉近正例推開(kāi)負(fù)例”Embedding 模型本身不是被“教”出所有業(yè)務(wù)知識(shí)的它是在一個(gè)表示學(xué)習(xí)任務(wù)上被優(yōu)化的。微調(diào)時(shí)我們不再訓(xùn)練模型回復(fù)一句話而是訓(xùn)練它把 Query 和對(duì)應(yīng)的文檔片段映射到同一個(gè)向量空間中的相近位置。最常用的訓(xùn)練目標(biāo)是對(duì)比學(xué)習(xí)損失例如 InfoNCE。核心思想是給一個(gè) Query讓模型優(yōu)化相似度使得它和正確文檔的距離更近同時(shí)和一批錯(cuò)誤文檔的距離更遠(yuǎn)。假設(shè)一個(gè) batch 里有 N 個(gè) Query對(duì)應(yīng)的正文檔是同一個(gè) batch 里的 N 個(gè)文檔那么可以構(gòu)造 N×N 的相似度矩陣對(duì)角線是正樣本其余位置是負(fù)樣本。MultipleNegativesRankingLoss 就是這么工作的。一個(gè)簡(jiǎn)單理解score(query_i, positive_i) - 盡量高 score(query_i, negative_j) - 盡量低2.2 難負(fù)樣本比正樣本更影響微調(diào)效果很多人第一次構(gòu)造 Embedding 訓(xùn)練集會(huì)在每個(gè) Query 后面配一個(gè)正確文檔、一個(gè)隨機(jī)文檔然后開(kāi)始訓(xùn)練。等訓(xùn)練完上線發(fā)現(xiàn)效果幾乎沒(méi)變。原因很簡(jiǎn)單隨機(jī)文檔和 Query 大多完全不相關(guān)模型很容易把它們分開(kāi)訓(xùn)練信號(hào)很弱。真正需要訓(xùn)練的是“看起來(lái)相關(guān)、實(shí)際不對(duì)”的難負(fù)樣本。舉個(gè)例子Query發(fā)票沖紅后購(gòu)買方還能抵扣嗎正樣本發(fā)票沖紅操作指南里關(guān)于購(gòu)買方抵扣的相關(guān)段落難負(fù)樣本發(fā)票開(kāi)具流程里關(guān)于“紅字發(fā)票信息表”的段落難負(fù)樣本包含“發(fā)票”“沖紅”“抵扣”等多個(gè)關(guān)鍵詞向量上離 Query 很近但語(yǔ)義和用戶問(wèn)的不是一回事。只有把這種樣本作為負(fù)例壓下去模型才學(xué)會(huì)區(qū)分“操作流程”和“概念解釋”。這是為什么微調(diào) Embedding 必須有一個(gè)質(zhì)量較高的負(fù)樣本構(gòu)造環(huán)節(jié)而不能只在文件系統(tǒng)里隨機(jī)抽幾個(gè)文件當(dāng)負(fù)樣本。2.3 Qwen3 在這條鏈路里的真實(shí)角色標(biāo)題里寫“通過(guò) Qwen3 對(duì) Embedding 進(jìn)行訓(xùn)練微調(diào)”容易讓人誤以為直接把 Qwen3 結(jié)構(gòu)拿來(lái)當(dāng)向量模型訓(xùn)練。這里必須澄清一下技術(shù)定位。Qwen3 是生成式大模型它的輸出是文本不是文本向量。當(dāng)前更穩(wěn)妥、也更常見(jiàn)的做法是用 Qwen3 生成領(lǐng)域 Query把“文檔段落”轉(zhuǎn)成“用戶可能會(huì)問(wèn)的問(wèn)題”用 Qwen3 把這些 Query 和候選文檔做相關(guān)性打分找出“分?jǐn)?shù)高但實(shí)際不相關(guān)”的難負(fù)樣本用 Qwen3 改寫 Query制造更多表達(dá)方式不同、語(yǔ)義相同的正樣本用 Qwen3 檢查訓(xùn)練數(shù)據(jù)質(zhì)量去掉噪聲樣本。也就是說(shuō)Qwen3 是在“數(shù)據(jù)生產(chǎn)”和“數(shù)據(jù)清洗”環(huán)節(jié)起作用真正被微調(diào)的對(duì)象是專用 Embedding 模型比如 BGE-M3、bge-large-zh、GTE 等。如果團(tuán)隊(duì)非要用 Qwen 系列模型做 Embedding也不是不行需要自己接 pooling 層和相似度目標(biāo)對(duì)比訓(xùn)練成本和難度都會(huì)明顯上升。對(duì)于大多數(shù) RAG 項(xiàng)目更理性的選擇是用 Qwen3 生成數(shù)據(jù) 微調(diào)輕量專用 Embedding 模型這樣訓(xùn)練成本低、上線快、維護(hù)也容易。3. 用 Qwen3 構(gòu)造高質(zhì)量 Embedding 微調(diào)數(shù)據(jù)集3.1 先設(shè)計(jì)統(tǒng)一數(shù)據(jù)格式微調(diào) Embedding 的數(shù)據(jù)集一般使用 JSONL 格式每行一個(gè)訓(xùn)練樣本。常見(jiàn)結(jié)構(gòu)是帶一個(gè)正樣本和多個(gè)負(fù)樣本{ query: 發(fā)票沖紅后購(gòu)買方還能抵扣嗎, positive: 購(gòu)買方取得紅字發(fā)票信息表后可在增值稅發(fā)票綜合服務(wù)平臺(tái)上進(jìn)行相應(yīng)抵扣處理具體以當(dāng)?shù)囟悇?wù)機(jī)關(guān)要求為準(zhǔn)。, negatives: [ 發(fā)票開(kāi)具流程中銷售方需在開(kāi)票系統(tǒng)內(nèi)填開(kāi)紅字發(fā)票信息表并上傳。, 普通發(fā)票丟失后如何處理納稅人應(yīng)當(dāng)向稅務(wù)機(jī)關(guān)報(bào)告。 ] }推薦把訓(xùn)練數(shù)據(jù)寫成這種格式而不是只用 query-positive 二元組。因?yàn)橐粭l Query 配多個(gè)負(fù)樣本訓(xùn)練效率更高模型也能更快學(xué)會(huì)區(qū)分“業(yè)務(wù)概念”和“業(yè)務(wù)操作”。3.2 用 Qwen3 從文檔段落生成用戶 Query數(shù)據(jù)構(gòu)造的第一步是把知識(shí)庫(kù)文檔的每個(gè)段落變成一個(gè)或多個(gè)用戶 Query?？梢哉{(diào)用 Qwen3 的 OpenAI 兼容接口也可以在本機(jī)用 vLLM 部署 Qwen3 后按相同接口調(diào)用。下面是一個(gè)用于生成 Query 的 Prompt 示例你是知識(shí)庫(kù)檢索訓(xùn)練數(shù)據(jù)的構(gòu)造助手。 我會(huì)給你一段文檔內(nèi)容請(qǐng)你模擬真實(shí)用戶生成 5 個(gè)不同角度的檢索 Query。 要求 1. Query 必須是用戶會(huì)直接輸入的真實(shí)問(wèn)法避免照抄原文措辭。 2. 至少包含 2 個(gè)口語(yǔ)化或短問(wèn)法。 3. 不要生成與這段內(nèi)容語(yǔ)義偏差過(guò)大的問(wèn)題。 4. 輸出格式為 JSON 數(shù)組每個(gè)元素是一個(gè)字符串。 文檔內(nèi)容 {chunk_text}對(duì)應(yīng)的 Python 調(diào)用示例import json import openai client openai.OpenAI( base_urlhttp://your-qwen3-server:8000/v1, api_keyEMPTY ) def generate_queries(chunk_text: str) - list[str]: prompt f你是知識(shí)庫(kù)檢索訓(xùn)練數(shù)據(jù)的構(gòu)造助手。 我會(huì)給你一段文檔內(nèi)容請(qǐng)你模擬真實(shí)用戶生成 5 個(gè)不同角度的檢索 Query。 要求 1. Query 必須是用戶會(huì)直接輸入的真實(shí)問(wèn)法避免照抄原文措辭。 2. 至少包含 2 個(gè)口語(yǔ)化或短問(wèn)法。 3. 不要生成與這段內(nèi)容語(yǔ)義偏差過(guò)大的問(wèn)題。 4. 輸出格式為 JSON 數(shù)組每個(gè)元素是一個(gè)字符串。 文檔內(nèi)容 {chunk_text} resp client.chat.completions.create( modelqwen3, messages[{role: user, content: prompt}], temperature0.7, max_tokens512, ) content resp.choices[0].message.content content content.replace(json, ).replace(, ).strip() return json.loads(content)調(diào)用時(shí)需要注意真實(shí)用戶 Query 和文檔原文的措辭差異越大對(duì) Embedding 微調(diào)的收益越高。如果 Qwen3 生成的問(wèn)題基本都是照抄文檔里的句子那訓(xùn)練數(shù)據(jù)對(duì)檢索沒(méi)有增量?jī)r(jià)值。3.3 構(gòu)造難負(fù)樣本從批量召回結(jié)果里篩選構(gòu)造難負(fù)樣本最實(shí)用的方法是“用當(dāng)前 Embedding 模型先跑一遍檢索然后讓 Qwen3 判斷相關(guān)性”。具體流程對(duì)每一條 Query用當(dāng)前線上 Embedding 模型從知識(shí)庫(kù)召回 top 20 個(gè)文檔片段。把這 20 個(gè)片段中相似度分?jǐn)?shù)較高、但在業(yè)務(wù)上不代表正確答案的片段挑出來(lái)。讓 Qwen3 逐條判斷“這個(gè)片段是否確實(shí)回答了 Query”給出 0 或 1 標(biāo)簽。標(biāo)簽為 0、但向量相似度靠前的片段作為難負(fù)樣本加入訓(xùn)練集。這個(gè)流程比隨機(jī)負(fù)樣本有效因?yàn)槟Ｐ汀板e(cuò)得最厲害”的地方正是它需要被糾正的地方。Prompt 示例請(qǐng)判斷下面的文檔片段能否回答用戶問(wèn)題。只能回答 0 或 1。 用戶問(wèn)題 {query} 文檔片段 {chunk_text} 能否回答批量處理時(shí)要注意并發(fā)限制和請(qǐng)求失敗重試。比如本地部署 Qwen3 時(shí)如果接口偶爾超時(shí)可以加上重試邏輯并把結(jié)果記錄到單獨(dú)的日志文件里方便后續(xù)排查數(shù)據(jù)質(zhì)量問(wèn)題。3.4 數(shù)據(jù)清洗和人工抽驗(yàn)不要拿到 Qwen3 生成結(jié)果就直接訓(xùn)練。常見(jiàn)問(wèn)題包括Query 和 positive 完全不匹配模型學(xué)不到有效信號(hào)negative 實(shí)際上也回答了 Query造成標(biāo)簽噪聲多條 Query 完全重復(fù)導(dǎo)致模型過(guò)擬合到某一種表達(dá)文檔片段過(guò)長(zhǎng)或過(guò)短超過(guò)模型 max_len 限制訓(xùn)練時(shí)被截?cái)?。建議先做一輪自動(dòng)化清洗腳本def filter_sample(sample, min_len10, max_len512): q_len len(sample[query]) p_len len(sample[positive]) if q_len min_len or p_len min_len: return False if p_len max_len * 3: return False if sample[query] in sample[positive]: return False return True然后抽出 5% 到 10% 的樣本人工判斷標(biāo)簽是否合理。如果人工抽驗(yàn)的準(zhǔn)確率低于 90%建議重新調(diào)整 Qwen3 的 Prompt而不是直接擴(kuò)大數(shù)據(jù)量。數(shù)據(jù)規(guī)模上Embedding 微調(diào)的最小有效集通常在幾千條左右。先保證 2000 到 5000 條高質(zhì)量樣本比一次生成 5 萬(wàn)條低質(zhì)量樣本更有效。4. 選擇開(kāi)源 Embedding 模型和訓(xùn)練環(huán)境4.1 可微調(diào)的 Embedding 模型選型不是所有 Embedding 模型都適合微調(diào)。使用云廠商 API 的 Embedding 模型通常不開(kāi)放權(quán)重只能通過(guò)官方接口調(diào)用無(wú)法針對(duì)業(yè)務(wù)數(shù)據(jù)做訓(xùn)練。要微調(diào)必須選擇開(kāi)源權(quán)重模型。常見(jiàn)可選模型如下模型特點(diǎn)適合場(chǎng)景注意點(diǎn)BGE-M3支持多語(yǔ)言、長(zhǎng)文本、多粒度檢索中英文混合知識(shí)庫(kù)、長(zhǎng)文檔 RAG參數(shù)較多訓(xùn)練顯存相對(duì)高bge-large-zh中文效果穩(wěn)定社區(qū)資料多中文業(yè)務(wù)知識(shí)庫(kù)需注意 query 指令前綴bge-base-zh參數(shù)少訓(xùn)練快數(shù)據(jù)量不大、端側(cè)場(chǎng)景效果上限低于 largeGTE 系列部分模型支持中英和多任務(wù)需要統(tǒng)一向量模型的場(chǎng)景需確認(rèn)授權(quán)和版本M3E中文效果不錯(cuò)部署簡(jiǎn)單中文知識(shí)庫(kù)快速驗(yàn)證遇到復(fù)雜語(yǔ)義邊界時(shí)可能要換模型推薦第一次做 Embedding 微調(diào)時(shí)選擇 BGE 系列或 BGE-M3。它們有兩個(gè)優(yōu)勢(shì)一是社區(qū)案例多排錯(cuò)資料容易找二是官方模型通常配套了推薦的指令格式訓(xùn)練和推理時(shí)不容易踩配置坑。另外要確認(rèn)模型版本。不同版本的 Embedding 模型輸出維度不同如果后續(xù)要遷移已經(jīng)建好的向量庫(kù)需要特別注意維度是否能對(duì)上。4.2 訓(xùn)練框架和依賴準(zhǔn)備Embedding 微調(diào)可以用三種方式實(shí)現(xiàn)sentence-transformers 庫(kù)適合快速跑通最小實(shí)驗(yàn)FlagEmbedding 庫(kù)BGE 官方微調(diào)工具適合深度定制和難負(fù)樣本訓(xùn)練直接用 transformers 自定義 loss適合徹底控制訓(xùn)練流程。為了快速跑通推薦先用 sentence-transformers。安裝命令pip install -U sentence-transformers pip install torch --index-url https://download.pytorch.org/whl/cu121如果要用 FlagEmbedding還需要額外安裝依賴。實(shí)際項(xiàng)目里要注意 PyTorch、CUDA、transformers 之間的版本兼容不要照抄教程里的版本號(hào)先在當(dāng)前環(huán)境驗(yàn)證一次。4.3 訓(xùn)練超參數(shù)和顯存控制Embedding 模型的參數(shù)量比 Qwen3 這類生成模型小很多訓(xùn)練門檻相對(duì)低。但“全參訓(xùn)練”和“LoRA 微調(diào)”的顯存差別仍然明顯。參數(shù)含義常見(jiàn)取值范圍設(shè)置建議learning_rate學(xué)習(xí)率2e-5 到 5e-5數(shù)據(jù)量小就偏低避免災(zāi)難性遺忘batch_size每個(gè) batch 的 Query 數(shù)量16 到 64顯存不足時(shí)優(yōu)先減小 batch_sizemax_len文本最大長(zhǎng)度256 到 1024根據(jù)知識(shí)庫(kù) chunk 長(zhǎng)度設(shè)置num_epochs訓(xùn)練輪數(shù)1 到 5優(yōu)先 2 輪過(guò)擬合很容易warmup_ratio預(yù)熱比例0.05 到 0.1穩(wěn)定訓(xùn)練初期 loss全參微調(diào)對(duì) Embedding 模型來(lái)說(shuō)通常可行但如果你只有一個(gè) 24G 顯存的 GPU又想訓(xùn)練 BGE-M3 這類大模型建議用 LoRA。sentence-transformers 已經(jīng)支持通過(guò) PEFT 給 Embedding 模型加 LoRA 適配器訓(xùn)練時(shí)先凍結(jié)主干參數(shù)只訓(xùn)練低秩矩陣顯存占用會(huì)明顯下降。5. 微調(diào)訓(xùn)練實(shí)戰(zhàn)用對(duì)比學(xué)習(xí)跑通最小案例5.1 用 sentence-transformers 訓(xùn)練 MultipleNegativesRankingLoss這里以一個(gè)最小可運(yùn)行腳本為例。假設(shè)訓(xùn)練數(shù)據(jù)文件是train.jsonl每條數(shù)據(jù)包含query、positive、negatives三個(gè)字段。import json from sentence_transformers import SentenceTransformer, models, losses, InputExample from torch.utils.data import DataLoader from sentence_transformers.datasets import SentenceLabelDataset base_model BAAI/bge-base-zh-v1.5 word_embedding_model models.Transformer(base_model, max_seq_length512) pooling_model models.Pooling( word_embedding_model.get_word_embedding_dimension(), pooling_mode_cls_tokenTrue, pooling_mode_mean_tokensFalse, pooling_mode_max_tokensFalse, ) model SentenceTransformer(modules[word_embedding_model, pooling_model]) examples [] with open(train.jsonl, encodingutf-8) as f: for line in f: item json.loads(line) texts [item[query], item[positive]] item.get(negatives, []) examples.append(InputExample(textstexts)) train_dataloader DataLoader(examples, shuffleTrue, batch_size32) train_loss losses.MultipleNegativesRankingLoss(model) model.fit( train_objectives[(train_dataloader, train_loss)], epochs2, warmup_steps100, output_path./embedding_model_finetuned, save_best_modelTrue, )這段代碼的核心是MultipleNegativesRankingLoss。每個(gè) InputExample 的第一條文本會(huì)被當(dāng)成 Query第二條是正樣本后面的所有文本是負(fù)樣本。損失函數(shù)會(huì)盡量提高 Query 和正樣本的相似度同時(shí)降低它和負(fù)樣本的相似度。需要注意這里沒(méi)有給 Query 加指令前綴。如果模型是 BGE 系列官方推薦的推理方式是給 Query 加指令但訓(xùn)練時(shí)是否加指令取決于數(shù)據(jù)構(gòu)造方式。推薦做法是保持訓(xùn)練和推理一致在訓(xùn)練腳本里統(tǒng)一處理。5.2 使用 FlagEmbedding 訓(xùn)練 BGE-M3 的另一種方式如果選擇 BGE-M3FlagEmbedding 提供了更直接的訓(xùn)練接口。示例代碼from FlagEmbedding import FlagModel model FlagModel( BAAI/bge-m3, query_instruction_for_retrieval為這個(gè)句子生成表示以用于檢索相關(guān)文章, use_fp16True )FlagEmbedding 完整訓(xùn)練腳本一般包含數(shù)據(jù)加載、損失計(jì)算、評(píng)估三個(gè)模塊。由于版本差異較大建議直接參考官方倉(cāng)庫(kù)的examples/finetune/embedder目錄里面提供了帶難負(fù)樣本的訓(xùn)練入口。這里不推薦把別人的訓(xùn)練命令原樣復(fù)制到生產(chǎn)環(huán)境。必須先確認(rèn)自己的模型名、數(shù)據(jù)格式、指令前綴和輸出維度再運(yùn)行訓(xùn)練。5.3 訓(xùn)練日志怎么判斷是否正常訓(xùn)練時(shí)主要觀察兩個(gè)信號(hào)。第一loss 是否在下降。MultipleNegativesRankingLoss最開(kāi)始時(shí)通常會(huì)在 4 到 6 這個(gè)區(qū)間訓(xùn)練一段時(shí)間后降到 1 以下。如果 loss 一直不降或者出現(xiàn) NaN優(yōu)先檢查數(shù)據(jù)里是否有超長(zhǎng)文本、空文本以及學(xué)習(xí)率是否設(shè)置過(guò)高。第二離線檢索效果是否提升。loss 下降不代表檢索效果一定變好。建議在訓(xùn)練腳本里加入一個(gè)小型 eval 集每次 checkpoint 后計(jì)算 Recall10。如果 loss 下降但 Recall 不漲可能負(fù)樣本太簡(jiǎn)單或數(shù)據(jù)噪聲太多。訓(xùn)練輸出的目錄里會(huì)保存模型權(quán)重和 tokenizer。加載微調(diào)后模型時(shí)要用同一個(gè)目錄不能混用原版模型和微調(diào)權(quán)重。from sentence_transformers import SentenceTransformer model SentenceTransformer(./embedding_model_finetuned) emb model.encode(發(fā)票沖紅后還能抵扣嗎, normalize_embeddingsTrue)6. 把微調(diào)后的 Embedding 接回 RAG 檢索鏈路6.1 全量重建向量庫(kù)這一步不能省微調(diào)后的模型和舊 Embedding 模型生成的向量分布不一致兩者不能在同一個(gè)向量索引里混用。上線前必須全量重建知識(shí)庫(kù)向量不能用“只對(duì)新增文檔生成向量”的方式做增量替換否則新舊向量之間距離比較沒(méi)有意義。重建流程從知識(shí)庫(kù)導(dǎo)出所有 chunk。用微調(diào)后的 Embedding 模型批量生成向量。將向量寫入新的 Collection 或新的向量索引。線上檢索流量切到新索引。保留舊索引至少一個(gè)版本便于回滾。批量生成向量時(shí)可以控制 batch size避免 GPU 顯存溢出from sentence_transformers import SentenceTransformer model SentenceTransformer(./embedding_model_finetuned) chunks [...] # 所有知識(shí)庫(kù) chunk batch [] embeddings [] for chunk in chunks: batch.append(chunk) if len(batch) 64: vecs model.encode(batch, normalize_embeddingsTrue) embeddings.extend(vecs) batch [] if batch: vecs model.encode(batch, normalize_embeddingsTrue) embeddings.extend(vecs)6.2 寫入 Milvus 或本地 Faiss 索引以 Milvus 為例需要先創(chuàng)建 Collection并指定向量維度。BGE-M3 的維度是 1024bge-base-zh 是 768具體以模型輸出為準(zhǔn)。from pymilvus import ( connections, CollectionSchema, FieldSchema, DataType, Collection ) connections.connect(host127.0.0.1, port19530) fields [ FieldSchema(nameid, dtypeDataType.INT64, is_primaryTrue), FieldSchema(nametext, dtypeDataType.VARCHAR, max_length8192), FieldSchema(namevector, dtypeDataType.FLOAT_VECTOR, dim1024), ] schema CollectionSchema(fields) collection Collection(qa_knowledge_new, schema) data [ list(range(len(chunks))), chunks, embeddings, ] collection.insert(data) collection.create_index(vector, {index_type: IVF_FLAT, metric_type: IP, params: {nlist: 1024}})檢索時(shí)要用同一種向量計(jì)算方式query_vec model.encode([query], normalize_embeddingsTrue)[0] result collection.search( data[query_vec.tolist()], anns_fieldvector, param{metric_type: IP, params: {nprobe: 16}}, limit20, output_fields[text], )6.3 在 LlamaIndex 中接入自定義 Embedding 模型如果用 LlamaIndex 搭 RAG接入自定義模型非常簡(jiǎn)單from llama_index.core import Settings from llama_index.embeddings.huggingface import HuggingFaceEmbedding Settings.embed_model HuggingFaceEmbedding( model_name./embedding_model_finetuned, embed_batch_size64, )設(shè)置好后文檔索引和 Query 檢索都會(huì)使用同一個(gè)embed_model。這一步最容易踩的坑是索引文檔時(shí)用了微調(diào)后模型但 Query 檢索時(shí)誤用了默認(rèn)模型導(dǎo)致查詢向量和文檔向量不在同一空間。6.4 不要丟掉 Rerank 環(huán)節(jié)微調(diào) Embedding 能提高“正確文檔是否能進(jìn) top 20”的概率但不保證正確文檔一定排在第一位。生產(chǎn)級(jí) RAG 仍然應(yīng)該在向量召回后加一個(gè) Rerank 模型對(duì)召回結(jié)果做精排序。推薦鏈路是Query - 向量召回 top50 - Rerank 精排 top5 - LLM 生成Embedding 微調(diào)和 Rerank 不是二選一。前者負(fù)責(zé)提高召回上限后者負(fù)責(zé)提高排序精度。兩者結(jié)合效果通常比只做其中一項(xiàng)更穩(wěn)定。7. 效果評(píng)估與常見(jiàn)問(wèn)題排查7.1 構(gòu)造最小離線評(píng)估集評(píng)估集不需要很大但需要覆蓋真實(shí)用戶 Query。建議準(zhǔn)備 200 到 500 條真實(shí)或近似真實(shí)的 Query并為每條 Query 標(biāo)注 1 到 3 個(gè)正確文檔。常用指標(biāo)指標(biāo)說(shuō)明計(jì)算方式RecallK正確文檔是否出現(xiàn)在前 K 條結(jié)果里命中數(shù) / 總 Query 數(shù)MRR第一個(gè)正確結(jié)果所在排名的倒數(shù)按排名取倒數(shù)后求平均Hit Rate1第一條結(jié)果是否就是正確答案命中數(shù) / 總 Query 數(shù)評(píng)估的時(shí)候要把微調(diào)前和微調(diào)后的模型分別跑同一批評(píng)估集保留結(jié)果。不要只憑“感覺(jué)變準(zhǔn)了”就上線。7.2 微調(diào)后常見(jiàn)的失敗模式問(wèn)題現(xiàn)象可能原因排查方式處理建議loss 下降但 Recall 不漲難負(fù)樣本太少或太簡(jiǎn)單檢查訓(xùn)練數(shù)據(jù)中每條 Query 的負(fù)樣本數(shù)量增加難負(fù)樣本構(gòu)造邏輯上線后效果反而變差向量庫(kù)未全量重建確認(rèn)新舊向量是否混用全量重建并校驗(yàn)向量維度訓(xùn)練時(shí)顯存不足batch_size 或 max_len 過(guò)大查看 GPU 顯存占用降低 batch_size改用 LoRA檢索時(shí) Query 結(jié)果不對(duì)推理時(shí)和訓(xùn)練時(shí)指令前綴不一致對(duì)比訓(xùn)練和推理代碼統(tǒng)一指令前綴和預(yù)處理邏輯負(fù)樣本實(shí)際也是正確答案Qwen3 相關(guān)判斷不準(zhǔn)人工抽驗(yàn)負(fù)樣本標(biāo)簽調(diào)整 Qwen3 打分 Prompt 或加入人工復(fù)核微調(diào)后通用能力下降訓(xùn)練數(shù)據(jù)過(guò)于單一觀察泛化指標(biāo)混入一定比例通用檢索數(shù)據(jù)7.3 上線前回歸清單上線前建議按下面清單逐項(xiàng)檢查[ ] 訓(xùn)練數(shù)據(jù)和評(píng)估集是否分開(kāi)評(píng)估集里沒(méi)有出現(xiàn)訓(xùn)練數(shù)據(jù)[ ] Qwen3 生成的 Query 是否覆蓋了真實(shí)用戶高頻問(wèn)法[ ] 負(fù)樣本是否包含至少一部分“向量相似但語(yǔ)義無(wú)關(guān)”的難負(fù)樣本[ ] 訓(xùn)練腳本中 query 指令和推理腳本中 query 指令是否一致[ ] 微調(diào)后模型輸出維度是否和原始模型一致[ ] 向量庫(kù)是否全量重建舊索引是否可回滾[ ] 離線評(píng)估指標(biāo)是否記錄并對(duì)比過(guò)基線[ ] 是否保留了原 Embedding 模型和原向量索引方便快速回滾。8. 生產(chǎn)環(huán)境落地建議微調(diào)不是唯一的優(yōu)化手段8.1 建議的優(yōu)化順序在團(tuán)隊(duì)資源有限的情況下RAG 優(yōu)化順序可以按下面排列先治理知識(shí)庫(kù)切塊和元數(shù)據(jù)加入 Query 改寫解決用戶口語(yǔ)化和指代不清引入 Rerank 模型把 top50 變 top5收集真實(shí) badcase分析檢索失敗原因再用 Qwen3 構(gòu)造數(shù)據(jù)微調(diào) Embedding 模型。這套順序的核心是先用成本低、見(jiàn)效快的手段把明顯問(wèn)題解決掉再通過(guò)微調(diào)處理更深層的語(yǔ)義匹配問(wèn)題。如果一開(kāi)始就啟動(dòng) Embedding 微調(diào)很容易把切塊錯(cuò)誤、元數(shù)據(jù)缺失的問(wèn)題也歸因到模型上導(dǎo)致訓(xùn)練數(shù)據(jù)很臟最終效果也不穩(wěn)定。8.2 建立數(shù)據(jù)回流和定期重訓(xùn)機(jī)制Embedding 微調(diào)不是一次性的。業(yè)務(wù)新名詞不斷出現(xiàn)用戶提問(wèn)方式也在變化訓(xùn)練數(shù)據(jù)需要持續(xù)更新。生產(chǎn)環(huán)境可以設(shè)計(jì)一個(gè)小閉環(huán)從線上日志采集“低分但用戶點(diǎn)擊/反饋有用的 Query”把用戶反饋和 badcase 匯總到標(biāo)注隊(duì)列每?jī)芍芑蛎吭掠?Qwen3 補(bǔ)充新 Query 和新難負(fù)樣本重新訓(xùn)練 Embedding 模型并跑離線評(píng)估評(píng)估通過(guò)后全量重建向量庫(kù)并灰度上線。這里的難點(diǎn)是“自動(dòng)判斷用戶是否滿意”。如果沒(méi)有顯式反饋可以用業(yè)務(wù)指標(biāo)兜底例如搜索無(wú)結(jié)果率、同一會(huì)話的再提問(wèn)次數(shù)等。8.3 成本控制和 LoRA 選擇Embedding 模型訓(xùn)練成本通常遠(yuǎn)低于生成模型。但如果知識(shí)庫(kù)很大向量重建的推理成本會(huì)比訓(xùn)練成本更高。因此訓(xùn)練前要預(yù)估 GPU 總時(shí)長(zhǎng)訓(xùn)練后做一次“向量重建成本”評(píng)估。LoRA 微調(diào)在 Embedding 模型上的收益沒(méi)有大語(yǔ)言模型那么夸張因?yàn)?Embedding 模型的參數(shù)量本來(lái)就小。但對(duì)于 BGE-M3 這類 5 億參數(shù)以上的模型LoRA 仍然是顯存不足時(shí)的首選。選擇 LoRA 時(shí)要關(guān)注訓(xùn)練后是否能導(dǎo)出合并權(quán)重避免推理時(shí)額外依賴適配器加載邏輯。8.4 再往前走Rerank、Agentic RAG 和圖譜增強(qiáng)Embedding 微調(diào)只是 RAG 優(yōu)化的一個(gè)環(huán)節(jié)。當(dāng)檢索召回率已經(jīng)穩(wěn)定可以考慮下一步用領(lǐng)域數(shù)據(jù)微調(diào)一個(gè)小的 Rerank 模型替代通用 Rerank引入 Agentic RAG讓模型根據(jù)用戶意圖主動(dòng)選擇多路檢索在知識(shí)庫(kù)中補(bǔ)充實(shí)體關(guān)系圖譜處理“實(shí)體關(guān)系型問(wèn)題”對(duì)多輪對(duì)話場(chǎng)景增加 Query 改寫和歷史上下文壓縮。這些方向都需要先有“穩(wěn)定可評(píng)估的檢索鏈路”作為基座。Embedding 微調(diào)的真正價(jià)值是讓基座更貼近業(yè)務(wù)而不是替代其他優(yōu)化模塊。最后給新手的練習(xí)建議不要一上來(lái)就微調(diào)一個(gè)大模型先用一個(gè)小型中文知識(shí)庫(kù)構(gòu)造 2000 條數(shù)據(jù)微調(diào) bge-base-zh并在 Milvus 里對(duì)比微調(diào)前后 Recall10。這個(gè)閉環(huán)跑通后再逐步加深對(duì)難負(fù)樣本、LoRA、Rerank 和數(shù)據(jù)回流的理解會(huì)比直接堆模塊更有效。