簡(jiǎn)介檢索增強(qiáng)生成RAG技術(shù)通過(guò)結(jié)合外部知識(shí)庫(kù)與大語(yǔ)言模型有效解決了模型的知識(shí)幻覺(jué)與信息過(guò)時(shí)問(wèn)題提升了問(wèn)答系統(tǒng)的準(zhǔn)確性與可信度。其核心原理是將文檔向量化存儲(chǔ)并在回答時(shí)進(jìn)行語(yǔ)義檢索確保生成內(nèi)容有據(jù)可依。在工程實(shí)踐中該技術(shù)特別適用于知識(shí)體系明確、答案要求嚴(yán)謹(jǐn)?shù)拇怪鳖I(lǐng)域如教育、客服與專業(yè)咨詢。本文以計(jì)算機(jī)考研408科目為例詳細(xì)闡述了如何利用智譜清言GLM大模型與Chroma向量數(shù)據(jù)庫(kù)從知識(shí)庫(kù)構(gòu)建、語(yǔ)義檢索到提示工程一步步實(shí)現(xiàn)一個(gè)能精準(zhǔn)解答專業(yè)問(wèn)題的智能助手為開(kāi)發(fā)者提供了RAG技術(shù)落地的完整范例與調(diào)優(yōu)經(jīng)驗(yàn)。1. 項(xiàng)目概述與核心價(jià)值最近在折騰一個(gè)挺有意思的東西一個(gè)專門給計(jì)算機(jī)考研408統(tǒng)考科目用的智能問(wèn)答系統(tǒng)。起因很簡(jiǎn)單身邊幾個(gè)學(xué)弟學(xué)妹在備考天天被數(shù)據(jù)結(jié)構(gòu)、操作系統(tǒng)、計(jì)算機(jī)組成原理、計(jì)算機(jī)網(wǎng)絡(luò)這四座大山折磨得夠嗆。他們最常抱怨的就是知識(shí)點(diǎn)太散題目一綜合就懵網(wǎng)上搜答案要么不精準(zhǔn)要么解釋得云里霧里。市面上通用的AI助手比如直接問(wèn)ChatGPT對(duì)于408這種有固定考綱、答案要求嚴(yán)謹(jǐn)?shù)念I(lǐng)域經(jīng)常會(huì)出現(xiàn)“一本正經(jīng)地胡說(shuō)八道”的情況或者給出的解答過(guò)于寬泛不夠“應(yīng)試”。所以我就想能不能用現(xiàn)在比較火的RAG檢索增強(qiáng)生成技術(shù)結(jié)合一個(gè)靠譜的大模型做一個(gè)垂直領(lǐng)域的“學(xué)霸助手”核心思路就是把海量的、高質(zhì)量的408考研資料教材、真題、權(quán)威講義、筆記先“喂”給系統(tǒng)讓它建立起一個(gè)專屬的知識(shí)庫(kù)。當(dāng)用戶提問(wèn)時(shí)系統(tǒng)不是讓大模型憑空想象而是先從這個(gè)知識(shí)庫(kù)里去精準(zhǔn)地找到最相關(guān)的資料片段然后結(jié)合這些“證據(jù)”來(lái)生成答案。這樣既能保證答案的專業(yè)性和準(zhǔn)確性又能針對(duì)具體問(wèn)題給出緊扣考點(diǎn)的解答。我選擇了智譜清言的GLM大模型作為生成引擎主要是看中它在中文理解和推理上的穩(wěn)定表現(xiàn)以及API調(diào)用的便捷性。整個(gè)系統(tǒng)的骨架就是“RAG檢索增強(qiáng)生成”前端接收問(wèn)題后端通過(guò)語(yǔ)義檢索從向量數(shù)據(jù)庫(kù)中撈取相關(guān)文檔拼接到提示詞里再調(diào)用GLM API生成最終答案。這聽(tīng)起來(lái)可能有點(diǎn)技術(shù)化但說(shuō)白了就是給大模型配了一個(gè)“超級(jí)參考書庫(kù)”和一位“精準(zhǔn)的圖書管理員”確保它每次答題都有據(jù)可依。這個(gè)項(xiàng)目非常適合有一定Python基礎(chǔ)對(duì)AI應(yīng)用開(kāi)發(fā)感興趣的朋友特別是想深入理解RAG技術(shù)如何落地到具體場(chǎng)景的同學(xué)。它不只是一個(gè)玩具而是一個(gè)能真實(shí)解決痛點(diǎn)的工具原型。接下來(lái)我會(huì)把從零搭建這個(gè)系統(tǒng)的完整過(guò)程、踩過(guò)的坑、以及如何讓它真正“好用”的經(jīng)驗(yàn)毫無(wú)保留地分享出來(lái)。2. 系統(tǒng)整體架構(gòu)與核心組件選型2.1 為什么選擇RAG架構(gòu)在決定做這個(gè)系統(tǒng)時(shí)我首先排除了兩種方案一是直接用大模型做“裸奔”問(wèn)答二是訓(xùn)練一個(gè)專門的微調(diào)模型。前者準(zhǔn)確率無(wú)法保證后者則成本高昂且不靈活。RAG成了最理想的折中方案。RAG的核心優(yōu)勢(shì)在于“開(kāi)卷考試”。對(duì)于408考研這種知識(shí)體系龐大但邊界相對(duì)清晰、答案有標(biāo)準(zhǔn)參考的領(lǐng)域讓模型擁有一個(gè)實(shí)時(shí)、可更新的“外部記憶”至關(guān)重要。它解決了大模型的幾個(gè)固有難題知識(shí)幻覺(jué)模型可能會(huì)編造不存在的概念或定理。RAG通過(guò)提供檢索到的真實(shí)文本來(lái)約束生成。知識(shí)過(guò)時(shí)大模型的訓(xùn)練數(shù)據(jù)有截止日期而考研大綱和熱點(diǎn)每年可能有微調(diào)。RAG的知識(shí)庫(kù)可以隨時(shí)更新。長(zhǎng)尾細(xì)節(jié)遺忘模型可能記不住某些冷門但重要的知識(shí)點(diǎn)比如某個(gè)特定年份真題的某個(gè)選項(xiàng)解析。RAG可以精準(zhǔn)檢索出這些細(xì)節(jié)。我的系統(tǒng)架構(gòu)遵循經(jīng)典的RAG流水線主要包括四個(gè)核心環(huán)節(jié)文檔處理與向量化 - 向量存儲(chǔ)與檢索 - 提示工程與答案合成 - 前端交互。2.2 核心組件深度解析2.2.1 大模型API為什么是智譜清言GLM在眾多國(guó)產(chǎn)大模型API中我最終選擇了智譜清言主要基于以下幾點(diǎn)實(shí)戰(zhàn)考量中文優(yōu)化與邏輯推理能力GLM系列模型在中文文本處理、邏輯推理和代碼生成方面表現(xiàn)均衡且穩(wěn)定。對(duì)于408的題目尤其是涉及算法步驟、系統(tǒng)流程描述時(shí)需要模型有清晰的邏輯鏈條GLM在這方面滿足要求。API穩(wěn)定與成本可控智譜的API平臺(tái)文檔清晰提供了多種規(guī)格的模型如GLM-4、GLM-3-Turbo并且有明確的計(jì)費(fèi)方式。對(duì)于個(gè)人項(xiàng)目或小規(guī)模應(yīng)用其免費(fèi)額度和性價(jià)比是重要的考慮因素。相比一些開(kāi)源模型自建服務(wù)的運(yùn)維復(fù)雜度使用成熟的API能讓我更專注于應(yīng)用邏輯本身。上下文長(zhǎng)度與函數(shù)調(diào)用GLM-4等模型支持足夠長(zhǎng)的上下文如128K這對(duì)于RAG至關(guān)重要因?yàn)槲覀冃枰獙z索到的多個(gè)文檔片段可能很長(zhǎng)連同問(wèn)題一起送入模型。雖然本項(xiàng)目暫未用到但其函數(shù)調(diào)用能力也為未來(lái)擴(kuò)展如連接計(jì)算器、畫圖工具留下了空間。注意API調(diào)用中的常見(jiàn)坑。在開(kāi)發(fā)過(guò)程中我頻繁遇到幾種API錯(cuò)誤這里提前預(yù)警api error: 400 the thinking_budget parameter must be a positive integer and...這是調(diào)用GLM-4等具備“思考”功能模型時(shí)可能出現(xiàn)的錯(cuò)誤。thinking_budget參數(shù)控制模型的思考深度必須設(shè)置為正整數(shù)。如果不需要深度思考可以將其設(shè)為0或一個(gè)較小的值如128。在代碼中務(wù)必檢查這個(gè)參數(shù)的類型和值。api error: 400 this models maximum context length is...這是最常遇到的錯(cuò)誤之一當(dāng)你的提示詞系統(tǒng)指令用戶問(wèn)題檢索到的文檔總長(zhǎng)度超過(guò)了模型的最大上下文限制就會(huì)報(bào)此錯(cuò)。解決方案1. 在檢索后對(duì)返回的文檔片段進(jìn)行長(zhǎng)度裁剪或智能摘要2. 選擇上下文更長(zhǎng)的模型版本3. 優(yōu)化提示詞減少冗余。api error: 402 insufficient balance賬戶余額不足。智譜API需要充值記得在平臺(tái)查看用量和余額。transport failure for /api/...: http 403通常是API Key錯(cuò)誤、沒(méi)有權(quán)限或請(qǐng)求頻率超限。檢查API Key是否正確以及是否有調(diào)用該接口的權(quán)限。2.2.2 向量數(shù)據(jù)庫(kù)Chroma的輕量之選向量數(shù)據(jù)庫(kù)是RAG的“記憶中樞”負(fù)責(zé)存儲(chǔ)文檔的向量嵌入Embedding并實(shí)現(xiàn)高速的相似性檢索。我選擇了ChromaDB一個(gè)開(kāi)源且易用的向量數(shù)據(jù)庫(kù)。選型理由簡(jiǎn)單易用Python原生Chroma的API設(shè)計(jì)非常Pythonic幾行代碼就能完成客戶端初始化、集合創(chuàng)建、數(shù)據(jù)插入和查詢非常適合快速原型開(kāi)發(fā)。內(nèi)存/持久化模式靈活開(kāi)發(fā)階段可以用persist_directory參數(shù)將數(shù)據(jù)持久化到磁盤避免每次重啟都要重新構(gòu)建向量庫(kù)。生產(chǎn)環(huán)境也可以部署為獨(dú)立的服務(wù)。與流行Embedding模型集成好它天然支持OpenAI、Sentence-Transformers等主流嵌入模型切換起來(lái)很方便。與Milvus、Pinecone等的對(duì)比Milvus功能更強(qiáng)大適合超大規(guī)模向量檢索但部署和運(yùn)維相對(duì)復(fù)雜。Pinecone是完全托管的云服務(wù)省心但可能有成本。對(duì)于我這個(gè)“408知識(shí)庫(kù)”項(xiàng)目數(shù)據(jù)量在十萬(wàn)級(jí)文檔塊以內(nèi)Chroma在性能和易用性上取得了最佳平衡。網(wǎng)上搜索“windows安裝向量數(shù)據(jù)庫(kù)milvus standalone安裝”也側(cè)面說(shuō)明Milvus的安裝對(duì)新手有一定門檻。實(shí)操心得數(shù)據(jù)持久化。一定要在創(chuàng)建Chroma客戶端時(shí)指定persist_directory例如Chroma(persist_directory./chroma_db, embedding_functionembedding_function)。這樣當(dāng)你添加新文檔后調(diào)用collection.persist()方法數(shù)據(jù)才會(huì)真正保存到磁盤。我一開(kāi)始沒(méi)注意結(jié)果每次腳本跑完數(shù)據(jù)就丟了排查了好久。2.2.3 嵌入模型文本轉(zhuǎn)化為向量的關(guān)鍵嵌入模型負(fù)責(zé)將文本轉(zhuǎn)換為計(jì)算機(jī)可以理解的數(shù)值向量一組高維數(shù)字。檢索的本質(zhì)就是計(jì)算問(wèn)題向量與知識(shí)庫(kù)中所有文檔向量之間的“距離”通常用余弦相似度找到最“近”的幾段。我選用的模型text-embedding-ada-002或Sentence-Transformers庫(kù)中的paraphrase-multilingual-MiniLM-L12-v2。初期/快速驗(yàn)證可以使用OpenAI的嵌入模型效果穩(wěn)定但需付費(fèi)且有速率限制。本地化/免費(fèi)方案強(qiáng)烈推薦Sentence-Transformers。它提供了大量高質(zhì)量的開(kāi)源嵌入模型特別是paraphrase-multilingual-MiniLM-L12-v2這個(gè)模型對(duì)多語(yǔ)言包括中文支持很好且完全免費(fèi)可以離線運(yùn)行。這對(duì)于處理中文為主的408資料至關(guān)重要。嵌入維度不同的模型產(chǎn)出不同維度的向量如384維、768維、1536維。這會(huì)影響向量數(shù)據(jù)庫(kù)的存儲(chǔ)和檢索效率但通常不需要我們深究只需確保構(gòu)建索引和查詢時(shí)使用同一個(gè)模型即可。3. 知識(shí)庫(kù)構(gòu)建從原始資料到向量數(shù)據(jù)庫(kù)這是整個(gè)系統(tǒng)最耗時(shí)但也最奠定基礎(chǔ)的一步。質(zhì)量不高的知識(shí)庫(kù)會(huì)導(dǎo)致后續(xù)檢索垃圾進(jìn)、垃圾出。3.1 資料收集與預(yù)處理我的資料主要來(lái)源于王道、天勤等權(quán)威輔導(dǎo)書的電子版合法獲取、歷年408統(tǒng)考真題與解析PDF、各大高校的精品課程PPT、以及我自己整理的高頻考點(diǎn)筆記。預(yù)處理流程如下格式統(tǒng)一使用pdfplumber或PyMuPDF解析PDF使用python-docx處理Word將所有資料轉(zhuǎn)換為純文本。這一步會(huì)遇到格式混亂、分欄文本錯(cuò)序等問(wèn)題。避坑技巧對(duì)于掃描版PDF需要先用OCR工具如Tesseract或調(diào)用百度/騰訊的OCR API進(jìn)行文字識(shí)別。對(duì)于解析后文本順序錯(cuò)亂的問(wèn)題可以嘗試不同的PDF解析庫(kù)或者根據(jù)坐標(biāo)信息對(duì)文本塊進(jìn)行排序。文本清洗去除無(wú)關(guān)的頁(yè)眉、頁(yè)腳、水印、網(wǎng)址。將全角字符轉(zhuǎn)換為半角如逗號(hào)、括號(hào)。規(guī)范化換行符將多個(gè)連續(xù)空白字符替換為單個(gè)空格?？蛇x使用正則表達(dá)式移除特定的廣告或無(wú)關(guān)信息。文本分割Chunking這是至關(guān)重要的一步直接決定檢索精度。不能簡(jiǎn)單按固定字符數(shù)切割那樣會(huì)割裂完整的知識(shí)點(diǎn)。策略采用遞歸分割法。優(yōu)先按自然段落\n\n分割。如果某個(gè)段落過(guò)長(zhǎng)如超過(guò)500字再按句子分割符。等進(jìn)行二次分割。同時(shí)要保證每個(gè)塊有適當(dāng)?shù)拇笮∥以O(shè)定在200-500字之間太小則信息不完整太大則檢索會(huì)引入噪聲。重疊在塊與塊之間設(shè)置一個(gè)小的重疊區(qū)如50字。這能確保當(dāng)一個(gè)知識(shí)點(diǎn)恰好被分割在兩個(gè)塊的邊界時(shí)檢索時(shí)仍有較大概率被覆蓋到避免信息丟失。元數(shù)據(jù)附加為每個(gè)文本塊附加元數(shù)據(jù)方便后續(xù)追溯和篩選。我附加的元數(shù)據(jù)包括source來(lái)源文件名、chapter章節(jié)名如果解析得出、page頁(yè)碼如果解析得出、type題型如“概念”、“真題”、“解析”。3.2 向量化與入庫(kù)預(yù)處理后我們得到了一系列干凈的文本塊列表。接下來(lái)就是將它們轉(zhuǎn)化為向量并存入ChromaDB。# 示例代碼使用Sentence-Transformers構(gòu)建向量庫(kù) from sentence_transformers import SentenceTransformer import chromadb from chromadb.config import Settings # 1. 加載嵌入模型 embed_model SentenceTransformer(paraphrase-multilingual-MiniLM-L12-v2) # 2. 初始化Chroma客戶端并指定持久化目錄 chroma_client chromadb.PersistentClient(path./chroma_408_db) # 3. 創(chuàng)建或獲取一個(gè)集合collection類似于數(shù)據(jù)庫(kù)的表 collection chroma_client.get_or_create_collection( name408_knowledge_base, metadata{description: 計(jì)算機(jī)考研408知識(shí)向量庫(kù)} ) # 假設(shè)我們已經(jīng)有了清洗和分割好的文本塊列表 text_chunks 和對(duì)應(yīng)的元數(shù)據(jù)列表 metadatas texts [chunk[text] for chunk in text_chunks] metadatas [chunk[metadata] for chunk in text_chunks] ids [fchunk_{i} for i in range(len(texts))] # 為每個(gè)塊生成唯一ID # 4. 生成嵌入向量 # 注意Chroma可以在add時(shí)自動(dòng)調(diào)用嵌入函數(shù)但為了演示清晰這里先批量生成。 # 在實(shí)際大批量處理時(shí)建議使用Chroma的自動(dòng)嵌入功能避免內(nèi)存溢出。 embeddings embed_model.encode(texts, show_progress_barTrue) # 5. 將數(shù)據(jù)添加到集合 collection.add( embeddingsembeddings.tolist(), # 轉(zhuǎn)換為list documentstexts, metadatasmetadatas, idsids ) print(f成功入庫(kù) {len(texts)} 個(gè)文本塊。)關(guān)鍵參數(shù)與操作意圖path./chroma_408_db指定數(shù)據(jù)庫(kù)本地存儲(chǔ)路徑。之后重啟程序只需用同樣的路徑初始化客戶端就能加載已有數(shù)據(jù)。collection.add這是核心操作。我們一次性傳入了embeddings向量、documents原始文本、metadatas元數(shù)據(jù)、idsID。Chroma會(huì)建立索引支持快速檢索。批量處理與內(nèi)存如果資料庫(kù)非常大幾十萬(wàn)個(gè)塊一次性生成所有向量并add可能會(huì)導(dǎo)致內(nèi)存不足。需要實(shí)現(xiàn)分批處理讀取一批文本 - 生成嵌入 - 入庫(kù) - 清空內(nèi)存循環(huán)進(jìn)行。4. 智能問(wèn)答鏈路的實(shí)現(xiàn)細(xì)節(jié)知識(shí)庫(kù)準(zhǔn)備好后就進(jìn)入了系統(tǒng)的核心邏輯問(wèn)答鏈路。當(dāng)用戶提出一個(gè)問(wèn)題系統(tǒng)如何運(yùn)作4.1 檢索器如何找到最相關(guān)的資料檢索不是簡(jiǎn)單的關(guān)鍵詞匹配而是語(yǔ)義搜索。我們計(jì)算用戶問(wèn)題的向量然后在向量數(shù)據(jù)庫(kù)中尋找最相似的文本塊向量。def retrieve_relevant_docs(query, collection, embed_model, top_k5): 檢索與問(wèn)題最相關(guān)的文檔。 :param query: 用戶問(wèn)題 :param collection: ChromaDB集合對(duì)象 :param embed_model: 嵌入模型 :param top_k: 返回最相關(guān)的K個(gè)結(jié)果 :return: 相關(guān)文檔的列表 # 1. 將用戶問(wèn)題轉(zhuǎn)化為向量 query_embedding embed_model.encode([query]).tolist()[0] # 2. 查詢向量數(shù)據(jù)庫(kù) results collection.query( query_embeddings[query_embedding], n_resultstop_k, include[documents, metadatas, distances] # 指定返回的內(nèi)容 ) # 3. 整理結(jié)果 relevant_docs [] if results[documents]: for i, doc in enumerate(results[documents][0]): relevant_docs.append({ content: doc, metadata: results[metadatas][0][i], score: 1 - results[distances][0][i] # 將距離轉(zhuǎn)換為相似度分?jǐn)?shù)假設(shè)使用余弦相似度 }) return relevant_docs檢索優(yōu)化技巧Top-K與分?jǐn)?shù)閾值top_k不宜過(guò)大通常3-7個(gè)足夠?？梢栽O(shè)置一個(gè)相似度分?jǐn)?shù)閾值如0.7低于此閾值的文檔認(rèn)為不相關(guān)不傳遞給大模型避免引入干擾信息。元數(shù)據(jù)過(guò)濾Chroma支持在查詢時(shí)進(jìn)行元數(shù)據(jù)過(guò)濾。例如如果用戶明確問(wèn)“關(guān)于2019年408真題第33題”我們可以在查詢中加入where{type: 真題解析}來(lái)縮小范圍提升精度和速度?；旌蠙z索除了語(yǔ)義檢索也可以結(jié)合關(guān)鍵詞檢索如BM25。例如先用關(guān)鍵詞快速篩選出一批候選文檔再對(duì)這批文檔進(jìn)行語(yǔ)義相似度排序。這能更好地處理一些包含特定術(shù)語(yǔ)、縮寫的問(wèn)題。4.2 提示工程如何讓大模型“好好說(shuō)話”檢索到的文檔只是原材料如何組織成提示詞Prompt交給大模型決定了答案的質(zhì)量。這是RAG系統(tǒng)的“靈魂”。我的提示詞模板經(jīng)過(guò)多次迭代最終形成了一個(gè)比較穩(wěn)定的結(jié)構(gòu)你是一個(gè)專業(yè)的計(jì)算機(jī)考研408科目輔導(dǎo)專家。請(qǐng)嚴(yán)格根據(jù)以下提供的相關(guān)參考資料來(lái)回答問(wèn)題。如果資料中沒(méi)有明確答案請(qǐng)如實(shí)告知“根據(jù)現(xiàn)有資料無(wú)法回答”不要編造信息。 用戶問(wèn)題{user_question} 相關(guān)參考資料 {formatted_context} 請(qǐng)基于以上資料用清晰、準(zhǔn)確、專業(yè)的中文回答用戶的問(wèn)題。答案應(yīng)緊扣408考綱邏輯嚴(yán)謹(jǐn)。如果是概念題請(qǐng)先給出定義再解釋如果是計(jì)算或算法題請(qǐng)分步驟解答。關(guān)鍵設(shè)計(jì)點(diǎn)角色設(shè)定明確告訴模型“你是什么”引導(dǎo)其輸出風(fēng)格。指令清晰“嚴(yán)格根據(jù)以下提供的相關(guān)參考資料”是核心指令強(qiáng)制模型以檢索到的內(nèi)容為基準(zhǔn)抑制幻覺(jué)。格式化上下文{formatted_context}需要將檢索到的多個(gè)文檔塊清晰、無(wú)重復(fù)地組織起來(lái)。我通常用分隔符---隔開(kāi)每個(gè)塊并在開(kāi)頭注明來(lái)源例如[來(lái)源《操作系統(tǒng)概念》第7章 頁(yè)碼205] 進(jìn)程是正在執(zhí)行的程序?qū)嵗?。它包括程序代碼、當(dāng)前活動(dòng)通過(guò)程序計(jì)數(shù)器和寄存器的內(nèi)容表示以及相關(guān)資源... --- [來(lái)源2018年408真題解析] 題目下列關(guān)于進(jìn)程和線程的描述中錯(cuò)誤的是... 解析線程是CPU調(diào)度的基本單位進(jìn)程是資源分配的基本單位...這樣有助于模型區(qū)分不同來(lái)源的信息并在答案中需要時(shí)進(jìn)行引用雖然當(dāng)前提示詞未要求引用但結(jié)構(gòu)清晰有利于模型理解。安全兜底“如果資料中沒(méi)有明確答案請(qǐng)如實(shí)告知...” 這句話非常重要是防止模型胡編亂造的最后一道防線。輸出格式引導(dǎo)最后一句對(duì)答案格式做了引導(dǎo)使答案更符合“應(yīng)試輔導(dǎo)”的預(yù)期。4.3 生成與后處理調(diào)用API與答案優(yōu)化有了精心構(gòu)造的提示詞就可以調(diào)用智譜清言的API了。import zhipuai # 需要先安裝zhipuai庫(kù)并配置API Key from zhipuai import ZhipuAI def generate_answer_with_glm(prompt, modelglm-4): 調(diào)用智譜GLM API生成答案。 client ZhipuAI(api_keyyour_api_key_here) # 替換為你的API Key try: response client.chat.completions.create( modelmodel, messages[ {role: user, content: prompt} ], temperature0.1, # 溫度設(shè)低保證答案確定性高 top_p0.7, # 如果使用GLM-4且需要思考鏈可以設(shè)置 thinking_budget例如 # thinking_budget512, max_tokens2000 # 根據(jù)答案長(zhǎng)度預(yù)期設(shè)置 ) return response.choices[0].message.content except Exception as e: # 這里需要處理前面提到的各種API錯(cuò)誤 if maximum context length in str(e): return 錯(cuò)誤輸入內(nèi)容過(guò)長(zhǎng)請(qǐng)嘗試簡(jiǎn)化您的問(wèn)題。 elif thinking_budget in str(e): return 錯(cuò)誤思考預(yù)算參數(shù)設(shè)置不正確。 elif insufficient balance in str(e): return 錯(cuò)誤API余額不足。 else: return f調(diào)用模型API時(shí)發(fā)生錯(cuò)誤{e}參數(shù)調(diào)優(yōu)心得temperature強(qiáng)烈建議設(shè)置為0.1-0.3之間。對(duì)于知識(shí)問(wèn)答我們需要的是準(zhǔn)確、確定的答案而不是創(chuàng)造性。低溫度值能減少模型“瞎編”的概率。max_tokens根據(jù)你的提示詞長(zhǎng)度和預(yù)期答案長(zhǎng)度來(lái)設(shè)置。408的答案通常不會(huì)特別長(zhǎng)2000一般足夠。設(shè)置太小會(huì)導(dǎo)致答案被截?cái)?。錯(cuò)誤處理必須對(duì)API調(diào)用進(jìn)行完善的異常捕獲和用戶友好的錯(cuò)誤提示。將技術(shù)性錯(cuò)誤如上下文過(guò)長(zhǎng)、余額不足轉(zhuǎn)化為用戶能理解的信息。后處理生成的答案有時(shí)會(huì)包含一些多余的禮貌用語(yǔ)或格式標(biāo)記?？梢詫懸粋€(gè)簡(jiǎn)單的后處理函數(shù)去除答案開(kāi)頭結(jié)尾的“根據(jù)資料...”、“綜上所述...”等套話讓答案更精煉。但要注意不要破壞答案的核心內(nèi)容。5. 系統(tǒng)集成與前端交互后端邏輯完成后需要提供一個(gè)界面給用戶使用。為了快速驗(yàn)證我選擇了用Gradio構(gòu)建一個(gè)簡(jiǎn)單的Web界面。Gradio非常適合機(jī)器學(xué)習(xí)項(xiàng)目的演示幾行代碼就能生成一個(gè)交互式UI。import gradio as gr from retrieval import retrieve_relevant_docs # 假設(shè)檢索函數(shù)在此模塊 from generation import generate_answer_with_glm # 假設(shè)生成函數(shù)在此模塊 from embedding import get_embed_model_and_collection # 假設(shè)加載模型和數(shù)據(jù)庫(kù)的函數(shù) # 初始化組件在實(shí)際應(yīng)用中應(yīng)考慮單例模式避免重復(fù)加載 embed_model, collection get_embed_model_and_collection() def answer_question(question, history): Gradio聊天接口的回調(diào)函數(shù)。 # 1. 檢索 relevant_docs retrieve_relevant_docs(question, collection, embed_model, top_k4) if not relevant_docs: return 未在知識(shí)庫(kù)中找到相關(guān)信息。請(qǐng)嘗試換一種問(wèn)法或確認(rèn)問(wèn)題是否在408考綱內(nèi)。 # 2. 構(gòu)建上下文 context_parts [] for doc in relevant_docs: source_info doc[metadata].get(source, 未知來(lái)源) context_parts.append(f[來(lái)源{source_info}]\n{doc[content]}) formatted_context \n---\n.join(context_parts) # 3. 構(gòu)建提示詞 prompt f你是一個(gè)專業(yè)的計(jì)算機(jī)考研408科目輔導(dǎo)專家。請(qǐng)嚴(yán)格根據(jù)以下提供的相關(guān)參考資料來(lái)回答問(wèn)題。如果資料中沒(méi)有明確答案請(qǐng)如實(shí)告知“根據(jù)現(xiàn)有資料無(wú)法回答”不要編造信息。 用戶問(wèn)題{question} 相關(guān)參考資料 {formatted_context} 請(qǐng)基于以上資料用清晰、準(zhǔn)確、專業(yè)的中文回答用戶的問(wèn)題。答案應(yīng)緊扣408考綱邏輯嚴(yán)謹(jǐn)。 # 4. 生成 answer generate_answer_with_glm(prompt) # 5. 返回Gradio ChatInterface期望返回 (question, answer) 對(duì) return answer # 構(gòu)建Gradio界面 demo gr.ChatInterface( fnanswer_question, title408考研智能問(wèn)答助手, description請(qǐng)輸入關(guān)于計(jì)算機(jī)專業(yè)考研408科目數(shù)據(jù)結(jié)構(gòu)、操作系統(tǒng)、計(jì)算機(jī)組成原理、計(jì)算機(jī)網(wǎng)絡(luò)的問(wèn)題。, examples[什么是虛擬內(nèi)存, 簡(jiǎn)述TCP三次握手的過(guò)程。, 2019年408真題第33題的答案是什么], cache_examplesFalse # 對(duì)于實(shí)時(shí)檢索不建議緩存例子 ) if __name__ __main__: demo.launch(shareFalse, server_name0.0.0.0, server_port7860)這個(gè)界面提供了一個(gè)聊天框用戶可以直接提問(wèn)。examples參數(shù)提供了一些示例問(wèn)題方便用戶快速了解系統(tǒng)能力。啟動(dòng)后在瀏覽器打開(kāi)http://localhost:7860即可使用。部署考慮對(duì)于個(gè)人使用或小范圍分享Gradio的launch(shareTrue)可以生成一個(gè)臨時(shí)公網(wǎng)鏈接。如需長(zhǎng)期服務(wù)可以考慮將后端封裝為FastAPI接口前端用更成熟的框架如Vue/React重寫并部署到云服務(wù)器。6. 效果評(píng)估、迭代與常見(jiàn)問(wèn)題排查系統(tǒng)跑起來(lái)只是第一步更重要的是讓它“跑得好”。我設(shè)計(jì)了一套評(píng)估和迭代的方法。6.1 如何評(píng)估問(wèn)答效果不能只靠感覺(jué)需要有一些可量化的評(píng)估方式人工評(píng)測(cè)黃金標(biāo)準(zhǔn)構(gòu)建一個(gè)測(cè)試集包含50-100個(gè)覆蓋不同知識(shí)點(diǎn)和題型的問(wèn)題并準(zhǔn)備好標(biāo)準(zhǔn)答案或參考答案。讓系統(tǒng)回答然后從以下幾個(gè)維度人工評(píng)分1-5分相關(guān)性答案是否直接針對(duì)問(wèn)題準(zhǔn)確性答案中的事實(shí)、概念、數(shù)據(jù)是否正確完整性是否涵蓋了問(wèn)題的所有要點(diǎn)清晰度表述是否清晰易懂邏輯是否通順檢索質(zhì)量評(píng)估在人工評(píng)測(cè)時(shí)同時(shí)觀察系統(tǒng)檢索到的文檔。評(píng)估檢索到的文檔是否真的與問(wèn)題相關(guān)是否是回答問(wèn)題的關(guān)鍵依據(jù)?！盎糜X(jué)”率統(tǒng)計(jì)記錄系統(tǒng)在測(cè)試集中“編造”信息即答案中的關(guān)鍵點(diǎn)無(wú)法在提供的參考資料中找到依據(jù)的次數(shù)。6.2 迭代優(yōu)化方向根據(jù)評(píng)估結(jié)果可以從以下幾個(gè)環(huán)節(jié)進(jìn)行優(yōu)化知識(shí)庫(kù)層面擴(kuò)充資料增加缺失知識(shí)點(diǎn)的資料。優(yōu)化分割如果發(fā)現(xiàn)檢索到的文檔總是首尾不全調(diào)整分割策略如增大塊大小或重疊區(qū)。清洗增強(qiáng)對(duì)質(zhì)量不高的原始文本如OCR錯(cuò)誤多的進(jìn)行二次校對(duì)和清洗。檢索層面調(diào)整檢索數(shù)量top_k值。嘗試重排序在初步檢索出Top N個(gè)文檔后使用一個(gè)更精細(xì)的模型如交叉編碼器對(duì)它們進(jìn)行重排序?qū)⒆钕嚓P(guān)的一兩個(gè)放在前面提升上下文質(zhì)量。引入元數(shù)據(jù)過(guò)濾讓用戶在前端可以選擇問(wèn)題類型概念、真題、計(jì)算后端根據(jù)類型過(guò)濾提升精度。提示工程層面迭代提示詞這是成本最低的優(yōu)化方式。嘗試不同的角色設(shè)定、指令措辭、上下文格式觀察對(duì)答案質(zhì)量的影響。例如加入“請(qǐng)分點(diǎn)論述”、“請(qǐng)對(duì)比兩者的區(qū)別”等具體指令。少樣本提示在提示詞中提供一兩個(gè)高質(zhì)量的問(wèn)答示例引導(dǎo)模型模仿格式和風(fēng)格。6.3 常見(jiàn)問(wèn)題與排查清單在實(shí)際開(kāi)發(fā)和測(cè)試中我遇到了不少問(wèn)題這里總結(jié)一個(gè)排查清單問(wèn)題現(xiàn)象可能原因解決方案答案完全胡編亂造與資料無(wú)關(guān)1. 檢索失敗返回空或完全不相關(guān)的文檔。2. 提示詞未強(qiáng)制要求“根據(jù)資料”。3. 模型溫度(temperature)設(shè)置過(guò)高。1. 檢查檢索函數(shù)打印出檢索到的文檔內(nèi)容看是否相關(guān)。檢查嵌入模型是否匹配。2. 強(qiáng)化提示詞中的指令如“必須嚴(yán)格依據(jù)以下資料”。3. 將temperature降至0.2以下。答案部分正確部分“幻覺(jué)”1. 檢索到的資料不完整或包含錯(cuò)誤信息。2. 上下文過(guò)長(zhǎng)模型未能有效關(guān)注全部關(guān)鍵信息。3. 不同資料片段之間存在矛盾模型混淆。1. 優(yōu)化知識(shí)庫(kù)質(zhì)量清理錯(cuò)誤資料。2. 減少top_k或?qū)z索到的文檔進(jìn)行摘要濃縮后再輸入。3. 在提示詞中要求模型“如果資料間有沖突以[某權(quán)威來(lái)源]為準(zhǔn)”。答案總是說(shuō)“資料中未找到”1. 檢索閾值設(shè)置過(guò)高相關(guān)文檔被過(guò)濾。2. 知識(shí)庫(kù)確實(shí)缺乏該問(wèn)題對(duì)應(yīng)的資料。3. 用戶問(wèn)題表述與資料表述差異太大語(yǔ)義鴻溝。1. 降低相似度分?jǐn)?shù)閾值或增加top_k。2. 擴(kuò)充知識(shí)庫(kù)。3. 嘗試對(duì)用戶問(wèn)題進(jìn)行查詢擴(kuò)展如提取關(guān)鍵詞的同義詞、相關(guān)術(shù)語(yǔ)一并搜索。響應(yīng)速度很慢1. 向量數(shù)據(jù)庫(kù)檢索慢數(shù)據(jù)量大時(shí)。2. 大模型API調(diào)用網(wǎng)絡(luò)延遲高。3. 嵌入模型在CPU上運(yùn)行慢。1. 為ChromaDB創(chuàng)建索引如果支持或考慮升級(jí)硬件/使用云服務(wù)。2. 檢查網(wǎng)絡(luò)或考慮使用API的流式響應(yīng)以提升感知速度。3. 如果有GPU將Sentence-Transformers模型加載到GPU上。遇到api error: 400 maximum context length提示詞系統(tǒng)指令用戶問(wèn)題檢索文檔總長(zhǎng)度超過(guò)模型限制。1. 減少top_k減少輸入文檔數(shù)量。2. 對(duì)檢索到的文檔進(jìn)行摘要或截?cái)嗳缰蝗∏癗個(gè)字符。3. 換用上下文更長(zhǎng)的模型。一個(gè)高級(jí)技巧查詢理解與重寫。用戶的問(wèn)題可能很口語(yǔ)化如“學(xué)不動(dòng)了頁(yè)表是干啥的”而知識(shí)庫(kù)中的文檔是書面語(yǔ)?？梢栽跈z索前先用大模型對(duì)用戶問(wèn)題進(jìn)行一輪“重寫”將其改寫成更規(guī)范、更利于檢索的學(xué)術(shù)性問(wèn)題如“請(qǐng)解釋頁(yè)表的概念及其在虛擬內(nèi)存管理中的作用”再將重寫后的問(wèn)題用于向量檢索能顯著提升檢索命中率。這相當(dāng)于增加了一個(gè)“問(wèn)題理解”的預(yù)處理層。7. 項(xiàng)目總結(jié)與未來(lái)展望構(gòu)建這個(gè)系統(tǒng)的過(guò)程是一個(gè)典型的將前沿AI技術(shù)RAG大模型應(yīng)用于垂直領(lǐng)域解決實(shí)際問(wèn)題的工程實(shí)踐。它不是一個(gè)炫技的demo而是一個(gè)真正能產(chǎn)生價(jià)值的工具。通過(guò)它我深刻體會(huì)到在AI應(yīng)用開(kāi)發(fā)中數(shù)據(jù)和流程的工程優(yōu)化其重要性往往不亞于模型本身。一個(gè)精心構(gòu)建的知識(shí)庫(kù)和一條設(shè)計(jì)合理的RAG流水線比單純追求更龐大的模型更能帶來(lái)質(zhì)的提升。這個(gè)系統(tǒng)目前已經(jīng)能相當(dāng)可靠地回答大多數(shù)408的概念性、原理性和真題解析類問(wèn)題。但它還有很大的進(jìn)化空間多模態(tài)擴(kuò)展408中有很多圖比如數(shù)據(jù)結(jié)構(gòu)中的樹(shù)、圖組成原理中的CPU流水線。未來(lái)可以考慮接入多模態(tài)大模型支持用戶上傳圖表提問(wèn)或者讓系統(tǒng)在答案中生成示意圖。復(fù)雜推理與解題對(duì)于復(fù)雜的算法設(shè)計(jì)題或綜合應(yīng)用題當(dāng)前系統(tǒng)可能只能提供思路或知識(shí)點(diǎn)提示?？梢蕴剿鞲鼜?fù)雜的Agent框架讓模型能夠調(diào)用代碼執(zhí)行器進(jìn)行模擬計(jì)算或者進(jìn)行多步驟的推理鏈Chain-of-Thought。個(gè)性化學(xué)習(xí)路徑記錄用戶的提問(wèn)歷史和知識(shí)盲點(diǎn)利用向量數(shù)據(jù)庫(kù)存儲(chǔ)用戶畫像從而推薦個(gè)性化的復(fù)習(xí)重點(diǎn)和習(xí)題向一個(gè)真正的“AI導(dǎo)師”邁進(jìn)。開(kāi)源與社區(qū)共建最理想的狀態(tài)是將這個(gè)系統(tǒng)開(kāi)源并設(shè)計(jì)一個(gè)貢獻(xiàn)機(jī)制讓廣大考研學(xué)子可以共同維護(hù)和豐富這個(gè)408知識(shí)庫(kù)使其成為一個(gè)持續(xù)更新的、活的社區(qū)知識(shí)資產(chǎn)。技術(shù)永遠(yuǎn)是為需求服務(wù)的。這個(gè)項(xiàng)目的起點(diǎn)是一個(gè)具體的學(xué)業(yè)痛點(diǎn)而RAG技術(shù)提供了恰到好處的解決方案。對(duì)于想要入門AI應(yīng)用開(kāi)發(fā)的朋友我強(qiáng)烈建議從這樣一個(gè)有明確邊界、有真實(shí)數(shù)據(jù)、有檢驗(yàn)標(biāo)準(zhǔn)的垂直場(chǎng)景項(xiàng)目開(kāi)始。你會(huì)遇到無(wú)數(shù)細(xì)節(jié)上的挑戰(zhàn)但每解決一個(gè)你對(duì)整個(gè)技術(shù)棧的理解就會(huì)加深一層。這個(gè)過(guò)程遠(yuǎn)比單純調(diào)參跑分要有趣和充實(shí)得多。本文還有配套的精品資源點(diǎn)擊獲取