之前在給一家企業(yè)做內(nèi)部知識庫時最頭疼的問題不是文檔存儲而是“用戶問一句自然語言系統(tǒng)能不能找到真正相關的文檔”。最初用 MySQL 的 LIKE 模糊匹配只能命中關鍵詞用戶問“差旅報銷怎么走流程”而文檔里寫的是“申請差旅費用需要提交審批單”這種語義上的差異直接導致檢索結(jié)果為空。后來把方案改成 Milvus 向量數(shù)據(jù)庫 RAG 檢索增強生成才真正把問題解決。這篇文章會圍繞 Milvus 2.6 和 RAG 展開從“向量數(shù)據(jù)庫到底是什么”講起再到 Docker Compose 部署 Milvus Standalone、Python 客戶端接入、文檔切塊、Embedding 寫入、相似度檢索、LLM 回答的完整鏈路。適合剛接觸 RAG 的開發(fā)者也適合準備在企業(yè)項目里落地向量檢索的同學。讀完你不僅能搭出一套可演示的知識庫問答系統(tǒng)還能理解每一步背后的設計原因以及后續(xù)上生產(chǎn)時要注意的坑。1. 背景與核心概念1.1 什么是向量數(shù)據(jù)庫先做一個通俗類比。傳統(tǒng)關系型數(shù)據(jù)庫存的是行和列里面是字符串、數(shù)字、日期這類結(jié)構(gòu)化數(shù)據(jù)查詢方式以精確匹配和范圍過濾為主。向量數(shù)據(jù)庫則多了一種核心能力它可以存儲“向量”也就是一串浮點數(shù)例如[0.121, -0.051, 0.882, ...]并且能根據(jù)向量之間的“距離”快速找到最相近的向量。這串浮點數(shù)從哪里來它來自 Embedding 模型。我們可以把一段文字、一張圖片甚至一段音視頻都交給 Embedding 模型處理模型會輸出一個固定維度的向量。這個向量在向量空間中代表了原文的語義位置。語義相近的文本其向量距離更近語義無關的文本其向量距離更遠。向量數(shù)據(jù)庫就是專門為這種“語義相似度檢索”設計的存儲和計算引擎。在企業(yè)場景中向量數(shù)據(jù)庫通常被用于推薦系統(tǒng)、相似圖片檢索、去重、多模態(tài)搜索以及目前最熱門的 RAG 知識庫問答。它解決的核心問題是在海量非結(jié)構(gòu)化數(shù)據(jù)中通過語義而不是關鍵詞完成近似度搜索。1.2 什么是 RAGRAG 的全稱是 Retrieval-Augmented Generation檢索增強生成。它的思路很簡單大模型在回答用戶問題之前先從外部知識庫中檢索出相關資料把資料拼接到 Prompt 中再讓大模型依據(jù)這些資料生成答案。之所以需要 RAG是因為大模型存在三個天然問題。第一是知識時效性差模型訓練完成之后訓練數(shù)據(jù)以外的知識它并不知道第二是私有數(shù)據(jù)不可見企業(yè)內(nèi)部文檔、客服記錄、項目手冊不會出現(xiàn)在模型訓練集中第三是幻覺問題面對不確定的內(nèi)容大模型可能會一本正經(jīng)地“編造”答案。RAG 通過實時檢索外部知識把回答限定在檢索到的資料范圍內(nèi)既能補充實時知識又能顯著降低幻覺概率。RAG 的典型流程可以分為離線索引和在線查詢兩個階段。離線階段把文檔切塊、向量化、寫入向量數(shù)據(jù)庫在線階段把用戶問題向量化在向量數(shù)據(jù)庫中檢索 TopK 相關片段組裝成 Prompt 后交給大模型生成回答。1.3 為什么選擇 Milvus 2.6市面上的向量數(shù)據(jù)庫并不少有開源的 Chroma、Qdrant、Weaviate也有 Elasticsearch 自帶的向量檢索能力。但從生產(chǎn)落地和項目規(guī)模來看Milvus 是國內(nèi)開發(fā)者和企業(yè)中使用非常廣泛的開源向量數(shù)據(jù)庫之一。Milvus 2.6 的定位是高可用、可擴展的云原生向量數(shù)據(jù)庫。它的核心優(yōu)勢可以歸納為幾點。第一是索引類型豐富支持 FLAT、IVF、HNSW、DISKANN 等標準向量索引也支持稀疏向量和混合檢索第二是存儲與計算分離的架構(gòu)設計適合數(shù)據(jù)量從千萬級到億級以上的場景第三是 SDK 完善官方提供 Python、Java、Go、C# 等語言的客戶端第四是周邊生態(tài)成熟Dify、LangChain、LlamaIndex、Haystack 等框架內(nèi)都提供了 Milvus 的集成組件。Milvus 2.6 具體到版本層面在稀疏向量、多向量檢索、GPU 索引等能力上做了持續(xù)增強。如果你的項目還停留在概念驗證階段用 Milvus 2.6 起步后續(xù)平滑升級到集群模式也相對容易。1.4 RAG 與向量數(shù)據(jù)庫的關系需要強調(diào)一點RAG 并不必然需要向量數(shù)據(jù)庫。你完全可以用 Elasticsearch 的 BM25 關鍵詞檢索來做召回也可以直接用關系型數(shù)據(jù)庫存向量然后暴力掃描或者用 Faiss 這類向量檢索庫。但實際工程中向量數(shù)據(jù)庫承擔的不只是“存向量”還包括索引加速、標量過濾、數(shù)據(jù)生命周期管理、高可用和擴展能力。在 RAG 鏈路中向量數(shù)據(jù)庫負責的是“召回”這一步。召回質(zhì)量直接決定最終回答質(zhì)量。如果向量數(shù)據(jù)庫檢索不到相關片段大模型再強也無濟于事。這也是為什么很多人說RAG 的上限由大模型決定下限卻由檢索質(zhì)量決定。2. 環(huán)境準備與版本說明2.1 技術棧選型在動手之前先確定整個示例的技術棧。本文以 Milvus 2.6 作為向量數(shù)據(jù)庫使用 Docker Compose 部署 Standalone 單機版本編程語言選擇 Python客戶端使用 pymilvusEmbedding 模型選擇開源的BAAI/bge-m3這個模型對中文語義理解效果較好輸出 1024 維向量LLM 部分為了不依賴特定云廠商示例使用 Ollama 啟動本地模型如果企業(yè)項目中已經(jīng)使用 OpenAI、通義、DeepSeek 等服務的 OpenAI 兼容接口也可以直接替換。版本這里需要說明Milvus 處于快速迭代期本文使用的鏡像 tag 和 SDK 版本以你實際環(huán)境為準。建議控制在 2.6.x 的同一大版本內(nèi)因為大版本升級往往涉及 API 變化和配置遷移。2.2 部署方式對比Milvus 的部署方式主要有四種適合不同階段。部署方式特點適用場景Milvus Lite進程內(nèi)嵌隨 Python 環(huán)境啟動無需 Docker本地學習、快速原型驗證Standalone 單機一個 Milvus 實例依賴 etcd 和 MinIO中小規(guī)模數(shù)據(jù)、項目測試、單機生產(chǎn)Cluster 集群分架構(gòu)部署支持分布式擴容大規(guī)模數(shù)據(jù)、高并發(fā)生產(chǎn)環(huán)境云托管服務官方托管版免運維預算充足、團隊缺少運維人力對于第一次接觸 Milvus 的同學推薦從 Standalone 開始既能完整體驗真實服務的部署流程又不需要處理復雜的集群調(diào)度問題。2.3 Docker Compose 部署 Milvus Standalone演示環(huán)境以 Linux 或 macOS 為主Windows 也可以使用 Docker Desktop。先確保機器上已經(jīng)安裝 Docker 和 Docker Compose 插件。命令驗證如下。docker --version docker compose version如果命令能正常輸出版本號說明環(huán)境就緒。然后創(chuàng)建一個項目目錄在目錄下新建docker-compose.yml。# docker-compose.yml version: 3.5 services: etcd: container_name: milvus-etcd image: quay.io/coreos/etcd:v3.5.18 environment: - ETCD_AUTO_COMPACTION_MODErevision - ETCD_AUTO_COMPACTION_RETENTION1000 - ETCD_QUOTA_BACKEND_BYTES4294967296 - ETCD_SNAPSHOT_COUNT50000 volumes: - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd command: etcd -advertise-client-urlshttp://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd healthcheck: test: [CMD, etcdctl, endpoint, health] interval: 30s timeout: 20s retries: 3 minio: container_name: milvus-minio image: minio/minio:RELEASE.2023-03-20T20-16-18Z environment: MINIO_ACCESS_KEY: minioadmin MINIO_SECRET_KEY: minioadmin volumes: - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data command: minio server /minio_data --console-address :9001 healthcheck: test: [CMD, curl, -f, http://localhost:9000/minio/health/live] interval: 30s timeout: 20s retries: 3 standalone: container_name: milvus-standalone image: milvusdb/milvus:v2.6.1 command: [milvus, run, standalone] security_opt: - seccomp:unconfined environment: ETCD_ENDPOINTS: etcd:2379 MINIO_ADDRESS: minio:9000 volumes: - ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus healthcheck: test: [CMD, curl, -f, http://localhost:9091/healthz] interval: 30s start_period: 90s timeout: 20s retries: 3 ports: - 19530:19530 - 9091:9091 depends_on: - etcd - minio這個 Compose 文件包含了三個服務etcd 負責存儲 Milvus 的元數(shù)據(jù)MinIO 負責存儲日志和索引文件standalone 是 Milvus 主服務。19530是客戶端連接的 gRPC 端口9091是健康檢查和管理端口。啟動命令如下。docker compose up -d首次啟動需要拉取鏡像具體耗時取決于網(wǎng)絡和 Docker Hub 的訪問情況。啟動后查看容器狀態(tài)。docker compose ps docker logs milvus-standalone -f當看到 Milvus 相關服務啟動完成的日志并且curl http://localhost:9091/healthz返回正常響應說明部署成功。有一點要注意seccomp:unconfined這個配置在部分內(nèi)核版本上是必須的如果啟動失敗提示權限問題可以優(yōu)先檢查這一項。2.4 安裝 Python 依賴Milvus 服務啟動之后需要安裝 Python 客戶端。新建一個 Python 虛擬環(huán)境然后安裝依賴。python3 -m venv venv source venv/bin/activate pip install pymilvus sentence-transformers requests在實際項目中建議把依賴寫入requirements.txt文件方便復現(xiàn)環(huán)境。pymilvus 與 Milvus 服務端有版本匹配關系建議安裝與服務端大版本一致的 SDK例如 Milvus 2.6 對應 pymilvus 2.6 系列。3. Milvus 核心原理與檢索機制3.1 核心概念Collection、Field、Schema在 Milvus 中Collection可以類比關系型數(shù)據(jù)庫中的表Field類比字段Entity類比一行數(shù)據(jù)。每個 Collection 必須有一個主鍵字段此外可以包含標量字段和向量字段。向量字段可以有一個或多個用來承載 Embedding 結(jié)果。創(chuàng)建 Collection 時需要定義 Schema。Schema 需要說明每個字段的名稱、數(shù)據(jù)類型、是否主鍵、向量維度等信息。例如一個典型的 RAG 知識庫集合包含四個字段id主鍵、content文本內(nèi)容、source文檔來源、embedding文本向量。需要區(qū)分的是Milvus 的 Schema 設計是“先定義后使用”的不像傳統(tǒng)數(shù)據(jù)庫可以隨意 ALTER TABLE。雖然 2.6 版本支持部分動態(tài)字段但生產(chǎn)環(huán)境中仍然建議在創(chuàng)建集合前仔細設計字段避免后續(xù)頻繁變更 Schema。3.2 向量索引原理在解釋 Milvus 的檢索機制之前先看一個看似簡單的問題如果數(shù)據(jù)量只有幾千條直接暴力計算所有向量與查詢向量的距離也就是 FLAT 索引完全沒有問題?？僧敂?shù)據(jù)量漲到一億條每次查詢都做全量距離計算延遲和 CPU 開銷都會高到不可接受。因此 Milvus 支持多種 ANN 近似最近鄰索引。IVF系列索引先通過聚類把向量空間劃分為多個桶查詢時只搜索相近的若干個桶犧牲少量精度換速度HNSW則基于多層跳表結(jié)構(gòu)構(gòu)建一張可導航的小世界圖查詢時從高層入口逐層逼近目標節(jié)點召回率高延遲也比較穩(wěn)定是當前最常用的索引類型之一DISKANN適合超大數(shù)據(jù)量可以把索引放到磁盤上減少內(nèi)存占用。HNSW 有四個關鍵參數(shù)值得關注。M控制每個節(jié)點的最大連接數(shù)值越大圖越稠密召回率越高但內(nèi)存和構(gòu)建時間也會增加efConstruction控制建圖時的動態(tài)候選列表大小影響索引構(gòu)建質(zhì)量ef是查詢時的候選列表大小值越大檢索越精確但耗時越高metric_type指定距離計算方式。一般來說M取 16 到 32efConstruction取 200 左右ef取 64 到 128是比較穩(wěn)妥的起步配置。3.3 距離度量類型Milvus 常用的距離度量有三種。L2歐氏距離計算的是兩個向量之間的直線距離值越小越相似IP內(nèi)積通常用于歸一化向量值越大越相似COSINE余弦相似度計算的是向量夾角的余弦值值越大越相似關注“方向”而不是“長度”。對于文本 Embedding推薦使用COSINE。因為很多 Embedding 模型輸出的向量雖然沒有強制歸一化但語義相似度更適合用余弦來衡量。在使用 COSINE 時Milvus 內(nèi)部通常會對向量做歸一化處理查詢效果更穩(wěn)定。如果使用 OpenAI 的text-embedding-ada-002官方也建議使用余弦相似度。3.4 標量過濾與混合檢索真實業(yè)務中單純的向量檢索往往不夠。例如知識庫中既包含技術文檔也包含財務制度用戶可能只想在“財務”分類下檢索。這時就需要在向量檢索之前或同時增加標量過濾條件。Milvus 支持在 search 請求中攜帶filter表達式例如source finance實現(xiàn)向量相似度檢索和標量條件過濾的一體化查詢。這種能力對 RAG 系統(tǒng)很重要它允許我們按權限、按文檔分類、按時間范圍縮小召回范圍避免向大模型喂入大量無關內(nèi)容。4. RAG 知識庫完整實戰(zhàn)4.1 整體流程設計為了讓思路更清晰先把整個 RAG 系統(tǒng)的數(shù)據(jù)流拆開。文檔加載 - 文本切塊 - Embedding 向量化 - 寫入 Milvus Collection ↓ 用戶提問 - 問題 Embedding - Milvus 相似度檢索 - 召回 TopK 片段 ↓ 組裝 Prompt ↓ 大模型生成回答并返回前半部分是離線索引流程后半部分是在線查詢流程。兩個流程共享同一個 Embedding 模型因此模型必須保持一致否則向量空間不同檢索結(jié)果沒有意義。4.2 項目結(jié)構(gòu)規(guī)劃本文用一個最小可運行的項目來演示目錄結(jié)構(gòu)如下。rag-milvus/ ├── docker-compose.yml ├── config.py ├── build_kb.py └── query_kb.pyconfig.py統(tǒng)一管理 Milvus 連接參數(shù)、集合名、Embedding 模型、分塊參數(shù)等build_kb.py負責文檔切塊、向量化并寫入 Milvusquery_kb.py負責接收問題、檢索、組裝 Prompt 并調(diào)用大模型生成回答。4.3 編寫公共配置先創(chuàng)建config.py把整個鏈路中的關鍵參數(shù)集中到一個地方。# config.py MILVUS_HOST 127.0.0.1 MILVUS_PORT 19530 COLLECTION_NAME knowledge_base # Embedding 模型配置 EMBEDDING_MODEL BAAI/bge-m3 EMBEDDING_DIM 1024 # 文檔切塊參數(shù) CHUNK_SIZE 300 CHUNK_OVERLAP 50 # 檢索參數(shù) TOP_K 5 # LLM 服務配置 LLM_BASE_URL http://localhost:11434 LLM_MODEL qwen2.5:7b這里的EMBEDDING_DIM必須和所選 Embedding 模型的輸出維度一致。如果使用其他模型請先確認模型輸出維度例如BAAI/bge-base-zh-v1.5是 768 維text-embedding-ada-002是 1536 維。維度和 Collection 定義不匹配會在插入數(shù)據(jù)時報錯。4.4 文檔切塊與向量化寫入接下來編寫build_kb.py。這一步做的事情包括連接 Milvus、創(chuàng)建 Collection、加載本地文檔、切塊、生成向量、插入數(shù)據(jù)。# build_kb.py from pymilvus import ( connections, utility, CollectionSchema, FieldSchema, DataType, Collection ) from sentence_transformers import SentenceTransformer from config import ( MILVUS_HOST, MILVUS_PORT, COLLECTION_NAME, EMBEDDING_MODEL, EMBEDDING_DIM, CHUNK_SIZE, CHUNK_OVERLAP ) # 1. 連接 Milvus connections.connect(hostMILVUS_HOST, portMILVUS_PORT) # 2. 文本切塊 def chunks_from_text(text, sizeCHUNK_SIZE, overlapCHUNK_OVERLAP): chunks [] step size - overlap start 0 while start len(text): piece text[start: start size] if piece: chunks.append(piece) start step if len(piece) size: break return chunks # 3. 創(chuàng)建 Collection def create_collection(): if utility.has_collection(COLLECTION_NAME): existing Collection(COLLECTION_NAME) print(f集合 {COLLECTION_NAME} 已存在) return existing fields [ FieldSchema(nameid, dtypeDataType.INT64, is_primaryTrue, auto_idTrue), FieldSchema(namecontent, dtypeDataType.VARCHAR, max_length2048), FieldSchema(namesource, dtypeDataType.VARCHAR, max_length512), FieldSchema(nameembedding, dtypeDataType.FLOAT_VECTOR, dimEMBEDDING_DIM), ] schema CollectionSchema(fields, descriptionRAG knowledge base with Milvus 2.6) collection Collection(nameCOLLECTION_NAME, schemaschema) index_params { metric_type: COSINE, index_type: HNSW, params: {M: 16, efConstruction: 200} } collection.create_index(field_nameembedding, index_paramsindex_params) print(f集合 {COLLECTION_NAME} 創(chuàng)建完成) return collection # 4. 入口函數(shù) def build(): model SentenceTransformer(EMBEDDING_MODEL) collection create_collection() # 實際項目中將這個列表替換為文檔讀取邏輯 documents [ { source: internal_manual.txt, text: 差旅費用報銷流程如下第一步提交申請第二步填寫明細 第三步等待審批財務在五個工作日內(nèi)完成打款。如果需要加急 請?zhí)崆奥?lián)系財務部門并說明原因。 }, { source: faq.txt, text: 發(fā)票丟失時可以在系統(tǒng)中申請電子發(fā)票復印件經(jīng)項目經(jīng)理確認后 財務按原件流程處理。補交申請需要在報銷截止日前完成。 } ] rows [] for doc in documents: chunks chunks_from_text(doc[text]) if not chunks: continue vectors model.encode(chunks).tolist() for chunk, vec in zip(chunks, vectors): rows.append({ content: chunk, source: doc[source], embedding: vec }) collection.insert(rows) collection.flush() collection.load() print(f已寫入 {len(rows)} 個向量片段) if __name__ __main__: build()這段代碼有幾個細節(jié)值得說明。chunks_from_text函數(shù)采用固定字符長度切塊并允許相鄰片段之間存在重疊目的是減少句子被從中間截斷帶來的語義損失。create_collection中通過utility.has_collection判斷集合是否已存在避免重復創(chuàng)建報錯。embedding字段的維度必須與模型輸出維度一致。最后插入數(shù)據(jù)后調(diào)用flush強制落盤load將數(shù)據(jù)加載到內(nèi)存這樣后續(xù)查詢才能命中索引。執(zhí)行導庫腳本。python build_kb.py如果一切正常會輸出類似下面的結(jié)果。集合 knowledge_base 創(chuàng)建完成 已寫入 2 個向量片段由于示例文檔較短寫入片段較少。真實項目中文檔數(shù)量可能是幾千甚至上百萬這時需要批量插入并考慮分批提交。4.5 檢索與問答再創(chuàng)建query_kb.py實現(xiàn)用戶問題檢索和回答生成。# query_kb.py from pymilvus import connections, Collection from sentence_transformers import SentenceTransformer import requests from config import ( MILVUS_HOST, MILVUS_PORT, COLLECTION_NAME, EMBEDDING_MODEL, TOP_K, LLM_BASE_URL, LLM_MODEL ) connections.connect(hostMILVUS_HOST, portMILVUS_PORT) model SentenceTransformer(EMBEDDING_MODEL) def call_llm(messages): # 以 Ollama 為例OpenAI 兼容服務可以替換為對應地址 resp requests.post( f{LLM_BASE_URL}/api/chat, json{ model: LLM_MODEL, messages: messages, stream: False }, timeout60 ) resp.raise_for_status() return resp.json()[message][content] def search(query): query_vec model.encode([query]).tolist() collection Collection(COLLECTION_NAME) collection.load() results collection.search( dataquery_vec, anns_fieldembedding, param{metric_type: COSINE, params: {ef: 64}}, limitTOP_K, output_fields[content, source] ) docs [] for hit in results[0]: content hit.entity.get(content) source hit.entity.get(source) docs.append(f[來源:{source}] {content}相似度:{hit.distance:.4f}) return docs def ask(question): docs search(question) context \n.join(docs) messages [ { role: system, content: 你是一個知識庫助理請嚴格基于提供的參考資料回答問題 如果資料中沒有相關內(nèi)容請明確說明不知道不要編造。 }, { role: user, content: f參考資料\n{context}\n\n問題{question} } ] answer call_llm(messages) return answer, docs if __name__ __main__: q 發(fā)票丟失了還能報銷嗎 answer, refs ask(q) print(檢索到的參考資料) for r in refs: print(r) print(\n回答) print(answer)search函數(shù)將用戶問題向量化然后在 Milvus 中執(zhí)行相似度檢索返回前TOP_K個片段。ask函數(shù)把檢索結(jié)果組裝進 Prompt再調(diào)用大模型。這里使用的 Prompt 模板是 RAG 中最基礎的形態(tài)明確要求模型只依據(jù)參考資料回答。在運行前需要確保 Ollama 服務已啟動并且已經(jīng)拉取了配置文件中指定的模型。ollama pull qwen2.5:7b ollama serve然后運行問答腳本。python query_kb.py預期輸出大致如下。大模型的具體表述每次可能不同但關鍵信息應該來自檢索到的資料。檢索到的參考資料 [來源:faq.txt] 發(fā)票丟失時可以在系統(tǒng)中申請電子發(fā)票復印件經(jīng)項目經(jīng)理確認后財務按原件流程處理。補交申請需要在報銷截止日前完成。相似度:0.xxxx 回答 可以報銷。發(fā)票丟失后您可以在系統(tǒng)中申請電子發(fā)票復印件經(jīng)過項目經(jīng)理確認后財務會按原件流程處理但需要注意補交申請應在報銷截止日前完成。到這里一個最小可用的 RAG 知識庫問答系統(tǒng)已經(jīng)跑通了。接下來我們看看這個鏈路中經(jīng)常出現(xiàn)的問題以及對應的排查方法。5. 常見問題與排查思路問題現(xiàn)象常見原因解決思路docker compose up -d啟動后服務不斷重啟鏡像 tag 不存在或 Docker 配置不支持查看docker logs確認鏡像版本和security_opt配置Python 連接 Milvus 提示 19530 端口拒絕連接Milvus Standalone 未啟動或端口映射錯誤使用docker compose ps查看容器狀態(tài)確認防火墻放行端口插入數(shù)據(jù)時報維度錯誤Collection 的向量維度與 Embedding 模型輸出維度不一致查詢模型輸出維度重新創(chuàng)建 Collection或者更換模型檢索結(jié)果為空數(shù)據(jù)未 load或查詢向量與集合向量不在同一語義空間調(diào)用collection.load()并確認使用同一個 Embedding 模型大模型回答與檢索資料無關Prompt 中檢索上下文拼接錯誤檢查output_fields是否提取到content并觀察檢索到的文本內(nèi)容Ollama 請求超時模型未啟動或機器性能不足先運行ollama list確認模型換更小的模型測試查詢延遲越來越高未建索引或索引類型不合適數(shù)據(jù)量增大檢查describe_index必要時重建 HNSW 索引這里重點說一下“檢索結(jié)果為空”的排查。遇到這類問題不要急著調(diào)大模型 Prompt先單獨跑一遍search函數(shù)打印檢索到的片段。如果 Milvus 返回結(jié)果為空最常見的原因有兩個一是集合創(chuàng)建后插入數(shù)據(jù)但沒有調(diào)用load二是查詢時用了不同的 Embedding 模型導致查詢向量和庫里向量完全不在一個語義空間。另一個高頻問題是 Docker 啟動失敗。很多初學者看到milvus-standalone容器反復重啟就束手無策。排查順序應該是先用docker logs milvus-standalone查看主服務日志再檢查 etcd 和 MinIO 的健康狀態(tài)最后確認宿主機端口是否被占用。Milvus 依賴 etcd 的元數(shù)據(jù)和 MinIO 的存儲如果這兩個組件不健康主服務必然無法正常工作。6. RAG 與 Milvus 工程化最佳實踐6.1 文檔切塊策略切塊是 RAG 系統(tǒng)中影響檢索質(zhì)量最重要的因素之一但它又容易被忽略。切塊太小單個片段信息量不足容易召回語義不完整的碎片切塊太大片段中混入大量無關內(nèi)容向量被平均后可能偏離核心主題而且大塊文本會占用更多 Prompt token。一個比較實用的策略是“結(jié)構(gòu)化小塊 重疊窗口”。如果文檔有清晰的標題和段落結(jié)構(gòu)可以盡量按標題層級切塊保證每個 chunk 在語義上自洽。如果沒有結(jié)構(gòu)可以使用固定字符切塊并讓相鄰 chunk 重疊 10% 到 20%。例如CHUNK_SIZE300CHUNK_OVERLAP50這樣句子不容易被硬生生截斷。更復雜的項目還可以考慮先切句子再把相鄰句子按 token 上限合并或者引入語義切塊模型。切塊上線后務必人工抽檢幾個典型問題的召回結(jié)果根據(jù)實際效果調(diào)整參數(shù)。6.2 Embedding 模型選擇與向量維度中文場景下目前開源社區(qū)使用較多的有 BGE 系列、M3E 系列以及近年出現(xiàn)的BAAI/bge-m3。這類模型對中文語義理解比較友好模型體積也能接受。如果業(yè)務數(shù)據(jù)以英文為主OpenAI 的 embedding 系列或 SentenceTransformers 下的英文模型都是可選方案。選擇 Embedding 模型時不能只看效果還要關注向量維度。維度越高單個向量占用的存儲越大檢索計算量也越大。比如