前言近幾年隨著大模型和 AI 應用的爆發(fā)向量數(shù)據(jù)庫Vector Database這個概念頻繁出現(xiàn)在技術視野中。很多開發(fā)者的第一個疑問就是向量數(shù)據(jù)庫里的數(shù)據(jù)長什么樣能像 MySQL 一樣打開一個圖形化界面看到一行行數(shù)據(jù)嗎本文從零開始徹底講清楚向量數(shù)據(jù)庫的存儲原理、數(shù)據(jù)結構、查詢方式、主流產(chǎn)品以及可視化工具。一、先搞懂什么是向量1.1 向量就是一組數(shù)字在數(shù)學里向量Vector就是一組有序的數(shù)字[0.12, -0.34, 0.56, 0.78, -0.91, ...]這組數(shù)字可以有 128 維、768 維、1536 維甚至更多每一維代表某種特征。1.2 為什么要把數(shù)據(jù)變成向量現(xiàn)實世界中的文本、圖片、音頻等非結構化數(shù)據(jù)計算機無法直接理解和比較。通過 Embedding 模型可以把這些數(shù)據(jù)轉換為高維向量今天天氣真好 → [0.12, -0.34, 0.56, ...] 今天陽光明媚 → [0.13, -0.32, 0.55, ...] 我喜歡吃火鍋 → [-0.87, 0.45, -0.23, ...]語義相近的文本生成的向量在空間中距離更近語義相差大的距離更遠。這就是向量數(shù)據(jù)庫存在的意義——基于語義相似度進行檢索。二、向量數(shù)據(jù)庫 vs 傳統(tǒng)數(shù)據(jù)庫核心區(qū)別2.1 一張對比表說清楚對比維度MySQL關系型數(shù)據(jù)庫向量數(shù)據(jù)庫存儲內容結構化數(shù)據(jù)字符串、數(shù)字、日期高維浮點數(shù)數(shù)組向量查詢方式WHERE name 張三精確匹配“找和這個向量最像的 Top 10”相似度搜索索引原理B 樹、哈希索引ANN 近似最近鄰索引HNSW、IVF 等核心能力精確查詢、范圍查詢、聚合計算相似度計算、最近鄰搜索典型場景用戶管理、訂單系統(tǒng)、ERP以圖搜圖、語義搜索、推薦系統(tǒng)、RAG返回結果完全匹配的行相似度最高的 N 條記錄附帶相似度分數(shù)2.2 一個直觀的例子假設你有一個圖片庫想搜索和這只貓最像的圖片用 MySQL 的做法SELECT*FROMimagesWHEREtag貓ANDcolor橘色;→ 依賴人工打標簽搜的是關鍵詞匹配找不到標簽沒打全的圖。用向量數(shù)據(jù)庫的做法resultsvector_db.search(query_vectorencode(一只橘色的貓),# 把查詢轉成向量top_k10# 返回最相似的 10 張)→ 理解語義/視覺特征即使圖片標簽不全只要視覺特征接近就能找到。三、向量數(shù)據(jù)庫里到底存了什么3.1 一條數(shù)據(jù)長什么樣向量數(shù)據(jù)庫中的一條記錄通常包含{ id: doc_001, // 唯一標識 vector: [0.12, -0.34, 0.56, ...], // 向量核心用于相似度計算 metadata: { // 元數(shù)據(jù)可選用于過濾 source: 技術文檔, category: 數(shù)據(jù)庫, created_at: 2024-01-15, title: MySQL索引原理 }, document: MySQL使用B樹作為索引結構... // 原始文本可選用于返回給用戶 }3.2 用表格思維來理解如果把它翻譯成 MySQL 的表結構大概是這樣的CREATETABLEvectors(idVARCHAR(64)PRIMARYKEY,vectorBLOB,-- 存儲高維向量768維浮點數(shù) 768 × 4字節(jié) ≈ 3KBsourceVARCHAR(255),-- 元數(shù)據(jù)字段categoryVARCHAR(255),created_atDATE,titleVARCHAR(255),documentTEXT-- 原始文本);關鍵區(qū)別vector這個字段存的是一坨浮點數(shù)你直接看是看不懂的它不像name 張三這樣有可讀性。3.3 向量到底有多大一條向量的存儲大小取決于維度768 維 × 4 字節(jié)float32 3,072 字節(jié) ≈ 3 KB / 條 1536 維 × 4 字節(jié) 6,144 字節(jié) ≈ 6 KB / 條一百萬條 768 維的向量僅向量數(shù)據(jù)就需要約3 GB存儲空間不含索引。四、向量數(shù)據(jù)庫是怎么搜索的4.1 暴力搜索精確但慢最樸素的方式把查詢向量和庫里的每一條向量逐一計算距離。查詢向量 Q [0.12, -0.34, ...] │ ┌───────────┼───────────┐ ↓ ↓ ↓ 向量A 向量B 向量C ... 一百萬條全部算一遍 距離0.85 距離0.23 距離0.67 │ 排序取 Top K問題一百萬條數(shù)據(jù)全部算一遍太慢了線上不可接受。4.2 近似最近鄰ANN—— 真正的解決方案向量數(shù)據(jù)庫的精髓在于索引結構用近似算法大幅提升搜索速度犧牲極少量精度換取數(shù)量級的性能提升。主流的 ANN 索引算法HNSWHierarchical Navigable Small World┌─ 最高層稀疏少量節(jié)點─────────────────┐ │ 入口節(jié)點 → 快速定位大致區(qū)域 │ └──────────────┬──────────────────────────────┘ ↓ ┌─ 中間層 ──────────────────────────────────┐ │ 逐步縮小范圍 │ └──────────────┬──────────────────────────────┘ ↓ ┌─ 底層稠密所有節(jié)點─────────────────────┐ │ 精確找到最近的鄰居 │ └───────────────────────────────────────────┘原理類似跳表Skip List從頂層快速定位到底層精確結果搜索時間復雜度O(log N)一百萬條數(shù)據(jù)通常只需比較幾百到幾千條就能找到近似最優(yōu)結果IVFInverted File Index先把所有向量聚類分成 N 個桶比如 1024 個 搜索時 1. 先找到查詢向量最近的幾個桶比如最近的 4 個桶 2. 只在這 4 個桶里做精確搜索 3. 返回 Top K 效果從搜索 100萬 條 → 變成搜索 ~4000 條4.3 搜索過程的完整鏈路用戶輸入: MySQL索引優(yōu)化 │ ↓ Embedding 模型如 OpenAI text-embedding-3-small │ ↓ 查詢向量: [0.023, -0.156, 0.089, ...] 1536 維 │ ↓ 向量數(shù)據(jù)庫使用 HNSW 索引快速搜索 │ ↓ 返回 Top 5 最相似的結果 ┌────┬──────────────────────┬──────────┐ │ #1 │ MySQL B樹索引詳解 │ 相似度 0.92 │ │ #2 │ 數(shù)據(jù)庫查詢性能調優(yōu) │ 相似度 0.88 │ │ #3 │ InnoDB索引結構分析 │ 相似度 0.85 │ │ #4 │ SQL慢查詢優(yōu)化指南 │ 相似度 0.81 │ │ #5 │ PostgreSQL索引對比 │ 相似度 0.78 │ └────┴──────────────────────┴──────────┘五、主流向量數(shù)據(jù)庫產(chǎn)品一覽產(chǎn)品類型特點適合場景Milvus專用向量數(shù)據(jù)庫開源、高性能、分布式、功能完善大規(guī)模生產(chǎn)環(huán)境Qdrant專用向量數(shù)據(jù)庫開源、Rust 實現(xiàn)、支持豐富的過濾條件中小規(guī)模、需要復雜過濾Weaviate專用向量數(shù)據(jù)庫開源、內置 Embedding 模塊、GraphQL API快速上手、語義搜索Pinecone云托管向量數(shù)據(jù)庫全托管、開箱即用、按量付費不想運維、快速上線Chroma輕量級向量數(shù)據(jù)庫超輕量、Python 原生、適合嵌入應用原型開發(fā)、小項目、RAGFAISS向量檢索庫非數(shù)據(jù)庫Meta 開源、純 C/Python 庫、極致性能離線研究、嵌入到應用中pgvectorPostgreSQL 擴展給 PG 加向量能力、SQL 兼容已有 PG 的團隊、數(shù)據(jù)量不大Elasticsearch搜索引擎擴展8.0 支持向量搜索、生態(tài)成熟已有 ES 的團隊、混合檢索六、重點回答能像 MySQL 一樣圖形化查看數(shù)據(jù)嗎答案可以但體驗和 MySQL 不完全一樣6.1 向量數(shù)據(jù)庫的 GUI 工具現(xiàn)狀Milvus —— Attu官方圖形化工具Milvus 官方提供了一個叫Attu的 GUI 管理工具┌─────────────────────────────────────────────────────┐ │ Attu - Milvus 管理界面 │ ├─────────────────────────────────────────────────────┤ │ │ │ 左側 │ │ Collections集合/相當于MySQL的數(shù)據(jù)庫 │ │ ├── my_documents │ │ ├── product_embeddings │ │ └── image_vectors │ │ │ │ 右側選中某個 Collection 后 │ │ ┌─────────────────────────────────────────────┐ │ │ │ Schema表結構 │ │ │ │ ├── id: INT64 (主鍵) │ │ │ │ ├── vector: FLOAT_VECTOR (dim768) │ │ │ │ ├── title: VARCHAR │ │ │ │ ├── category: VARCHAR │ │ │ │ └── created_at: INT64 │ │ │ ├─────────────────────────────────────────────┤ │ │ │ 數(shù)據(jù)預覽Query Tab │ │ │ │ ┌──────┬─────────────┬────────┬──────────┐ │ │ │ │ │ id │ title │ category│ vector │ │ │ │ │ ├──────┼─────────────┼────────┼──────────┤ │ │ │ │ │ 1 │ MySQL索引 │ 數(shù)據(jù)庫 │ [0.12,..│ │ │ │ │ │ 2 │ Python入門 │ 編程 │ [-0.3,. │ │ │ │ │ │ 3 │ K8s部署 │ 運維 │ [0.45,. │ │ │ │ │ └──────┴─────────────┴────────┴──────────┘ │ │ │ └─────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────┘關鍵體驗差異vector列顯示的是一長串數(shù)字不像 MySQL 的字段那樣一目了然。但其他元數(shù)據(jù)字段標題、分類等和 MySQL 一樣正常顯示。Qdrant —— 自帶 Web DashboardQdrant 內置了一個 Web UI默認端口 6333/dashboardhttp://localhost:6333/dashboard 功能 - 查看所有 Collections - 查看 Collection 的 Schema、向量維度、索引配置 - 瀏覽數(shù)據(jù)payload 即元數(shù)據(jù)可讀vector 字段顯示為 [float, float, ...] - 執(zhí)行向量搜索輸入向量或隨機生成查看 Top K 結果 - 查看集群狀態(tài)Weaviate —— 內置 GraphQL Playgroundhttp://localhost:8080/v1/graphql 可通過 GraphQL 查詢 { Get { Article( nearVector: { vector: [0.12, -0.34, ...] } limit: 5 ) { title content _additional { distance } } } }Chroma —— 目前沒有官方 GUIChroma 比較輕量官方?jīng)]有提供圖形界面。但可以通過 Python 代碼查看importchromadb clientchromadb.PersistentClient(path./my_db)collectionclient.get_collection(my_docs)# 查看所有數(shù)據(jù)resultscollection.get()print(f共{len(results[ids])}條數(shù)據(jù))fori,doc_idinenumerate(results[ids]):print(fID:{doc_id})print(f文檔:{results[documents][i][:100]}...)print(f向量維度:{len(results[embeddings][i])})print(f元數(shù)據(jù):{results[metadatas][i]})print(---)pgvector —— 直接用 pgAdmin / DBeaver因為 pgvector 是 PostgreSQL 的擴展所以可以用任何 PostgreSQL 的 GUI 工具查看-- 在 DBeaver / pgAdmin / Navicat 中執(zhí)行SELECTid,title,category,substring(vector::text,1,50)||...asvector_previewFROMdocumentsLIMIT10;結果idtitlecategoryvector_preview1MySQL索引詳解數(shù)據(jù)庫[0.1234,-0.5678,0.9012,…2Python入門教程編程[-0.3456,0.7891,-0.1234,…3Docker部署指南運維[0.4567,-0.2345,0.6789,…這可能是和 MySQL 體驗最接近的方案。6.2 各產(chǎn)品的 GUI 支持情況匯總產(chǎn)品官方 GUI第三方 GUI體驗接近 MySQL 的程度MilvusAttu-★★★★☆Qdrant內置 Dashboard-★★★★☆WeaviateGraphQL Playground-★★★☆☆Pinecone云端控制臺-★★★★☆Chroma無社區(qū)工具有限★★☆☆☆pgvector用 PG 的 GUI 即可DBeaver/Navicat/pgAdmin★★★★★FAISS無純庫-★☆☆☆☆ElasticsearchKibana-★★★★☆6.3 為什么體驗和 MySQL 不完全一樣即使有 GUI 工具你看到的界面和 MySQL 還是有以下不同1. 向量列不可讀MySQL 看到的是 張三 | 28 | 北京市朝陽區(qū) 向量數(shù)據(jù)庫看到的是[0.1234, -0.5678, 0.9012, -0.3456, 0.7890, ... ] 768 個浮點數(shù)肉眼無法獲取任何信息2. 查詢方式不同MySQL SELECT * FROM users WHERE name 張三 精確匹配 向量庫 給我找和 [0.12, -0.34, ...] 最像的 10 條 相似度搜索 或者用元數(shù)據(jù)過濾category 數(shù)據(jù)庫 AND 相似度 0.83. 沒有 SQL大多數(shù)情況大部分向量數(shù)據(jù)庫不使用 SQL而是用自己的 API 或 SDK# Milvus 示例collection.search(vectors[[0.12,-0.34,...]],anns_fieldvector,param{metric_type:COSINE,params:{nprobe:10}},limit10,output_fields[title,category])七、手把手體驗用代碼感受向量數(shù)據(jù)庫7.1 用 Chroma最簡單5 分鐘上手# 安裝: pip install chromadbimportchromadb# 1. 創(chuàng)建數(shù)據(jù)庫數(shù)據(jù)存在本地目錄clientchromadb.PersistentClient(path./my_vectordb)# 2. 創(chuàng)建一個 Collection相當于 MySQL 的表collectionclient.get_or_create_collection(nametech_docs,metadata{hnsw:space:cosine}# 使用余弦相似度)# 3. 插入數(shù)據(jù)collection.add(ids[doc1,doc2,doc3,doc4,doc5],documents[MySQL使用B樹作為索引結構支持范圍查詢和排序,PostgreSQL支持多種索引類型包括GIN、GiST和BRIN,Redis是一個基于內存的鍵值存儲系統(tǒng)常用于緩存,Docker使用容器化技術實現(xiàn)應用的快速部署和隔離,Kubernetes是容器編排平臺管理大規(guī)模容器集群],metadatas[{category:database,level:basic},{category:database,level:advanced},{category:cache,level:basic},{category:devops,level:basic},{category:devops,level:advanced}])# 4. 語義搜索Chroma 會自動用內置 Embedding 模型把文本轉成向量resultscollection.query(query_texts[數(shù)據(jù)庫索引是怎么工作的],n_results3)# 5. 查看結果fori,(doc,dist)inenumerate(zip(results[documents][0],results[distances][0])):print(fTop{i1}:{doc})print(f 距離:{dist:.4f}越小越相似)print()輸出Top 1: MySQL使用B樹作為索引結構支持范圍查詢和排序 距離: 0.1234越小越相似 Top 2: PostgreSQL支持多種索引類型包括GIN、GiST和BRIN 距離: 0.2567越小越相似 Top 3: Redis是一個基于內存的鍵值存儲系統(tǒng)常用于緩存 距離: 0.7891越小越相似看到了嗎查詢的是數(shù)據(jù)庫索引是怎么工作的雖然沒有任何一條數(shù)據(jù)包含這幾個字但向量數(shù)據(jù)庫通過語義理解找到了最相關的結果。7.2 用 Qdrant有 Web 界面可看# 用 Docker 啟動 Qdrantdockerrun-p6333:6333-p6334:6334\-v$(pwd)/qdrant_storage:/qdrant/storage\qdrant/qdrant啟動后訪問http://localhost:6333/dashboard就能看到圖形化界面。# pip install qdrant-clientfromqdrant_clientimportQdrantClientfromqdrant_client.modelsimportVectorParams,Distance,PointStruct# 連接clientQdrantClient(hostlocalhost,port6333)# 創(chuàng)建 Collectionclient.create_collection(collection_nametech_docs,vectors_configVectorParams(size4,distanceDistance.COSINE)# 這里用 4 維方便演示實際常用 768 或 1536 維)# 插入數(shù)據(jù)這里手動給向量實際中由 Embedding 模型生成client.upsert(collection_nametech_docs,points[PointStruct(id1,vector[0.9,0.1,0.2,0.3],payload{title:MySQL索引詳解,category:database}),PointStruct(id2,vector[0.85,0.15,0.25,0.28],payload{title:PostgreSQL索引對比,category:database}),PointStruct(id3,vector[0.1,0.9,0.1,0.8],payload{title:Docker容器化實踐,category:devops}),PointStruct(id4,vector[0.12,0.88,0.15,0.75],payload{title:K8s集群部署指南,category:devops}),])# 搜索找和 [0.9, 0.1, 0.2, 0.35] 最相似的 2 條resultsclient.search(collection_nametech_docs,query_vector[0.9,0.1,0.2,0.35],limit2)forrinresults:print(fID:{r.id}, 標題:{r.payload[title]}, 相似度:{r.score:.4f})# 輸出# ID: 1, 標題: MySQL索引詳解, 相似度: 0.9998# ID: 2, 標題: PostgreSQL索引對比, 相似度: 0.9979然后在 Qdrant Dashboard 中可以? 看到 collection 列表 ? 看到每條數(shù)據(jù)的 payload元數(shù)據(jù)可讀 ? 看到向量維度和配置 ? 執(zhí)行向量搜索并查看結果 ? 查看集群狀態(tài)和性能指標八、實際項目中的典型使用場景8.1 RAG檢索增強生成這是當前最火的應用場景用戶提問: 公司的年假政策是什么 │ ↓ Embedding 模型把問題轉成向量 │ ↓ 向量數(shù)據(jù)庫搜索找到最相關的內部文檔片段 │ ↓ Top 3 結果 1. 員工入職滿一年享有5天年假... 相似度 0.94 2. 年假可以分次使用但... 相似度 0.89 3. 未休年假按日工資300%補償... 相似度 0.85 │ ↓ 把這些文檔片段 用戶問題 一起發(fā)給大模型 │ ↓ 大模型生成回答根據(jù)公司政策入職滿一年享有5天年假...8.2 以圖搜圖上傳一張鞋子照片 → 轉成圖像向量 → 在向量數(shù)據(jù)庫中搜索 → 找到最相似的商品8.3 語義搜索搜索: 如何處理高并發(fā) ↓ 返回: 1. Redis緩存雪崩的解決方案 關鍵詞完全不同但語義相關 2. Nginx負載均衡配置指南 3. 數(shù)據(jù)庫連接池優(yōu)化九、常見問題 FAQQ1: 向量數(shù)據(jù)庫能替代 MySQL 嗎不能。它們解決的是完全不同的問題MySQL精確存儲和查詢結構化數(shù)據(jù)向量數(shù)據(jù)庫基于語義相似度檢索非結構化數(shù)據(jù)實際項目中通常兩者配合使用MySQL 存業(yè)務數(shù)據(jù)向量數(shù)據(jù)庫存 Embedding 向量。Q2: 一條數(shù)據(jù)的向量能看懂嗎不能。向量是一組高維浮點數(shù)人眼無法理解每一維代表什么。它更像是數(shù)據(jù)的數(shù)字指紋只有通過數(shù)學計算距離/相似度才能比較。Q3: 我的數(shù)據(jù)量很小幾千條需要用向量數(shù)據(jù)庫嗎可以用FAISS純 Python 庫無需部署服務或Chroma輕量嵌入式甚至直接在 Python 里用 NumPy 做暴力搜索都夠用importnumpyasnp# 1000 條 768 維向量暴力搜索毫秒級完成vectorsnp.random.rand(1000,768).astype(float32)querynp.random.rand(1,768).astype(float32)distancesnp.linalg.norm(vectors-query,axis1)top_knp.argsort(distances)[:10]# 找最近的 10 條Q4: Embedding 模型和向量數(shù)據(jù)庫是什么關系Embedding 模型負責把數(shù)據(jù)翻譯成向量編碼器 向量數(shù)據(jù)庫負責存儲和檢索這些向量倉庫 搜索引擎 關系就像 翻譯官Embedding把各種語言翻譯成統(tǒng)一的數(shù)字語言 圖書館向量數(shù)據(jù)庫按這些數(shù)字的相似度整理書架方便你找書十、總結向量數(shù)據(jù)庫的核心要點可以歸納為以下六點1. 存什么高維浮點數(shù)向量 元數(shù)據(jù)標簽、分類等結構化信息 原始數(shù)據(jù)文本、圖片鏈接等。其中向量是核心元數(shù)據(jù)用于輔助過濾原始數(shù)據(jù)用于最終返回給用戶。2. 怎么查以相似度搜索為主本質就是給一個向量找出庫里和它最接近的 N 條記錄返回的結果會附帶一個相似度分數(shù)。3. 怎么快依靠 ANN近似最近鄰索引算法主流的有 HNSW多層跳表式檢索和 IVF先聚類再搜索用極小的精度損失換取搜索速度的數(shù)量級提升。4. 能看嗎部分產(chǎn)品提供了 GUI 工具例如 Milvus 的 Attu、Qdrant 內置的 Dashboard可以在界面上瀏覽集合、查看元數(shù)據(jù)、執(zhí)行搜索。但向量列本身是一長串浮點數(shù)肉眼無法直接理解能看懂的只有元數(shù)據(jù)字段和原始文本。5. 和 MySQL 的關系互補而非替代。MySQL 負責精確存儲和查詢結構化業(yè)務數(shù)據(jù)向量數(shù)據(jù)庫負責基于語義相似度的檢索。實際項目中兩者通常配合使用。6. 最火的應用場景RAG檢索增強生成、語義搜索、以圖搜圖、推薦系統(tǒng)以及大模型應用中的知識庫問答。向量數(shù)據(jù)庫并不神秘本質上就是一個專門為高維向量設計的檢索引擎。理解了這一點再去學具體的 API 和使用方式就會非常順暢。