AntonRedis 作者開源了 DwarfStar一個(gè)小型原生推理引擎專為 DeepSeek V4 Flash 和 PRO 優(yōu)化支持 Mac Metal、NVIDIA CUDA 和 ROCm 三端。在 MacBook M5 Max 上跑 DeepSeek V4 Flash不需要云 API——這就是 DwarfStar 的承諾。這個(gè)項(xiàng)目解決什么問題DeepSeek V4 系列模型雖然強(qiáng)大但在消費(fèi)級(jí)硬件上運(yùn)行需要大量工程投入。llama.cpp 雖然通用但 DeepSeek V4 的 MoE 架構(gòu)、KV 緩存和激進(jìn)的量化方案有特殊需求——通用推理引擎無(wú)法充分利用這些特性。DwarfStar 是一個(gè)故意狹隘的推理引擎只為 DeepSeek V4 Flash/PRO 和 GLM 5.2 優(yōu)化不追求成為通用的 GGUF 加載器。模型加載、prompt 渲染、工具調(diào)用、KV 狀態(tài)、HTTP 服務(wù)器和 coding agent 是一體化構(gòu)建和測(cè)試的。核心亮點(diǎn)三端原生支持MetalMac、CUDANVIDIA、ROCmAMD Strix Halo覆蓋當(dāng)前所有主流本地 AI 硬件。Anton 自己用的是 MacBook M5 Max但這個(gè)項(xiàng)目從第一天就不是Mac-only。激進(jìn)的 MoE 量化專為 DeepSeek V4 的 routed-expert 設(shè)計(jì) 2bit 非對(duì)稱量化——只對(duì)路由專家量化到 IQ2_XXS共享專家和投影層保持原精度。這種不對(duì)稱設(shè)計(jì)在質(zhì)量和體積間找到了最優(yōu)平衡使得 96GB 的 MacBook 也能運(yùn)行 DeepSeek V4 Flash。SSD 流式加載內(nèi)存不足時(shí)利用本地高速 SSD 進(jìn)行模型流式加載讓 96GB 以下的機(jī)器也能運(yùn)行大模型。這是消費(fèi)級(jí)硬件跑大模型的實(shí)用解法。多機(jī)協(xié)作兩臺(tái) MacBook 通過 RDMA 實(shí)現(xiàn)張量并行支持 4bit DeepSeek Flash 分布式推理流水線并行可串聯(lián)多臺(tái)機(jī)器匯總顯存運(yùn)行更大模型。這不是實(shí)驗(yàn)室 Demo是真實(shí)可用的分布式推理方案。老舊 GPU 翻新8×L40SAda Lovelace 架構(gòu)在 vLLM 上已不被支持但 DwarfStar 的 micro-batching 解碼讓這臺(tái)服務(wù)器跑出 120 t/s 聚合生成速度和 2000 t/s prefill。舊顯卡突然有了新用途。內(nèi)置 coding agent模型加載、prompt 渲染、工具調(diào)用、KV 狀態(tài)、HTTP 服務(wù)器和 coding agent 是一體化構(gòu)建的。不是一個(gè)推理庫(kù)是一個(gè)可以跑 coding agent 的完整服務(wù)。開發(fā)透明項(xiàng)目坦誠(chéng)說明使用了 GPT 5.5/5.6 和 Claude Fable 輔助開發(fā)同時(shí)明確依賴 llama.cpp/GGML 的開路工作?！叭绻悴幌矚g AI 開發(fā)的代碼這個(gè)軟件不適合你”——這種坦誠(chéng)在當(dāng)前 AI 工程圈很罕見?？焖偕鲜? 下載模型96/128GB RAM 機(jī)器imatrix 調(diào)優(yōu)的 q2 量化./download_model.sh q2-imatrix# 或更高內(nèi)存機(jī)器./download_model.sh q4-imatrix# 512GB 機(jī)器跑 PRO./download_model.sh pro-q2-imatrix支持 Metal、CUDA、ROCm 三種后端自動(dòng)檢測(cè)編譯即用。技術(shù)細(xì)節(jié)為什么不做通用 GGUF 加載器Anton 的選擇有深意DeepSeek V4 的 GGUF 包含了特定張量布局、量化混合和可選 MTP 狀態(tài)任意 GGUF 文件不會(huì)滿足引擎的期望。與其做成能跑所有 GGUF 但都不快的通用引擎不如做成只為一個(gè)模型做到極致的專用引擎。2bit 不對(duì)稱量化2bit 量化通常被視為不可用的極限壓縮。但 DwarfStar 的 2bit 只量化路由專家——這些專家是模型中最大的參數(shù)塊也是最容易量化的部分。共享專家、投影和路由邏輯保持原精度保證了質(zhì)量底線。MXFP4 原生支持項(xiàng)目保留了 DeepSeek 發(fā)布的 MXFP4 路由專家權(quán)重不做重新量化。在 Blackwell CUDA 設(shè)備上使用原生 FP4 矩陣指令和 FP4 激活其他 CUDA 設(shè)備使用 Q8 激活。這意味著新硬件不需要降級(jí)舊硬件不會(huì)被排除。我的評(píng)價(jià)DwarfStar 不是又一個(gè)通用 GGUF 推理引擎——它走了一條不同路線為一個(gè)具體模型做到極致而不是為所有模型做到夠用。對(duì) Mac 用戶來說這是目前運(yùn)行 DeepSeek V4 最輕量的本地方案。相比 llama.cppDwarfStar 專門為 MoE 的量化和 KV 緩存做了針對(duì)性優(yōu)化。對(duì)服務(wù)器場(chǎng)景老舊 Ada 架構(gòu) GPU 終于有了利用價(jià)值。不過項(xiàng)目坦誠(chéng)標(biāo)為 betaAPI 仍在快速變化。Anton 自己也說了軟件變化非?？?。如果你正在構(gòu)建本地 DeepSeek 應(yīng)用值得持續(xù)關(guān)注但不建議在生產(chǎn)環(huán)境依賴它。橫向?qū)Ρ确桨竿ㄓ眯訢eepSeek V4 優(yōu)化易用性多 GPU適合誰(shuí)llama.cpp極高中等極高有限所有人vLLM高高中等支持服務(wù)器場(chǎng)景DwarfStar低極高中等支持DeepSeek 用戶Ollama高低極高低快速實(shí)驗(yàn)DwarfStar 在 DeepSeek V4 場(chǎng)景下是最優(yōu)選擇但通用場(chǎng)景仍推薦 llama.cpp。它是一個(gè)專用工具不是萬(wàn)能鑰匙。