FP8、NVFP4還是INT8怎么選Model Optimizer量化格式完整選擇指南【免費下載鏈接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.項目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer使用Model OptimizerModelOpt對大模型做量化壓縮時FP8、NVFP4、INT8 三種量化格式該如何選這篇指南用一張決策流程帶你快速搞清楚先看顯卡、再看部署場景、最后看精度容忍度三步就能定下最適合的量化格式把模型壓縮 2-4 倍的同時守住精度底線。 先說結(jié)論有 Hopper 及以上顯卡優(yōu)先 FP8Blackwell 顯卡追求極致壓縮上 NVFP4老顯卡Ampere 及更早或要兼容更多部署框架用 INT8。上圖Model Optimizer 的 AutoQuantize 自動混精策略在 Qwen3.5 上把有效 bit 壓到約 5-6 位MMLU 分數(shù)仍逼近 BF16 參考線——說明單一格式往往不是最優(yōu)解。三種量化格式一張表看懂維度FP8NVFP4INT8 (SmoothQuant)位寬8-bit權(quán)重激活W8A84-bit權(quán)重激活W4A4block-16 分塊8-bit權(quán)重按通道、激活按張量壓縮比約 50%2倍約 25%4倍約 50%2倍精度損失? 極低??? 相對最大需搭配校準?? 中等硬件要求Ada / Hopper 及以上Blackwell 及以上Ampere 及更早也可用校準時間幾分鐘幾分鐘至幾十分鐘幾分鐘典型部署TensorRT / TensorRT-LLM / vLLMTensorRT / TensorRT-LLM最廣泛老卡通用三個格式的核心源碼都位于 modelopt/torch/quantization/內(nèi)置的數(shù)值格式定義見 modelopt_recipes/configs/numerics/ 下的fp8與nvfp4配置片段。第一步先看你的顯卡這是最硬性的約束決定能不能用Ada / HopperRTX 40 系、L40、H100 等FP8、INT8、W4A8 全都能打BlackwellB100、B200、RTX 50 系全都能打且NVFP4 只有在這里才真正發(fā)揮低精度 Tensor Core 的算力優(yōu)勢??Ampere 及更早A100、RTX 30 系沒有 FP8/NVFP4 內(nèi)核老老實實用INT8SmoothQuant或 INT4 權(quán)重量化AWQ完整支持矩陣見 docs/source/guides/0_support_matrix.rst。第二步再看部署場景并發(fā)高低同樣是 FP8不同場景收益差異很大低并發(fā)單卡推理、邊緣側(cè)batch ≤ 4推理是內(nèi)存帶寬瓶頸縮小權(quán)重體積就是加速。此時NVFP4 / INT4 這類更狠的壓縮收益最大高并發(fā)數(shù)據(jù)中心在線服務(wù)batch ≥ 16計算密度同樣重要推薦權(quán)重激活都量化的 W8A8FP8或 W4A4NVFP4讓低精度 GEMM 真正吃到 Tensor Core 紅利第三步看精度容忍度按推薦順序試官方最佳實踐給出了清晰的降級順序見 docs/source/guides/_choosing_quant_methods.rst先上 FP8—— 動態(tài)范圍寬精度損失通常幾乎可忽略是性價比之王FP8 不滿足吞吐要求 → 試NVFP4但別一上來就全模型 W4A4老顯卡 →INT8 SmoothQuant或 INT4 AWQ NVFP4 的官方建議是從最保守的作用域開始MoE 模型先用nvfp4_experts_only只量化專家層稠密模型先用nvfp4_mlp_only只量化 MLP確認精度 OK 再逐步擴大到全模型。不止選一個混合精度才是進階玩法實戰(zhàn)中FP8 NVFP4 混著用往往比單格式更優(yōu)。Model Optimizer 內(nèi)置了 29 個通用 PTQ 配方全部在 modelopt_recipes/general/ptq/ 下例如fp8_default-kv_fp8_cast全模型 FP8 W8A8 FP8 KV 緩存nvfp4_experts_only-kv_fp8_cast專家層 NVFP4 W4A4 FP8 KV 緩存MoE 模型首選int4_blockwise_weight_onlyINT4 權(quán)重量化零風險保底選項完整的配方目錄與選擇建議見 modelopt_recipes/ptq.md每個配方就是一份聲明式 YAML改配置不改代碼。上圖W4A4 NVFP4 直接 PTQ 會在部分基準掉點虛線起點用 QAD量化感知蒸餾訓練 500 步后MMLU-Pro 等 6 個基準的精度幾乎全部追回。量化后掉精度兩條后手換校準算法默認max校準不行時試試mse變體或 GPTQ配方里已內(nèi)置如nvfp4_mlp_only_mse-kv_fp8_cast上 QAD量化感知蒸餾在低精度格式下繼續(xù)邊訓邊量化Model Optimizer 提供了從 PTQ 到 QAD 的完整工作流參考 examples/megatron_bridge/tutorials/Qwen3.6-35B-A3B/ 教程上手只要三步以最常用的 examples/hf_ptq/hf_ptq.py 為例選定配方后一條命令完成量化 導(dǎo)出python examples/hf_ptq/hf_ptq.py \ --model Qwen/Qwen3-8B \ --recipe general/ptq/fp8_default-kv_fp8_cast \ --export_path build/fp8導(dǎo)出的統(tǒng)一 Hugging Face 檢查點可直接部署到 TensorRT-LLM、vLLM 或 SGLang。更細節(jié)的 API 用法見 PTQ 示例文檔和量化指南。不止 LLM擴散模型 FP8 量化幾乎無感Model Optimizer 同樣支持 Stable Diffusion 等擴散模型的量化。下面的圖就是用FP8 量化后的 SDXL直接生成的——對比 FP16 原模型畫質(zhì)肉眼難辨差異而顯存和生成速度卻實實在在優(yōu)化了。示例代碼在 examples/diffusers/quantization/?？焖贈Q策清單?30 秒自查顯卡是 Blackwell→ 追求極致選NVFP4從experts_only/mlp_only作用域起步顯卡是 Ada/Hopper→ 默認FP8最穩(wěn)老顯卡 / 兼容性優(yōu)先→INT8 SmoothQuant只要省顯存、不在乎延遲→ 權(quán)重量化*_weight_only配方精度掉得多了→ 先換mse校準再考慮 QAD你的情況推薦配方通用默認FP8general/ptq/fp8_default-kv_fp8_castMoE 模型激進壓縮general/ptq/nvfp4_experts_only-kv_fp8_cast稠密模型激進壓縮general/ptq/nvfp4_mlp_only-kv_fp8_cast老顯卡保底general/ptq/int4_blockwise_weight_only一句話總結(jié)FP8 求穩(wěn)、NVFP4 求快、INT8 求兼容拿不準就從 FP8 開始用內(nèi)置配方小步試錯?！久赓M下載鏈接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.項目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 FP8、NVFP4還是INT8怎么選？Model Optimizer量化格式完整選擇指南
FP8、NVFP4還是INT8怎么選Model Optimizer量化格式完整選擇指南【免費下載鏈接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.項目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer使用Model OptimizerModelOpt對大模型做量化壓縮時FP8、NVFP4、INT8 三種量化格式該如何選這篇指南用一張決策流程帶你快速搞清楚先看顯卡、再看部署場景、最后看精度容忍度三步就能定下最適合的量化格式把模型壓縮 2-4 倍的同時守住精度底線。 先說結(jié)論有 Hopper 及以上顯卡優(yōu)先 FP8Blackwell 顯卡追求極致壓縮上 NVFP4老顯卡Ampere 及更早或要兼容更多部署框架用 INT8。上圖Model Optimizer 的 AutoQuantize 自動混精策略在 Qwen3.5 上把有效 bit 壓到約 5-6 位MMLU 分數(shù)仍逼近 BF16 參考線——說明單一格式往往不是最優(yōu)解。三種量化格式一張表看懂維度FP8NVFP4INT8 (SmoothQuant)位寬8-bit權(quán)重激活W8A84-bit權(quán)重激活W4A4block-16 分塊8-bit權(quán)重按通道、激活按張量壓縮比約 50%2倍約 25%4倍約 50%2倍精度損失? 極低??? 相對最大需搭配校準?? 中等硬件要求Ada / Hopper 及以上Blackwell 及以上Ampere 及更早也可用校準時間幾分鐘幾分鐘至幾十分鐘幾分鐘典型部署TensorRT / TensorRT-LLM / vLLMTensorRT / TensorRT-LLM最廣泛老卡通用三個格式的核心源碼都位于 modelopt/torch/quantization/內(nèi)置的數(shù)值格式定義見 modelopt_recipes/configs/numerics/ 下的fp8與nvfp4配置片段。第一步先看你的顯卡這是最硬性的約束決定能不能用Ada / HopperRTX 40 系、L40、H100 等FP8、INT8、W4A8 全都能打BlackwellB100、B200、RTX 50 系全都能打且NVFP4 只有在這里才真正發(fā)揮低精度 Tensor Core 的算力優(yōu)勢??Ampere 及更早A100、RTX 30 系沒有 FP8/NVFP4 內(nèi)核老老實實用INT8SmoothQuant或 INT4 權(quán)重量化AWQ完整支持矩陣見 docs/source/guides/0_support_matrix.rst。第二步再看部署場景并發(fā)高低同樣是 FP8不同場景收益差異很大低并發(fā)單卡推理、邊緣側(cè)batch ≤ 4推理是內(nèi)存帶寬瓶頸縮小權(quán)重體積就是加速。此時NVFP4 / INT4 這類更狠的壓縮收益最大高并發(fā)數(shù)據(jù)中心在線服務(wù)batch ≥ 16計算密度同樣重要推薦權(quán)重激活都量化的 W8A8FP8或 W4A4NVFP4讓低精度 GEMM 真正吃到 Tensor Core 紅利第三步看精度容忍度按推薦順序試官方最佳實踐給出了清晰的降級順序見 docs/source/guides/_choosing_quant_methods.rst先上 FP8—— 動態(tài)范圍寬精度損失通常幾乎可忽略是性價比之王FP8 不滿足吞吐要求 → 試NVFP4但別一上來就全模型 W4A4老顯卡 →INT8 SmoothQuant或 INT4 AWQ NVFP4 的官方建議是從最保守的作用域開始MoE 模型先用nvfp4_experts_only只量化專家層稠密模型先用nvfp4_mlp_only只量化 MLP確認精度 OK 再逐步擴大到全模型。不止選一個混合精度才是進階玩法實戰(zhàn)中FP8 NVFP4 混著用往往比單格式更優(yōu)。Model Optimizer 內(nèi)置了 29 個通用 PTQ 配方全部在 modelopt_recipes/general/ptq/ 下例如fp8_default-kv_fp8_cast全模型 FP8 W8A8 FP8 KV 緩存nvfp4_experts_only-kv_fp8_cast專家層 NVFP4 W4A4 FP8 KV 緩存MoE 模型首選int4_blockwise_weight_onlyINT4 權(quán)重量化零風險保底選項完整的配方目錄與選擇建議見 modelopt_recipes/ptq.md每個配方就是一份聲明式 YAML改配置不改代碼。上圖W4A4 NVFP4 直接 PTQ 會在部分基準掉點虛線起點用 QAD量化感知蒸餾訓練 500 步后MMLU-Pro 等 6 個基準的精度幾乎全部追回。量化后掉精度兩條后手換校準算法默認max校準不行時試試mse變體或 GPTQ配方里已內(nèi)置如nvfp4_mlp_only_mse-kv_fp8_cast上 QAD量化感知蒸餾在低精度格式下繼續(xù)邊訓邊量化Model Optimizer 提供了從 PTQ 到 QAD 的完整工作流參考 examples/megatron_bridge/tutorials/Qwen3.6-35B-A3B/ 教程上手只要三步以最常用的 examples/hf_ptq/hf_ptq.py 為例選定配方后一條命令完成量化 導(dǎo)出python examples/hf_ptq/hf_ptq.py \ --model Qwen/Qwen3-8B \ --recipe general/ptq/fp8_default-kv_fp8_cast \ --export_path build/fp8導(dǎo)出的統(tǒng)一 Hugging Face 檢查點可直接部署到 TensorRT-LLM、vLLM 或 SGLang。更細節(jié)的 API 用法見 PTQ 示例文檔和量化指南。不止 LLM擴散模型 FP8 量化幾乎無感Model Optimizer 同樣支持 Stable Diffusion 等擴散模型的量化。下面的圖就是用FP8 量化后的 SDXL直接生成的——對比 FP16 原模型畫質(zhì)肉眼難辨差異而顯存和生成速度卻實實在在優(yōu)化了。示例代碼在 examples/diffusers/quantization/?？焖贈Q策清單?30 秒自查顯卡是 Blackwell→ 追求極致選NVFP4從experts_only/mlp_only作用域起步顯卡是 Ada/Hopper→ 默認FP8最穩(wěn)老顯卡 / 兼容性優(yōu)先→INT8 SmoothQuant只要省顯存、不在乎延遲→ 權(quán)重量化*_weight_only配方精度掉得多了→ 先換mse校準再考慮 QAD你的情況推薦配方通用默認FP8general/ptq/fp8_default-kv_fp8_castMoE 模型激進壓縮general/ptq/nvfp4_experts_only-kv_fp8_cast稠密模型激進壓縮general/ptq/nvfp4_mlp_only-kv_fp8_cast老顯卡保底general/ptq/int4_blockwise_weight_only一句話總結(jié)FP8 求穩(wěn)、NVFP4 求快、INT8 求兼容拿不準就從 FP8 開始用內(nèi)置配方小步試錯?！久赓M下載鏈接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.項目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考