DeepSeek-V4-Pro-0813-NVFP4:这是面向特定 NVIDIA 推理栈的 NVFP4 量化模型。资料明确给出 1.65 万亿总参数、490 亿激活参数和 100 万 Token 上下文,也写清只量化 MoE 路由专家线性层;它不是一份可以脱离硬件、框架与验证条件直接套用的性能保证。
先分清它是什么
DeepSeek-V4-Pro-0813-NVFP4 的重点不是换了一个模型名称,而是 NVIDIA 针对推理部署提供了特定量化形态。读者需要同时看模型规模、每次实际激活的参数量、哪些层被量化,以及官方列出的运行组合,不能把“NVFP4”简单理解为所有模块都变成同一种低精度格式。
总参数与激活参数是两个不同口径。MoE 模型可以拥有很大的专家参数池,但路由只选择其中一部分专家;因此 1.65 万亿描述总体容量,490 亿是模型卡给出的激活参数口径,不能改写成每个完整请求始终固定计算同一批 490 亿参数。100 万 Token 是上下文容量说明,也不等于任意长度任务都能保持相同速度、成本和回答质量。
来源明确确认的六件事
- DeepSeek-V4-Pro-0813-NVFP4 的模型卡标注总参数为 1.65 万亿、激活参数口径为 490 亿。
- DeepSeek-V4-Pro-0813-NVFP4 支持最长 100 万 Token 上下文。
- NVIDIA 仅把 MoE Transformer 块内线性算子的权重和激活量化为 NVFP4。
- DeepSeek-V4-Pro-0813-NVFP4 的 DSpark speculative-decoding 头保持未量化且未修改。
- NVIDIA 列出的推理组合是 SGLang 与 NVIDIA Blackwell B200。
- 该版本的 release validation 没有覆盖 speculative decoding。
选择性 NVFP4 量化怎样工作
这份模型卡描述的是选择性量化:路由先决定当前 Token 使用哪些专家,承担主要专家计算的线性层再使用 NVFP4 权重和激活。这样解释了为什么“MoE 路由专家线性层”是量化范围的核心,也解释了为什么不能据模型名称推断整套网络已经全部量化。
DSpark 头保持未量化,是这条处理链中的明确例外。对部署者来说,加载、显存估算和算子兼容检查都应按混合精度形态处理;如果推理框架只支持一种统一精度,不能假定它会自动得到与模型卡相同的行为。
SGLang 与 B200 是 NVIDIA 明示的运行组合。它们说明该工件有具体的软件和硬件落点,但不证明其他 GPU、驱动、量化内核或服务框架已经通过同等验证。迁移到别的环境时,至少要重新检查能否加载、长上下文内存占用、吞吐和输出偏差。
- 输入 Token 进入 MoE 路由,路由只选择本次需要激活的专家。
- 被选中的路由专家线性层使用 NVFP4 权重和激活完成主要计算。
- DSpark 头保持未量化,随后由 SGLang 在 B200 组合中完成输出。
这些参数对部署判断意味着什么
如果目标是在 B200 上用 SGLang 部署,模型卡给出了比普通“支持 NVFP4”更具体的起点:可以围绕官方组合准备环境,再用自己的提示词、长短输入和并发模式做基准。真正需要比较的是同一任务下的资源占用、延迟、吞吐与答案偏差,而不是只比较参数总量。
100 万 Token 上下文适合被当作容量上限信息,而不是质量承诺。长文档任务还会受到输入整理、检索策略、缓存、并发和硬件预算影响。实际项目应从常用长度开始逐级增加,记录失败点,并为超长输入准备拆分或检索回退方案。
已经知道的边界和仍待验证项
第一条边界来自量化范围:DSpark 头没有量化,不能把这个仓库描述成“全模型 NVFP4”。第二条边界来自运行环境:页面列出 SGLang 与 B200,并未替其他组合做兼容保证。第三条边界来自验证范围:本版本 release validation 没有覆盖 speculative decoding。
模型卡给出的参数口径可以核对,但不能单独回答业务准确率、中文长文稳定性、并发成本或安全策略是否满足某个团队。上述结论都需要在目标硬件、固定版本和真实数据上重测,并保存可复现的配置。
- DeepSeek-V4-Pro-0813-NVFP4 的 DSpark speculative-decoding 头保持未量化且未修改。
- 官方列出的运行组合是 SGLang 与 B200,其他环境仍要独立验证。
- 该版本的 release validation 没有覆盖 speculative decoding,不能把它当成本次已经验证的能力。
建议怎样验证再决定是否采用
先锁定仓库修订、SGLang 版本、CUDA 与驱动,再确认 B200 节点能完整加载。随后用短问答、长文档和接近 100 万 Token 的压力输入分组测试,分别记录首次响应、持续吞吐、峰值显存、异常退出和输出差异。
如果项目需要 speculative decoding,不应把它放入首轮上线条件,因为本版本 release validation 没有覆盖该项。更稳妥的做法是先以常规解码建立基线,再单独开启实验,出现不一致时能够立即回退。
本文未实测。本文只整理并解释来源已经披露的内容,不把发布方的说明改写成本站测试结论。
原始来源:nvidia/DeepSeek-V4-Pro-0813-NVFP4(NVIDIA,2026-08-27)
常见问题
DeepSeek-V4-Pro-0813-NVFP4 是全模型 NVFP4 吗?
不是。NVIDIA 说明 NVFP4 只用于 MoE 路由专家线性层的权重和激活,DSpark 头保持未量化。













