vLLM Blog· Inferact and the vLLM Team·· 2 天前精选AI 评分72
vLLM 在 GB300 NVL72 上服务 DeepSeek-V4.1-Flash，解码吞吐与 DeepInfer 差距在 6% 以内
Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72
AI 导读
vLLM 团队公布在单台 NVIDIA GB300 NVL72 上以 P/D 分离和 Wide-EP 服务 DeepSeek-V4.1-Flash 的结果，SemiAnalysis AgentX 上每 GPU 达 954K tokens/s，单用户 P90 为 196 tokens/s，按 DeepSeek 非高峰价格折算每 GPU 小时 38.96 美元。
推荐理由
原文给出 vLLM 与 DeepInfer 在 DeepSeek-V4.1-Flash 上的逐项对比和优化拆解，可看通用引擎如何逼近专用引擎。
来源：vLLM Blog · vllm.ai