vLLM Blog· Itay Alroy (NVIDIA)·· 3 天前精选AI 评分71
vLLM 用 NIXL EP 将 Elastic EP 扩缩容停机降至近零
Achieving near-zero-downtime scaling in Elastic Expert Parallelism
AI 导读
vLLM 博客介绍通过异步准备与 NIXL EP 实现 Elastic EP 近零停机重配置，在 DeepSeek V4 Pro 的 GB200 基准中，从 16 扩到 20 GPU 的停机时间由 99.62 秒降至 0.82 秒，缩回 16 GPU 由 56.25 秒降至 1.96 秒。
推荐理由
原文给出扩容停机从百秒级降到秒级的实测对比，可据此判断弹性扩缩容在生产推理中的可用性。
来源：vLLM Blog · vllm.ai