热点事件历史事件

vLLM 发布近零停机弹性 EP 扩缩容

1 篇报道1 个报道来源3 天前更新

先了解这件事

AI 综述

vLLM 发布 Elastic EP 的异步准备与 NIXL EP 能力，将专家并行扩缩容的停机时间降至接近零。据 vLLM 博客，在 DeepSeek V4 Pro 的 GB200 基准中，从 16 个 GPU 扩到 20 个 GPU 的停机时间由 99.62 秒降至 0.82 秒，缩回 16 个 GPU 由 56.25 秒降至 1.96 秒。 vLLM 称，后台准备、CUDA graph 复用和加入节点上的独立 graph 捕获均已在最新 vLLM 与 NIXL 版本中可用，用户可通过 pip 安装后使用 Elastic EP。上述数据为 vLLM 自行公布的基准结果。

AI 根据报道生成 · 1 天前更新

最新进展10月19日 08:00

vLLM 用 NIXL EP 将 Elastic EP 扩缩容停机降至近零

报道时间线

沿着报道，了解事件的不同侧面。

10月19日

08:00
vLLM Blog精选
vLLM 用 NIXL EP 将 Elastic EP 扩缩容停机降至近零
vLLM 博客介绍通过异步准备与 NIXL EP 实现 Elastic EP 近零停机重配置，在 DeepSeek V4 Pro 的 GB200 基准中，从 16 扩到 20 GPU 的停机时间由 99.62 秒降至 0.82 秒，缩回 16 GPU 由 56.25 秒降至 1.96 秒。