vLLM 新增 push 模式 NIXL KV 传输连接器
热点事件观察中
vLLM 新增 push 模式 NIXL KV 传输连接器
1 篇报道1 个报道来源3 天前更新
先了解这件事
AI 综述
AWS 在 vLLM 中引入基于 NIXL 的 push 模式 KV 传输连接器，把解码端的传输注册与连接建立从关键路径移到预填充侧和后台线程。AWS 称，在分离式推理中，这一改动使首 token 延迟（TTFT）最高改善 3 倍，并降低每输出 token 时间（TPOT）。 要启用 push 模式，预填充和解码服务器都需把 NixlConnector 换成 NixlPushConnector。AWS 建议在可以提前选定解码节点、且以降低 TTFT 为优先时使用；需要双向 KV 传输，或要在预填充后按负载再选解码实例的场景，仍适合 pull 模式。AWS 称该功能也能在其他受支持配置上运行，但性能会随硬件、模型、负载和网络配置变化。
AI 根据报道生成 · 1 天前更新
最新进展10月20日 00:05
AWS 为 vLLM 分离式推理引入 push 模式 KV 传输，TTFT 最高改善 3 倍报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogAWS 为 vLLM 分离式推理引入 push 模式 KV 传输，TTFT 最高改善 3 倍
AWS 在 vLLM 中引入基于 NIXL 的 push 模式 KV 传输，把解码端的传输注册与建立连接从关键路径移到预填充侧和后台线程，从而降低 TTFT 与 TPOT。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 310月21日 16:00
- 近 24 小时变化
- –
01234
16:0018:0020:0022:0010月22日
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。