vLLM Blog· Sunita Nadampalli (AWS), Nicolò Lucchesi (Mistral)·· 8 天前AI 评分29
vLLM 推出基于 push 的 NIXL 连接器，优化分离式推理的 TTFT 与 TPOT
Push-Based KV Transfer to Improve TTFT and TPOT for Disaggregated Inference in vLLM
AI 导读
vLLM 为分离式推理引入基于 push 的 NIXL 连接器，由 prefill 实例通过 RDMA 将 KV 直接写入 decode 内存，从而把 router 中转、decode 侧分配和传输建立移出 TTFT 关键路径。该方案旨在改善首 token 延迟（TTFT）与每 token 输出时间（TPOT）。
来源：vLLM Blog · vllm.ai