AWS Machine Learning Blog· Sunita Nadampalli·· 3 天前AI 评分55
AWS 为 vLLM 分离式推理引入 push 模式 KV 传输，TTFT 最高改善 3 倍
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 在 vLLM 中引入基于 NIXL 的 push 模式 KV 传输，把解码端的传输注册与建立连接从关键路径移到预填充侧和后台线程，从而降低 TTFT 与 TPOT。
来源：AWS Machine Learning Blog · aws.amazon.com