跳到正文
vLLM Blog· Inferact, Reflection, and Nvidia·· 6 天前AI 评分58

vLLM 首日支持 Reflection Beam-1.0,解码延迟降低 2.71 倍

Serving Reflection Beam on vLLM from Day 0

AI 导读

vLLM 宣布从 day 0 起支持 Reflection 的 Beam-1.0(总参数 501B、激活 23B)。该版本通过智能体驱动的优化将解码延迟降低 2.71 倍,并采用 DFlash2 投机解码与自适应验证。

来源:vLLM Blog · vllm.ai