跳到正文
vLLM Blog· Giancarlo Delfin (Inferact)·· 8 天前AI 评分22

vLLM 提出无需置信头的自适应验证方法

Adaptive Verification Without a Confidence Head

AI 导读

vLLM 提出一种在线拟合的接受率估计器,让每个草稿模型投机解码都能使用自适应验证。该方法直接从草稿模型自身的 logits 预测目标模型的接受概率,并在服务过程中持续重新拟合,无需额外的置信头。

来源:vLLM Blog · vllm.ai