斯坦福与伯克利发布TokenGate长上下文预填充模块

斯坦福与 UC Berkeley 研究人员发布 TokenGate，一个面向长上下文 prefill 的可学习 token 剪枝模块。团队报告称，它使首 token 延迟（TTFT）提速 1.4 倍至 11.3 倍且无精度损失，峰值 prefill 内存降低 1.5 倍至 3.4 倍。 代码与检查点已在 GitHub 以 Apache-2.0 许可发布，运行需 Python 3.10+ 和 CUDA PyTorch 2.9+。检查点覆盖 Qwen3-1.7B 上全部 5 个任务，另含一个 Qwen3.5-2B 的 NIAH 门控。 可选的 FlashAttention-2 key-bias 内核用于加速稠密 Qwen3，其开销为普通调用的 1.0 至 1.1 倍。上述提速与内存数据均为发布方说法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。