vLLM Blog· Inferact and Recursive·· 1 天前AI 评分58
vLLM 首日支持 Recursive 的 Flint 模型
Day-0 Support for Flint on vLLM
AI 导读
vLLM 宣布在 Flint 发布首日即提供支持，NVFP4 与 BF16 两个 checkpoint 均可在单张 GPU 上运行，单请求在单张 GB200、100K 上下文下解码约 500 tokens/s。
来源：vLLM Blog · vllm.ai
vLLM 首日支持 Recursive 的 Flint 模型