vLLM Blog· Ant Group and the vLLM Community·· 1 天前精选AI 评分75
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
Announcing Humming: Fast, Flexible Kernels for Quantized Inference
AI 导读
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，支持 Turing 及之后的 NVIDIA GPU 和 T-Head 真武 810E，统一支持多种权重与激活量化组合。
推荐理由
原文给出 Humming 与 Marlin、DeepGEMM、FlashInfer 的逐项基准和端到端吞吐数据，可据此判断量化推理内核的选型空间。
来源：vLLM Blog · vllm.ai