热点事件观察中

蚂蚁集团与vLLM社区开源量化推理内核库Humming

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

蚂蚁集团与 vLLM 社区开源了通用高性能量化推理内核库 Humming，统一支持多种权重与激活量化组合，覆盖 Turing 及之后的 NVIDIA GPU（SM75 及以上）和 T-Head 真武 810E。从 vLLM 0.29.0 起，CUDA 安装已将 Humming 作为依赖包含在内，无需单独安装。--quantization humming 选项仅作为兼容路径，用于 Humming 支持但 vLLM 已不再支持或尚未原生支持的格式，例如 GPTQ INT3；若 GPU 不支持对应计算类型，Humming 会回退到受支持的更高精度类型。

AI 根据报道生成 · 1 天前更新

最新进展10月21日 08:00

蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

报道时间线

沿着报道，了解事件的不同侧面。

10月21日

08:00
vLLM Blog精选
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，支持 Turing 及之后的 NVIDIA GPU 和 T-Head 真武 810E，统一支持多种权重与激活量化组合。

本事件热度走势

可比范围当前: 4
可比范围峰值: 910月21日 11:00
近 24 小时变化: -50%

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。