AMD MI355X 优化 Kimi K3 推理追平 B300
热点事件历史事件
AMD MI355X 优化 Kimi K3 推理追平 B300
1 篇报道1 个报道来源6 天前更新
先了解这件事
AI 综述
vLLM 披露，Kimi K3 在 AMD Instinct MI355X 上的推理优化取得进展：在 AgentX 上，单 GPU 吞吐量追平 NVIDIA HGX B300。 vLLM 称，此次优化定位了推理过程中的性能瓶颈，并复盘了使推理变快的各项决策。相关结论来自 vLLM 博客的一手披露。
AI 根据报道生成 · 6 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- vLLM BlogKimi K3 在 AMD Instinct MI355X 上的扩展：AgentX 上单 GPU 吞吐量追平 NVIDIA HGX B300
vLLM 披露 Kimi K3 在 AMD Instinct MI355X 上的推理优化工作，使其在 AgentX 上实现单 GPU 吞吐量追平 NVIDIA HGX B300。文章复盘了这次优化中定位到的性能瓶颈，以及让推理变快的各项决策。