vLLM Blog· AMD and Embedded LLM·· 6 天前AI 评分42
Kimi K3 在 AMD Instinct MI355X 上的扩展：AgentX 上单 GPU 吞吐量追平 NVIDIA HGX B300
Scaling Kimi K3 on AMD Instinct MI355X: Matching NVIDIA HGX B300 Throughput per GPU on AgentX
AI 导读
vLLM 披露 Kimi K3 在 AMD Instinct MI355X 上的推理优化工作，使其在 AgentX 上实现单 GPU 吞吐量追平 NVIDIA HGX B300。文章复盘了这次优化中定位到的性能瓶颈，以及让推理变快的各项决策。
来源：vLLM Blog · vllm.ai