vLLM Blog· Inferact and Google Teams·2026-10-20 08:00· 2 天前精选AI 评分67

vLLM 发布 TorchTPU 后端，支持在 Google Cloud TPU 上运行 vLLM

Introducing vLLM TorchTPU

AI 导读

vLLM 发布 vllm-torchtpu 后端，基于 Google 的 TorchTPU 栈在 Google Cloud TPU 上运行 vLLM，多数现有 vLLM 模型无需改动模型代码即可部署。

推荐理由

原文给出插件安装方式、Pallas 内核清单与六种并行维度，可据此判断在 TPU 上复用现有 vLLM 模型代码的迁移成本。

来源：vLLM Blog · vllm.ai