MarkTechPost· Asif Razzaq·· 1 天前AI 评分73
Google Cloud 发布 llm-d 1.0，为 TPU 与 GPU 集群提供缓存感知路由
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
AI 导读
Google 团队在 PyTorch Conference North America 上发布分布式推理栈 llm-d 1.0，这是该项目首个稳定版本，把 vLLM 或 SGLang 模型服务器整合为 Kubernetes 上的统一资源池。
来源：MarkTechPost · marktechpost.com