OpenAI 模型将上线 Google Cloud
OpenAI 与 Google Cloud 合作，将把前沿模型和 Codex 工作流接入 Gemini 的 Model Garden，并通过 Google Cloud Marketplace 提供。原文未披露具体模型版本、上线时间和定价。
推荐理由：OpenAI 与 Google Cloud 的合作把前沿模型和 Codex 工作流接入 Gemini 的 Model Garden，读者可据此判断多云分发路径的变化。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
42 条精选近 30 天 42 条共收录 324 条
更新
部署工程的精选
OpenAI News精选AI 评分6262 NVIDIA Blog精选AI 评分7070 Google Cloud 与 NVIDIA 宣布 NVIDIA Vera Rubin 基础设施正式可用
Google Cloud 与 NVIDIA 宣布 NVIDIA Vera Rubin 基础设施正式可用，A5X 实例将于下月开放，并计划扩展至欧洲。
推荐理由：原文给出 A5X 实例的可用时间、客户案例与机密计算配套，读者可据此判断智能体推理与强化学习基础设施的落地节奏。
Hugging Face Blog精选AI 评分6060 NVIDIA 在 Hugging Face 发布 SimReady Central 仿真资产库
NVIDIA 在 Hugging Face 上线 SimReady Central Library，汇集超过 2000 个带碰撞几何、质量、摩擦等仿真属性的 OpenUSD 资产，供开发者免费、无需审批地用于物理 AI 训练环境和 AI 工厂数字孪生。
推荐理由：原文说明了 SimReady 资产需要哪些仿真属性，以及 OEM 如何提交资产，读者可据此判断机器人仿真环境的搭建成本。
NVIDIA Newsroom精选AI 评分7272 NVIDIA 发布 OpenShell 参考架构，面向安全 AI 智能体
NVIDIA 发布 OpenShell 参考架构，为企业在基础设施和边缘系统上构建、隔离、观测和执行安全智能体提供全栈方案。
推荐理由：原文给出参考架构的硬件分工与毫秒级隔离机制，可据此判断企业级智能体治理的落地形态。
NVIDIA Newsroom精选AI 评分7272 NVIDIA 扩展 Isaac 开放机器人平台，新增人形参考平台与 Isaac OS 运行时
NVIDIA 在 GTC Berlin 宣布扩展 Isaac 开放机器人开发平台，新增人形参考平台、数据集与运行时，并更新机器人学习框架。Agile Robots 同步发布基于 Isaac GR00T 与 Jetson Thor 的 Agile ONE SN 参考人形，高 1.40 米、重 40 公斤、31 个自由度，计划 2027 年初上市。
推荐理由：原文列出 Isaac 平台新增的人形参考机、运行时与开源工作流，可据此判断机器人从数据到部署的整合路径。
NVIDIA Newsroom精选AI 评分6565 NVIDIA 联合供应链伙伴扩产，基板产能三年提升 2.5 倍
NVIDIA 在 GTC Berlin 宣布与 Amkor、IBIDEN、KYEC、三星电机、SPIL 和欣兴电子合作扩大全球制造产能，以应对加速计算与 AI 工厂平台的需求。
推荐理由：原文列出基板、先进封装、测试与光引擎各环节的扩产时间表和预付款规模，可据此观察 AI 算力供应链的产能节奏。
NVIDIA Blog精选AI 评分6767 黄仁勋 GTC Berlin 2026 主题演讲：发布 DSX POD、OpenShell 与 Nemotron 等多项更新
NVIDIA CEO 黄仁勋在 GTC Berlin 2026 主题演讲中宣布多项更新，包括以模块化集装箱交付的 DSX POD 参考设计，现场部署时间可从六个月缩短至 14 天。
推荐理由：黄仁勋在 GTC Berlin 集中发布 AI 工厂、智能体运行时与开源模型组合，可据此观察 NVIDIA 面向欧洲的整套基础设施布局。
Latent Space精选AI 评分8282 DeepSeek 开源生产推理栈 DeepInfer，单集群日处理 155T tokens
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并同步发布 deepseek-recipe 协议转换库，支持 NVIDIA SM100 与华为昇腾 950 平台。
推荐理由：DeepSeek 开源生产推理栈的同时披露了缓存命中率与单卡收入，读者可据此判断高吞吐数字背后的成本结构。
vLLM Blog精选AI 评分7575 蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，支持 Turing 及之后的 NVIDIA GPU 和 T-Head 真武 810E，统一支持多种权重与激活量化组合。
推荐理由：原文给出 Humming 与 Marlin、DeepGEMM、FlashInfer 的逐项基准和端到端吞吐数据，可据此判断量化推理内核的选型空间。
vLLM Blog精选AI 评分6767 vLLM 发布 TorchTPU 后端，支持在 Google Cloud TPU 上运行 vLLM
vLLM 发布 vllm-torchtpu 后端，基于 Google 的 TorchTPU 栈在 Google Cloud TPU 上运行 vLLM，多数现有 vLLM 模型无需改动模型代码即可部署。
推荐理由：原文给出插件安装方式、Pallas 内核清单与六种并行维度，可据此判断在 TPU 上复用现有 vLLM 模型代码的迁移成本。
Databricks Blog精选AI 评分6262 Databricks 推出 MemCurrent 持久记忆架构，已用于 Agent Bricks Memory 与 Genie
Databricks 发布面向生产智能体的持久记忆架构 MemCurrent，已支撑新的 Agent Bricks Memory 和 Genie。它结合记录原始会话轨迹的 episodic memory 与存放提炼知识的 derived memory，通过插件、智能体工具和离线 dreaming 管道三种方式读写与整理记忆。
推荐理由：原文给出内部基准上的通过率、token 与延迟对比，并拆解记忆类型和抽取策略的消融结果，可据此判断持久记忆在生产智能体中的取舍。
Mistral AI精选AI 评分7878 Mistral 发布 Voxtral 3 语音模型家族与语音智能体 SDK
Mistral 发布 Voxtral 3 语音模型家族，包含 Voxtral Small Transcribe 3、Voxtral Mini Transcribe 3。
推荐理由：原文给出语音智能体全链路模型与 SDK 的延迟、价格和多语言指标，可据此比较自建语音栈的成本与部署选择。
Hugging Face Blog精选AI 评分7676 Hugging Face 接入 TorchTPU，Transformers 与 Diffusers 原生支持 TPU
Hugging Face 宣布接入 PyTorch 原生 TPU 后端 TorchTPU，Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行，不再需要 torch_xla 或 Optimum TPU。
推荐理由：原文给出安装命令与各库接入方式，读者可据此判断 PyTorch 模型迁移到 TPU 的改动量。
MarkTechPost精选AI 评分7878 Google 开源 TorchTPU：面向 Cloud TPU 的原生 PyTorch 后端
Google 开源 TorchTPU，一个与 Meta PyTorch 团队共同开发的 Cloud TPU 原生 PyTorch 后端，于 2026 年 10 月 20 日在 PyTorch Conference 2026 上宣布，现有 PyTorch 代码通过 torch.device("tpu") 即可指向 TPU。
推荐理由：原文给出 TorchTPU 与 PyTorch/XLA 的执行机制差异和自报性能数据，可据此判断 TPU 接入 PyTorch 生态后的迁移成本。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 AnyLanguageModel 1.0，统一 Apple 平台本地与托管模型调用
Hugging Face 发布 AnyLanguageModel 1.0，同时推出 swift-huggingface 1.0 和 swift-xet 1.0。
推荐理由：原文列出 1.0 版本新增的托管模型接入与工具调用、引导生成等能力，可据此判断 Swift 应用选模型的成本变化。
Hugging Face Blog精选AI 评分6767 PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新，新增 torch.float8_e4m3fn 张量与 F.scaled_mm 支持，FP8 张量占用为 BF16 的一半。
推荐理由：原文给出 MPS 后端在 FP8、MoE 解码和显存占用上的具体数字，可据此判断 Mac 本地跑模型的实际变化。
vLLM Blog精选AI 评分7171 vLLM 用 NIXL EP 将 Elastic EP 扩缩容停机降至近零
vLLM 博客介绍通过异步准备与 NIXL EP 实现 Elastic EP 近零停机重配置，在 DeepSeek V4 Pro 的 GB200 基准中，从 16 扩到 20 GPU 的停机时间由 99.62 秒降至 0.82 秒，缩回 16 GPU 由 56.25 秒降至 1.96 秒。
推荐理由：原文给出扩容停机从百秒级降到秒级的实测对比，可据此判断弹性扩缩容在生产推理中的可用性。
MarkTechPost精选AI 评分7878 Google 开源递归智能体框架 Harness²
Google Cloud AI Research 开源 Harness²，这是一个在模型权重不变的前提下改写智能体 harness 的递归框架，版本 0.1.0，暴露 8 个可编辑组件。
推荐理由：原文给出 8 个可编辑组件与 3 个基准的前后对比，可据此判断不改模型权重能带来多少提升。
MarkTechPost精选AI 评分7676 Perplexity 开源 SPACE：为每个 AI 智能体任务提供 Firecracker microVM 沙箱
Perplexity 以 Apache 2.0 协议在 GitHub 开源 SPACE，这是支撑 Perplexity Computer 全部任务的沙箱平台，每个智能体任务运行在独立的 Firecracker microVM 中，凭证与出站流量由 VM 外部控制。
推荐理由：原文给出隔离架构、创建延迟与红队测试数据，可据此评估自托管智能体沙箱的工程取舍。
AWS Machine Learning Blog精选AI 评分6767 Reflection AI 开源编码智能体模型 Beam，并在 AWS 上提供部署路径
Reflection AI 发布开源权重模型 Beam，面向编码智能体与长周期任务，总参数 501B、激活参数 23B，Reflection 称有效上下文长度为 100 万 token，权重以 Apache 2.0 许可在 Hugging Face 发布，提供 BF16、FP8、NVFP4 三种 checkpoint。
推荐理由：文章给出 Beam 的参数量、上下文长度与三种 AWS 部署路径，可据此评估开源编码模型的自托管成本。