vLLM 发布 TorchTPU 后端,支持在 Google Cloud TPU 上运行 vLLM
vLLM 发布 vllm-torchtpu 后端,基于 Google 的 TorchTPU 栈在 Google Cloud TPU 上运行 vLLM,多数现有 vLLM 模型无需改动模型代码即可部署。
推荐理由:原文给出插件安装方式、Pallas 内核清单与六种并行维度,可据此判断在 TPU 上复用现有 vLLM 模型代码的迁移成本。
vLLM 发布 vllm-torchtpu 后端,基于 Google 的 TorchTPU 栈在 Google Cloud TPU 上运行 vLLM,多数现有 vLLM 模型无需改动模型代码即可部署。
推荐理由:原文给出插件安装方式、Pallas 内核清单与六种并行维度,可据此判断在 TPU 上复用现有 vLLM 模型代码的迁移成本。
Databricks 在智能体开发平台 Agent Bricks 上推出 Agent Memory,目前为 Beta,运行在 Lakebase 上,基于其 MemCurrent 记忆架构。
Databricks 发布面向生产智能体的持久记忆架构 MemCurrent,已支撑新的 Agent Bricks Memory 和 Genie。它结合记录原始会话轨迹的 episodic memory 与存放提炼知识的 derived memory,通过插件、智能体工具和离线 dreaming 管道三种方式读写与整理记忆。
推荐理由:原文给出内部基准上的通过率、token 与延迟对比,并拆解记忆类型和抽取策略的消融结果,可据此判断持久记忆在生产智能体中的取舍。
Hugging Face 宣布接入 PyTorch 原生 TPU 后端 TorchTPU,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,不再需要 torch_xla 或 Optimum TPU。
推荐理由:原文给出安装命令与各库接入方式,读者可据此判断 PyTorch 模型迁移到 TPU 的改动量。
AWS 发布技术文章,介绍用 AWS Agent Registry 在运行时发现 MCP 服务器、Agent 和 Agent 技能,替代把工具硬编码进编排器。
DeepSeek 以 Apache 2.0 协议开源了支撑 DeepSeek-V4.1-Flash 的生产推理框架 DeepInfer,同时发布 MIT 协议的 token 编解码层 deepseek-recipe。
Google 开源 TorchTPU,一个与 Meta PyTorch 团队共同开发的 Cloud TPU 原生 PyTorch 后端,于 2026 年 10 月 20 日在 PyTorch Conference 2026 上宣布,现有 PyTorch 代码通过 torch.device("tpu") 即可指向 TPU。
推荐理由:原文给出 TorchTPU 与 PyTorch/XLA 的执行机制差异和自报性能数据,可据此判断 TPU 接入 PyTorch 生态后的迁移成本。
Databricks 宣布 CustomerLake 的 Campaign Agents 进入 Beta、Profile Agents 进入 Private Preview,这是其嵌入 Databricks 的 Agentic CDP 的产品成熟新阶段。
Adobe 宣布 iOS、iPadOS 和 Android 版 Lightroom 移动端新增 Open Eyes 快捷操作,检测到照片中人物闭眼时可一键用生成式 AI 睁开双眼。
Hugging Face 发布 AnyLanguageModel 1.0,同时推出 swift-huggingface 1.0 和 swift-xet 1.0。
推荐理由:原文列出 1.0 版本新增的托管模型接入与工具调用、引导生成等能力,可据此判断 Swift 应用选模型的成本变化。
Yelp 上线 Check for Me 功能,用户在餐厅页面输入用餐人数和电话号码后,AI 智能体会代其致电餐厅查询等位时间,并以短信回传结果。Yelp AI 助手同时接入 OpenTable 支持应用内订座,可记住历史对话偏好、查看过去 30 天聊天记录并设置自定义提醒。面向商家,Yelp 推出付费产品 Smart Lead Reply,每月收费 $30,可自动回复并筛选客户线索。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新,新增 torch.float8_e4m3fn 张量与 F.scaled_mm 支持,FP8 张量占用为 BF16 的一半。
推荐理由:原文给出 MPS 后端在 FP8、MoE 解码和显存占用上的具体数字,可据此判断 Mac 本地跑模型的实际变化。
vLLM 博客介绍通过异步准备与 NIXL EP 实现 Elastic EP 近零停机重配置,在 DeepSeek V4 Pro 的 GB200 基准中,从 16 扩到 20 GPU 的停机时间由 99.62 秒降至 0.82 秒,缩回 16 GPU 由 56.25 秒降至 1.96 秒。
推荐理由:原文给出扩容停机从百秒级降到秒级的实测对比,可据此判断弹性扩缩容在生产推理中的可用性。
Kling AI 发布视频生成模型 4.0,单次可生成最长 30 秒视频,支持最多 10 张关键帧图像输入,提示词理解扩展至 8,000 tokens。升级后的 Omni Reference 单次生成最多接受 15 个参考素材,包括 10 张图像、总时长不超过 30 秒的 5 段视频和 7 个元素。
OpenAI 正在改进 ChatGPT 在低资源编程语言上的表现,并新增了针对软件工程、SQLite 和 COBOL 迁移的评测。原文未披露具体模型版本、分数或可用性细节。
Exa 发布面向 AI 智能体的搜索 API Exa 3.0,称其 Auto 模式在 8 项由 Exa 自行运行的基准上均排名第一,领先 Perplexity、Brave 和 Parallel。
Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 和 Kernels 原生支持,10 月 20 日起以公开测试版提供,可通过 pip install torch-neuronx 安装。
Databricks 的 Unity Catalog 成为首个同时支持 Apache Iceberg REST 目录规范中 REGISTER 和 UNREGISTER 的目录,表可在不移动数据的情况下进出目录,UNREGISTER 已由 Databricks 贡献为开放标准。其 99% 的 UC 托管表存放在客户自有存储中,并支持最长 30 天的数据恢复。
AWS 在 vLLM 中引入基于 NIXL 的 push 模式 KV 传输,把解码端的传输注册与建立连接从关键路径移到预填充侧和后台线程,从而降低 TTFT 与 TPOT。
TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线,可将长视频按用户定义条件切分为带起止时间的结构化 JSON 元数据。
2026 年 1 月至 9 月,Amazon SageMaker JumpStart 新增超过 100 个模型,来自 30 家不同提供商。其中 Alibaba(Qwen)贡献 29 个模型,NVIDIA 贡献 17 个,涵盖 Cosmos3 世界基础模型与 Nemotron 系列;Mistral、Google、IBM、Cohere 分别新增 7、6、4、4 个模型。
新 Amazon SageMaker AI 客户现在可用 Google、GitHub、Apple、Amazon 账号或邮箱在 2–3 步内注册 AWS,并自动在约 20 秒内创建好 SageMaker Studio 环境。
Amazon Bedrock 在 bedrock-runtime 和 bedrock-mantle 两个端点上为所有可用的 Anthropic Claude 模型提供结构化输出,返回符合 JSON Schema 的响应,无需自定义解析或重试逻辑。
Replika 创始人 Eugenia Kuyda 正式向所有用户上线 Wabi,一款以即时通讯形态运行的多线程个人 AI 助手,用户可在不同任务线程中构建和使用自定义应用。
AWS 发布 TorchNeuron 开发工具,让用 PyTorch 编写的 AI 应用只需改一行配置即可运行在自研芯片 Trainium 上,无需重写代码。Amazon 称约 85% 的 AI 应用用 PyTorch 编写,并计划向 PyTorch 上游贡献代码,移除框架与特定芯片绑定的部分。
微软发布多项企业 AI 智能体安全功能,核心是 Guardian Agents,用于监控企业使用的 AI 智能体,属于 6 月推出的 Project Perception 的一部分。
NVIDIA 将完整的 Run:ai 平台以 Apache 2.0 协议在 GitHub 开源,包含控制平面、集群服务、安装器、CLI 和 MCP server,平台团队可自行检查、fork 和自托管,无需付费订阅。
Simon Willison 发布 web-edit 0.1a2,为其用于通过 Tailscale 跨机器浏览和编辑文件夹文件的微型 Web 应用新增文本与图片数据的“复制到剪贴板”选项。该功能源于他在手机上通过笔记本运行 pelican 提示词、需要将结果日志方便地复制到 Gist 的需求。
Simon Willison 发布 llm-echo 0.5,这个调试插件提供一个不涉及 LLM 的“模型”,只把收到的提示词原样回显。新版本更新了模拟 token 用量计数,将工具调用、系统提示词和推理 token 纳入统计。示例中 `llm -m echo 'hi there' -o thinking 1 --usage` 显示 2 input、24 output。
llm-tools-datasette 发布 0.1.1 版本,修复了 LLM 0.33 改用 httpx2 后该插件失效的问题。作者在 LLM 0.33 中切换 httpx2 时,未料到会破坏未直接依赖 httpx 的插件,llm-tools-datasette 正是其中之一,现已修复。
NVIDIA RTX Spark 笔记本已上市,搭载 Blackwell RTX GPU 与 Grace CPU,最高 1 petaflop AI 算力和 128GB 统一内存,起售价 2,399 美元,首批来自 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI。NVIDIA 在全球六地举办零售发布活动,柏林站黄仁勋意外现身并送出五台签名笔记本。
Voxel51 发布 3.0 版本,将搜索、数据整理、标注和评估整合到一个多模态数据平台,面向用机器人、车辆和工厂传感器数据训练模型的团队。新增的 Voxel51 Agent 提供 45+ MCP 工具、80+ 算子和 18 个开源技能,并加入部署、数据集、样本和版本四层溯源记录。
Google Cloud AI Research 开源 Harness²,这是一个在模型权重不变的前提下改写智能体 harness 的递归框架,版本 0.1.0,暴露 8 个可编辑组件。
推荐理由:原文给出 8 个可编辑组件与 3 个基准的前后对比,可据此判断不改模型权重能带来多少提升。
TinyFish 将 Search 与 Fetch 的检索费用降为零,限额为搜索 30 次/分钟、500 次/小时,抓取 150 个 URL/分钟、1,000 个/天。
Perplexity 以 Apache 2.0 协议在 GitHub 开源 SPACE,这是支撑 Perplexity Computer 全部任务的沙箱平台,每个智能体任务运行在独立的 Firecracker microVM 中,凭证与出站流量由 VM 外部控制。
推荐理由:原文给出隔离架构、创建延迟与红队测试数据,可据此评估自托管智能体沙箱的工程取舍。
Databricks 宣布多语句事务(Multi-Statement Transactions)正式 GA,让组织可在 Lakehouse 上运行事务性工作负载。该能力此前处于预览阶段,此次转正推进了湖仓一体架构的数仓能力。
NVIDIA 宣布 RTX Spark 笔记本即日起开售,将 RTX 显卡与 NVIDIA 全栈 AI 平台整合进轻薄 Windows PC,面向加速创作、沉浸式游戏和本地 AI 场景。华硕、戴尔、惠普、联想、微软和微星将陆续推出相关机型。
推荐理由:原文给出 RTX Spark 笔记本的定位与合作厂商,读者可据此了解本地 AI 能力在 Windows PC 上的落地形态。
TypeSafe AI 于 9 月 15 日发布 System One 模型 Jev,OpenAI 在 DevDay 推出 Decisions API 并于 10 月 6 日开放公测,Cribl 发布可本地运行的开源 LoRA 适配器 cribl-decision。一个月内 AI 决策模型从无到有迅速铺开,文章讨论这类模型对 AI SOC 平台的影响。
Bluesky 的 Attie AI 工具在原有自定义信息流功能基础上,新增生成游戏、投票和仪表盘等"小型"社交应用的能力,用户可将这些应用作为独立网站分享给他人。Bluesky CEO Toni Schneider 在 TechCrunch Disrupt 大会上接受采访时透露了这一消息。
OpenAI 为 ChatGPT 的 Google Chrome 扩展加入新功能,安装扩展后,用户在 ChatGPT 网页版或桌面应用中 @Chrome 时,ChatGPT 可以查看其已打开的浏览器标签页。OpenAI 发布了演示视频,并提到 ChatGPT Atlas 浏览器已下线。