NVIDIA 发布 Kumo Relational 关系型基础模型,无需训练即可预测
NVIDIA 发布预训练关系型基础模型 Kumo Relational,可直接在企业数据库上做预测,单次前向推理读取最多 10000 条历史样本作为上下文,无需任务特定训练、特征工程或表扁平化。
推荐理由:原文给出预训练关系型基础模型在41项任务上的对比结果与开源入口,可据此判断免训练预测能否替代现有XGBoost流水线。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,可直接在企业数据库上做预测,单次前向推理读取最多 10000 条历史样本作为上下文,无需任务特定训练、特征工程或表扁平化。
推荐理由:原文给出预训练关系型基础模型在41项任务上的对比结果与开源入口,可据此判断免训练预测能否替代现有XGBoost流水线。
vLLM 宣布在 Flint 发布首日即提供支持,NVFP4 与 BF16 两个 checkpoint 均可在单张 GPU 上运行,单请求在单张 GB200、100K 上下文下解码约 500 tokens/s。
Dharma AI 在 Hugging Face 博客中介绍即将发布的 VocabX 论文,方法是在不改动基座模型的前提下,按每个 token 的推理成本而非出现频率重建领域专用词表。
微软研究院 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 Kannan-Lovász-Simonovits(KLS)猜想,证明结果与维度无关,并保持在一个固定常数范围内。此前 2026 年 7 月的最好结果仍允许该界随维度缓慢增长。证明过程采用人类主导的智能体搜索,探索了 100 多条候选路径;同期另有独立团队给出完整证明,并已有 Lean 4 形式化验证。
推荐理由:这篇论文给出了 KLS 猜想证明的完整脉络,并说明人类主导、AI 智能体并行探索的研究流程如何参与其中。
Hugging Face 博客发布 TorchNeuron 性能剖析系列第一篇,介绍如何在 AWS Trainium 上系统分析推理性能。
NVIDIA 发布多变量时序预测模型 Kumo Forecast(原 NV-Tesseract Forecasting),以 MOMENT-1-large 为骨干,约 3.4 亿参数编码器加可训练预测头,编码器与嵌入层权重冻结。
NVIDIA 扩展其开放模型家族,覆盖语言、机器人、生物和量子计算,包括新的 Nemotron 3.5 Super VL 与 Nemotron 3.5 Bolt、Nemotron Retriever、Kumo 结构化数据基础模型、Cosmos 3.5 世界模型、Alpamayo 2 Edge、BioNeMo 与 Ising。
推荐理由:原文一次性列出语言、机器人、生物、量子多条开放模型线及各自落地伙伴,便于比较英伟达开放模型组合的覆盖范围。
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,支持 Turing 及之后的 NVIDIA GPU 和 T-Head 真武 810E,统一支持多种权重与激活量化组合。
推荐理由:原文给出 Humming 与 Marlin、DeepGEMM、FlashInfer 的逐项基准和端到端吞吐数据,可据此判断量化推理内核的选型空间。
Amazon Bedrock 跨区域推理(CRIS)现支持从加拿大(中部)和加拿大西部(卡尔加里)区域调用 OpenAI GPT-5.6(Sol、Terra、Luna)、GPT-6(Astra、Sol、Luna)和 GPT-6.1 Sol,推理在北美境内处理。
i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 支持,将线性注意力模型 Laplace 3B 移植到 AWS Trainium2,并保留其 Gated Linear Attention(GLA)设计与 Muon 优化器。
在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 做多语言推理微调:基座模型在 50 例测试中仅 22% 用目标语言推理,英语 100%、法语和西班牙语 0%、德语 10%、意大利语 0%。实验表明 SFT 承担主要工作,GRPO 在存在提升空间时进一步优化,训练采用 LoRA,GPT-OSS 使用 4× ml.g6e.12xlarge。
AWS 在 vLLM 中引入基于 NIXL 的 push 模式 KV 传输,把解码端的传输注册与建立连接从关键路径移到预填充侧和后台线程,从而降低 TTFT 与 TPOT。
Deepgram 与 AWS 团队将 Nova-3 语音转文字模型移植到 AWS Trainium2,用于联络中心分析、医疗转写等离线批处理场景,最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。
NVIDIA 在德国于利希超级计算中心的欧洲首台百亿亿次超算 JUPITER 上完成 104 比特容错量子计算模拟,称这是迄今规模最大的容错量子处理器完整模拟。
AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在基于 Amazon EC2 P5en 实例和 EFA 的 1P1D 部署上,该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
vLLM 宣布从 day 0 起支持 Reflection 的 Beam-1.0(总参数 501B、激活 23B)。该版本通过智能体驱动的优化将解码延迟降低 2.71 倍,并采用 DFlash2 投机解码与自适应验证。
vLLM 披露 Kimi K3 在 AMD Instinct MI355X 上的推理优化工作,使其在 AgentX 上实现单 GPU 吞吐量追平 NVIDIA HGX B300。文章复盘了这次优化中定位到的性能瓶颈,以及让推理变快的各项决策。
vLLM 团队借助智能体辅助的 CuTe DSL 优化,加速 Kimi K3 在 NVIDIA GB300 上的解码。团队通过限定范围的改动、正确性测试和可复现基准,确保这些优化能够负责任地上线。
Apple 提出 Selection-based Structured Reasoning(SSR)框架,将推理从开放式生成改为选择:把反复出现的高层推理表示为预先指定的可复用自然语言候选,模型每轮从中选择。该框架针对小模型推理冗长、对动作生成帮助有限且推理成本高的问题,目标是提升多模态搜索智能体的效率。
Apertus 1.5 在 8B 和 70B 两个规模上扩展了 Apertus 1.0,新增图像与音频理解、可选思考模式、4 倍长的上下文窗口(262,144 tokens),并改进指令遵循与工具调用,权重以 Apache 2.0 许可发布于 Hugging Face。
推荐理由:原文完整公开了多模态早融合方案、四阶段预训练与五阶段后训练流程,可供研究开源模型如何扩展模态与长上下文。
Liquid AI 发布 LFM2.5-24B-A2B,这是一个 24B 参数、每 token 仅 2B 激活参数的推理模型,面向端侧智能体,会先思考再作答并调用工具。
推荐理由:原文给出模型架构、16 项基准对比和端侧推理速度,可据此判断本地智能体的可行边界。
vLLM 宣布在 Muse Spark Open 发布当天提供 Day 0 支持。该模型为 816B MoE,支持 1M 上下文和多模态输入,并包含 DSpark 投机解码、NVIDIA 与 AMD 部署、初步 TPU 支持以及 LoRA RL。
推荐理由:vLLM 在 Muse Spark Open 发布当天给出支持,读者可据此了解该模型的规模、上下文与部署路径。
Google DeepMind 开始广泛推送 Gemini 4 Argon,并扩大 Fairwind Program 的受信任网络防御者范围。该模型在网络安全测试中解决了全部 12 个端到端模拟攻击场景,上一代为 5 个;在 Gray Swan 间接提示注入基准上,15 次自适应攻击的成功率降至 0.7%。
vLLM 为分离式推理引入基于 push 的 NIXL 连接器,由 prefill 实例通过 RDMA 将 KV 直接写入 decode 内存,从而把 router 中转、decode 侧分配和传输建立移出 TTFT 关键路径。该方案旨在改善首 token 延迟(TTFT)与每 token 输出时间(TPOT)。
vLLM 提出一种在线拟合的接受率估计器,让每个草稿模型投机解码都能使用自适应验证。该方法直接从草稿模型自身的 logits 预测目标模型的接受概率,并在服务过程中持续重新拟合,无需额外的置信头。
Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和消费者开放,通过 AI Studio 与 Gemini API 提供,Google AI Ultra 订阅者可在 Google Antigravity 使用,Ultra 和 Pro 订阅者可在 Gemini 应用和 Search 的 AI Mode 使用。
推荐理由:官方给出 Argon 在编码、科研与安全场景的实测数据与开放入口,可据此判断前沿模型的能力边界。
AWS 官方博客介绍 Grok 4.7 已在 Amazon Bedrock 上线,并演示如何用它构建工具调用智能体。
推荐理由:AWS 官方给出 Grok 4.7 在 Bedrock 上的接入方式与 72 次智能体实测,读者可据此按任务类型选择 reasoning effort 并监控 token 用量。
Apple 提出首个从头预训练的三模态掩码扩散模型(MDM),在文本、图文和音频-文本数据上统一训练,并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析给出基于 SDE 的重参数化方法,将物理批次与逻辑批次解耦,免去最优批次调参。初步模型在 3B 规模(6.4T tokens)下于文本生成、T2I 和 T2S 任务均取得强劲结果。
针对 MoE 模型在解码阶段因 token 行数过薄导致的 GPU 利用率瓶颈,团队通过 Swap-AB 转置让专家维度 N=8192 进入 WGMMA 首个操作数位置,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及更高版本。
AWS 发布 Ray LLM Deep Learning Containers,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,将 prefill 与 decode 分离到不同节点并统一在一个 OpenAI 兼容端点后。
AWS 发布 llama.cpp 专用深度学习容器(DLC),可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
英伟达团队从 Nemotron 3 出发,用监督微调、强化学习和生成-验证-精炼推理流程,在 IOI 2026 与 IMO 2026 两项竞赛中达到金牌水平。
推荐理由:原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与数据集,可据此复现领域专家模型。