跳到正文

技术方向

多模态 最新动态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

11 条精选近 30 天 11 条共收录 62 条

更新

多模态的精选

今天10月22日周四第 1–11 条
  1. Google Research67

    Google Research 用 AI 辅助盲扫超声评估孕周,跨美肯两地验证

    Google Research 在 JAMA Network Open 发表研究,用 AI 模型解读无超声专科培训人员操作的盲扫超声图像来评估孕周。在 385 名 16 至 36 周孕妇的队列中,模型平均绝对误差为 4.18 天,专家标准流程为 4.48 天;芝加哥适配后为 4.10 天,内罗毕零本地优化为 4.27 天。

    推荐理由:研究给出跨美国与肯尼亚两地、换用不同探头后的前瞻性验证结果,可了解医疗 AI 跨场景泛化的实测表现。

10月16日周五
  1. MIT News · AI62

    MIT 团队用 AI 模型 IRIS 解码细胞通信信号

    MIT 与 Whitehead 研究所团队开发神经网络模型 IRIS,通过识别各信号通路在不同细胞类型中一致的基因活动“指纹”,重建细胞在胚胎发育中接收过的信号历史。

    推荐理由:IRIS 用迁移学习思路跨细胞类型重建信号通路历史,为干细胞工程和类器官研究提供可复用的建模路径。

  2. MarkTechPost82

    Meta 发布 Muse Spark Open:816B 开源权重 MoE,支持 1M 上下文

    Meta Superintelligence Labs 发布 Muse Spark Open,这是 Muse Spark 的开源权重版本,816B 总参数 MoE、每 token 激活 42B,支持文本、图像、视频和音频输入,上下文窗口 1M token,权重以 BF16 和 NVFP4 格式在 Hugging Face 发布。

    推荐理由:Meta 开源 816B MoE 模型的规格、部署门槛与同代开源模型对比数据都在这篇里,可据此判断本地运行可行性。

10月15日周四
  1. Hugging Face Blog72

    Apertus 1.5 发布 8B 与 70B 模型,新增图像音频理解与思考模式

    Apertus 1.5 在 8B 和 70B 两个规模上扩展了 Apertus 1.0,新增图像与音频理解、可选思考模式、4 倍长的上下文窗口(262,144 tokens),并改进指令遵循与工具调用,权重以 Apache 2.0 许可发布于 Hugging Face。

    推荐理由:原文完整公开了多模态早融合方案、四阶段预训练与五阶段后训练流程,可供研究开源模型如何扩展模态与长上下文。

  2. Google Research66

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google 发布地理空间推理智能体的技术报告,在 CBGB、UnivEARTH 及自研的 GeoExpertQueries、GeoKTools 四个基准上评估四种智能体配置,并公开两个新基准的开发集。

    推荐理由:Google 公开地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等伙伴的实测案例,可了解专用工具与前置规划对空间推理的作用。

  3. vLLM Blog60

    vLLM 为 Muse Spark Open 提供 Day 0 支持

    vLLM 宣布在 Muse Spark Open 发布当天提供 Day 0 支持。该模型为 816B MoE,支持 1M 上下文和多模态输入,并包含 DSpark 投机解码、NVIDIA 与 AMD 部署、初步 TPU 支持以及 LoRA RL。

    推荐理由:vLLM 在 Muse Spark Open 发布当天给出支持,读者可据此了解该模型的规模、上下文与部署路径。

10月14日周三
  1. Latent Space78

    AINews:Gemini 4 Argon 正式发布,Vals AI 谈基准测试

    Google 的 Gemini 4 Argon 正式 GA,覆盖 Gemini API、Gemini 应用、Search AI Mode 和 Antigravity,入门 API 价格为每百万输入/输出 token 2 美元/10 美元,缓存输入折扣 95%,Artificial Analysis 称 11 月 30 日后价格将翻倍至 4 美元/20 美元。

    推荐理由:汇总了 Gemini 4 Argon 的定价、独立评测与可靠性争议,便于对照官方说法与第三方结果。

  2. The Decoder84

    Google 全球上线 Gemini 4 Argon,取代 Pro 系列成为新前沿模型

    Google 开始全球上线 Gemini 4 Argon,开发者可通过 AI Studio 和 Gemini 平台的 API 使用,AI Ultra 订阅者可在 Google Antigravity 中使用,Ultra 和 Pro 订阅者可通过 Gemini 应用和 Google 搜索的 AI 模式访问;免费用户和 Plus 订阅者只能使用较弱的 Flash 模型。

    推荐理由:材料给出 Gemini 4 Argon 的开放范围、定价与自报基准,可据此判断前沿模型的可用性与成本变化。

  3. Google DeepMind92

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和消费者开放,通过 AI Studio 与 Gemini API 提供,Google AI Ultra 订阅者可在 Google Antigravity 使用,Ultra 和 Pro 订阅者可在 Gemini 应用和 Search 的 AI Mode 使用。

    推荐理由:官方给出 Argon 在编码、科研与安全场景的实测数据与开放入口,可据此判断前沿模型的能力边界。

10月8日周四