Apple 研究:用语音基础模型的语种选择性维度直接检测语码转换
Apple 研究团队提出一种轻量方法,直接从句语音频中检测语码转换(CS),无需依赖多语种转录。该方法利用预训练语音编码器帧级语种信息,通过单语录音识别语种选择性隐藏状态维度并聚合其帧级激活进行 CS 预测。在 CS-FLEURS 的 14 个语种对上,Whisper-small 编码器取得平均 F1 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。
Apple 研究团队提出一种轻量方法,直接从句语音频中检测语码转换(CS),无需依赖多语种转录。该方法利用预训练语音编码器帧级语种信息,通过单语录音识别语种选择性隐藏状态维度并聚合其帧级激活进行 CS 预测。在 CS-FLEURS 的 14 个语种对上,Whisper-small 编码器取得平均 F1 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。
Apple 提出首个从头预训练的三模态掩码扩散模型(MDM),在文本、图文和音频-文本数据上统一训练,并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析给出基于 SDE 的重参数化方法,将物理批次与逻辑批次解耦,免去最优批次调参。初步模型在 3B 规模(6.4T tokens)下于文本生成、T2I 和 T2S 任务均取得强劲结果。
Meta 发布前沿模型 Muse Wonder 的两个版本,Muse Wonder Full 在 Artificial Analysis Intelligence Index v4.3 上得 56 分,Muse Wonder 得 52 分,前代 Muse Spark 1.3 为 48 分。
Apple 研究团队在 150M 至 1.43B 四种模型规模、约 1000 次预训练实验中对比发现,混入高资源语言数据(英语)比超参数调优更能改善阿拉伯语低资源预训练效果,且差距随模型规模扩大。混合带来的提升在验证损失上相当于 2–3 倍目标数据,在下游任务准确率上相当于 2–13 倍。研究建议优先调整混合比例,并通过 μP 从小代理模型迁移超参数。
Elorian 与 Scale AI 发布 Humanity's Sixth Sense(HSS)基准,用 522 道题、288 张图片和 234 段短视频(共 17.6 小时)测试多模态模型的直觉视觉推理。
Apple 研究团队评估 LLM 在 MQM 和 Error Span Annotation(ESA)两种机器翻译质量评估方案下与人类标注者的一致性,测试覆盖 70 个语言对的长上下文测试集及公开的 WMT23、WMT25 数据。
加州 AI 公司 Odyssey 推出世界模型 Odyssey-3 的公开研究预览,用户可用文本提示词生成可实时探索的交互环境,开发者可申请 API 访问。免费在线演示基于 Odyssey-3 Flash,支持第一人称与第三人称视角;基础模型 14B 参数、生成 832 × 480 视频,Odyssey-3 Pro 支持 1280 × 720。
阿布扎比技术创新研究院(TII)发布 Falcon-ASR,这是一个 1.6B 参数的语音识别模型,重点支持阿联酋方言,同时覆盖英语、法语、西班牙语和葡萄牙语。
Microsoft 将在 Teams 会议中支持第三方深度伪造检测方案与身份冒充防护,两项功能已在 Microsoft 365 Roadmap 中进入开发阶段,全球推送后将于 11 月正式可用。认证第三方提供商的合成音视频检测方案会分析会议媒体并将检测信号发送给 Teams,触发会议内提示与控制;冒充防护则在检测到可疑冒充时向用户显示警告和风险指标。
OpenAI 面向所有 ChatGPT 用户推出 GPT-6,并带来名为 Intelligent UI 的新功能,模型以图形、按钮、图表和表单等交互界面呈现答案,替代此前的纯文本输出。
OpenAI 在 ChatGPT 中推出 Intelligent UI 功能,让回答结合图表、表单、可点击按钮等交互式视觉内容,随 GPT-6 一同向所有用户推送。
Google 将 SynthID Detector 开放给公众,任何人都可以检测图片、视频或音频是否由 Google 及其合作方的 AI 生成。该工具可识别 Gemini、Veo、Lyria 等模型嵌入的隐形水印,支持 JPG、PNG、MP4 和 MP3 格式,但只能标记带有 SynthID 水印的内容,并非通用 AI 检测器。
OpenAI 推出名为 Intelligent UI 的新界面,随新 GPT-6 模型于周三开始推送,在对话中大量加入可交互视觉元素,包括可点击按钮、针对特定任务定制的计算器、交互式图表和可编辑图形。
Simon Willison 让 Claude Opus 5.5 为电脑游戏作曲,要求其先设计简单的文本音乐格式并构建可播放的 artifact,还附上示例曲目,目标是达到《猴岛小英雄》初代的音乐水准。结果比预期更贴近《猴岛小英雄》主题,但效果出奇地好。他猜测文本模型作曲能力可能类似此前的 3D 图形能力,是近几个月才涌现的新能力,需用其他新旧模型做实验才能确认。
Simon Willison 用 llm 命令行工具让 Mistral Large 4 生成"穿渔网袜在火星上乱穿马路的犰狳"SVG,与 claude-opus-5.5、gpt-6.1-sol、gemini-3.8-flash 同题对比。该测试源于 wren6991 对基准饱和的调侃,各模型均使用默认推理级别。
Liquid AI 发布 d1 决策模型家族的两款开放权重模型 d1-3B 和 d1-omni-600M(实验性)。
推荐理由:Liquid AI 公开两款决策模型及端侧与 GPU 实测延迟,可据此判断单次前向决策在边缘设备上的可用性。
Google 发布开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量,参数量 7.4 亿。Google 称其在多模态嵌入基准上超过参数量两倍的竞品,在 Massive Text Embedding Benchmark(Code)上得分 78.68,比前代 68.76 提升近 10 分。
法国 AI 实验室 Mistral AI 于周二发布 Mistral Large 4(ML4),这是一款 1 万亿参数的多模态大模型,昵称 Le Chonk,目前仅通过公开护栏端点访问,计划在三周后完成安全测试再开放权重。
Google 周二上线新网站,任何人都可以验证图片、视频或音频是否由 AI 生成。该工具此前在 Google I/O 上仅向部分记者、媒体从业者和研究人员开放测试,现面向所有人开放,支持 JPG、PNG、MP4、MOV、WAV、MP3 等图片、视频和音频格式。
Google 发布浏览器端 AI 平台 Playground,美国成年用户仅用文本输入即可创建游戏,无需编程,可反复调整规则、物理、角色与环境并即时测试。
Google Labs 推出 AI 游戏创作平台 Playground,用户通过文本提示即可构建基于浏览器的游戏,无需编程经验。创作者可选择问答、竞速等类型,指定 2D 或 3D、单人或多人模式,并描述玩法机制与视觉风格,还可上传素材由 AI 转化为游戏资产。
Google 宣布其 SynthID 检测器现已支持所有合作伙伴的水印,并上线独立网站 SynthID.com 供任何人使用。SynthID 是编码在 AI 生成图像、视频像素和音频波形中的隐形信号,Google 称仅 Gemini 就已为超过 1800 亿张图像和视频以及 24 万年时长的音频集成该水印。