Apple 研究：用语音基础模型的语种选择性维度直接检测语码转换
Apple 研究团队提出一种轻量方法，直接从句语音频中检测语码转换（CS），无需依赖多语种转录。该方法利用预训练语音编码器帧级语种信息，通过单语录音识别语种选择性隐藏状态维度并聚合其帧级激活进行 CS 预测。在 CS-FLEURS 的 14 个语种对上，Whisper-small 编码器取得平均 F1 0.798，高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。
#语音
论文Apple Machine Learning ResearchAI 评分2222 论文Apple Machine Learning ResearchAI 评分3838 Apple 首次从头预训练三模态掩码扩散模型 MDM，3B 规模验证统一设计
Apple 提出首个从头预训练的三模态掩码扩散模型（MDM），在文本、图文和音频-文本数据上统一训练，并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析给出基于 SDE 的重参数化方法，将物理批次与逻辑批次解耦，免去最优批次调参。初步模型在 3B 规模（6.4T tokens）下于文本生成、T2I 和 T2S 任务均取得强劲结果。