跳到正文
10月21日周三
10月14日周三
  1. 论文Apple Machine Learning Research22

    Apple 研究:用语音基础模型的语种选择性维度直接检测语码转换

    Apple 研究团队提出一种轻量方法,直接从句语音频中检测语码转换(CS),无需依赖多语种转录。该方法利用预训练语音编码器帧级语种信息,通过单语录音识别语种选择性隐藏状态维度并聚合其帧级激活进行 CS 预测。在 CS-FLEURS 的 14 个语种对上,Whisper-small 编码器取得平均 F1 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。

  2. 论文Apple Machine Learning Research38

    Apple 首次从头预训练三模态掩码扩散模型 MDM,3B 规模验证统一设计

    Apple 提出首个从头预训练的三模态掩码扩散模型(MDM),在文本、图文和音频-文本数据上统一训练,并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析给出基于 SDE 的重参数化方法,将物理批次与逻辑批次解耦,免去最优批次调参。初步模型在 3B 规模(6.4T tokens)下于文本生成、T2I 和 T2S 任务均取得强劲结果。

10月8日周四