Apple 首次从头预训练三模态掩码扩散模型 MDM，3B 规模验证统一设计

Apple 提出首个从头预训练的三模态掩码扩散模型（MDM），在文本、图文和音频-文本数据上统一训练，并系统分析多模态缩放规律、模态混合比例与噪声调度。其批次大小分析给出基于 SDE 的重参数化方法，将物理批次与逻辑批次解耦，免去最优批次调参。初步模型在 3B 规模（6.4T tokens）下于文本生成、T2I 和 T2S 任务均取得强劲结果。