Apple Machine Learning Research·· 9 天前AI 评分38
Apple 研究：双语预训练混合优于超参数调优，数据受限场景下性能提升最高相当于 2–13 倍目标数据
Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
AI 导读
Apple 研究团队在 150M 至 1.43B 四种模型规模、约 1000 次预训练实验中对比发现，混入高资源语言数据（英语）比超参数调优更能改善阿拉伯语低资源预训练效果，且差距随模型规模扩大。混合带来的提升在验证损失上相当于 2–3 倍目标数据，在下游任务准确率上相当于 2–13 倍。研究建议优先调整混合比例，并通过 μP 从小代理模型迁移超参数。
来源：Apple Machine Learning Research · machinelearning.apple.com