VocabX 如何为小模型定制词表,将推理成本降低 77%
Dharma AI 在 Hugging Face 博客中介绍即将发布的 VocabX 论文,方法是在不改动基座模型的前提下,按每个 token 的推理成本而非出现频率重建领域专用词表。
Dharma AI 在 Hugging Face 博客中介绍即将发布的 VocabX 论文,方法是在不改动基座模型的前提下,按每个 token 的推理成本而非出现频率重建领域专用词表。
i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 支持,将线性注意力模型 Laplace 3B 移植到 AWS Trainium2,并保留其 Gated Linear Attention(GLA)设计与 Muon 优化器。
NVIDIA 在德国于利希超级计算中心的欧洲首台百亿亿次超算 JUPITER 上完成 104 比特容错量子计算模拟,称这是迄今规模最大的容错量子处理器完整模拟。
微软研究院发布零知识虚拟机 Magnetar,可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行,在 15 个基准程序上比现有最快 zkVM 平均快 10 到 39 倍,证明验证约 12 毫秒。
推荐理由:微软研究院公开 Magnetar 的技术设计与基准数据,可了解零知识证明在通用程序上的性能与密码学取舍。
微软研究人员提出 Probabilistic Bias Correction(PBC)方法,用机器学习识别并纠正现有天气预报模型的系统性偏差,相关成果发表在 Nature 上,工具已开源。
Apple 研究团队提出 Minions,一个聚合 macOS 设备上闲置 Apple Silicon GPU 的动态分布式虚拟 GPU 云,用于执行大规模机器学习推理任务。该系统提供灵活的 GPU 推理任务执行、容错能力和高效资源利用,让团队无需额外采购 GPU 即可利用现有硬件。研究经验表明,在集中式 GPU 资源受限的环境中,闲置 macOS 设备可转化为实用的分布式 GPU 推理平台。