i14 在 Trainium2 上训练并服务 Laplace 3B

i14 与 AWS 合作，通过 TorchNeuron Native 的原生 PyTorch 支持，把线性注意力模型 Laplace 3B 移植到 AWS Trainium2，并保留其 Gated Linear Attention 设计与 Muon 优化器。据 AWS 博客，在单台 trn2.48xlarge 实例上，Laplace 3B 训练速度约为每秒 12 万 token，截至第 84,210 步（约 440 亿 token）；服务端在 1,280 条并发序列下达到每秒 11,544 个输出 token。博客同时提醒，BF16 重结合会使编译输出与 eager 模式略有差异，需要精确复现时应使用 eager 解码。 Hugging Face 同期发布 TorchNeuron，为 PyTorch 在 AWS Trainium 上提供原生后端，Transformers、Diffusers 和 Kernels 原生支持，2026 年 10 月 20 日起以公开测试版提供，可通过 pip install torch-neuronx 安装；Hugging Face 建议 Neuron 用户直接使用这些库而非经由 Optimum Neuron，并称 Transformers 内置的异步权重加载暂不支持 Neuron，需以 HF_DEACTIVATE_ASYNC_LOAD=1 关闭。 Hugging Face 随后发布 TorchNeuron 性能剖析系列第一篇，介绍在 AWS Trainium 上用 torch.profiler 和 Neuron Explorer 系统分析推理性能、定位耗时分布。

AI 根据报道生成 · 13 小时前更新

1. 10月22日 00:04 · 1 篇报道
   发布 TorchNeuron 系统级性能分析教程
   Hugging Face Blog：TorchNeuron 性能剖析（一）：在 AWS Trainium 上进行系统级性能分析
2. 10月21日 05:14 · 1 篇报道
   AWS与i14在Trainium2上训练并服务Laplace 3B线性注意力模型
   AWS Machine Learning Blog：i14 如何在 AWS Trainium2 上用原生 PyTorch 训练与部署 Laplace 3B 线性注意力模型
3. 10月19日 08:00 · 1 篇报道
   Hugging Face 集成 TorchNeuron 原生后端
   Hugging Face Blog：Hugging Face 推出 TorchNeuron，可直接在 AWS Trainium 上运行模型