Deepgram 如何用 AWS Trainium2 优化语音 AI 推理
Deepgram 与 AWS 团队将 Nova-3 语音转文字模型移植到 AWS Trainium2，用于联络中心分析、医疗转写等离线批处理场景，最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。
#推理
安全实践AWS Machine Learning BlogAI 评分3131
安全实践vLLM BlogAI 评分4040 在 vLLM 中极致优化 Kimi K3：借助 CuTe DSL 加速 GB300 解码
vLLM 团队借助智能体辅助的 CuTe DSL 优化，加速 Kimi K3 在 NVIDIA GB300 上的解码。团队通过限定范围的改动、正确性测试和可复现基准，确保这些优化能够负责任地上线。
安全实践AWS Machine Learning BlogAI 评分4040 Amazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在解码阶段因 token 行数过薄导致的 GPU 利用率瓶颈，团队通过 Swap-AB 转置让专家维度 N=8192 进入 WGMMA 首个操作数位置，在 H200 上实现端到端输出吞吐提升 2–4%，该优化已合入 vLLM 0.24.0 及更高版本。