Deepgram 如何用 AWS Trainium2 优化语音 AI 推理
Deepgram 与 AWS 团队将 Nova-3 语音转文字模型移植到 AWS Trainium2,用于联络中心分析、医疗转写等离线批处理场景,最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。
Deepgram 与 AWS 团队将 Nova-3 语音转文字模型移植到 AWS Trainium2,用于联络中心分析、医疗转写等离线批处理场景,最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。
LangChain 借助 Deep Agents CLI 与 docs-code-samples 技能,把文档中的内联代码示例迁移为可测试的独立文件,并自动加上 :snippet-start: / :snippet-end: 标记、运行测试、生成 Mintlify 片段。
针对 MoE 模型在解码阶段因 token 行数过薄导致的 GPU 利用率瓶颈,团队通过 Swap-AB 转置让专家维度 N=8192 进入 WGMMA 首个操作数位置,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及更高版本。
Parseable 是一款兼容 OpenTelemetry 的全新可观测性工具,提供 AGPL 开源 Rust 实现(单个约 180MB 二进制文件)、企业版和云托管选项。