AWS 详解 Deep Insight 多智能体系统的 5 个生产挑战与解法
AWS 解决方案架构团队开源了多智能体系统 Deep Insight,并梳理生产化过程中的五个核心挑战:跨智能体执行流控制、各智能体模型选型、生产运行、AI 生成代码的安全执行以及监控管理。
AWS 解决方案架构团队开源了多智能体系统 Deep Insight,并梳理生产化过程中的五个核心挑战:跨智能体执行流控制、各智能体模型选型、生产运行、AI 生成代码的安全执行以及监控管理。
Amazon Quick 可通过 AWS PrivateLink 的 VPC 端点与 VPC 连接两条私有路径访问企业本地数据源,使流量经 AWS 骨干网传输而不经过公共互联网。
基于 Strands Agents 构建的 Adaptive Agentic Intelligence Framework(AAIF)将 AI 请求分三层处理:用 llama3.2:1b 作为编排器分类请求,常规任务由 Ollama 本地运行的 SLM 处理,复杂分析则通过 boto3 调用 Amazon Bedrock 的前沿模型。
在单台 trn2.48xlarge 上,torchtitan 可通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备,用三种方式训练 Qwen3-4B-Instruct-2507:Transformers v5 建模后端、torchtitan 原生 Qwen3 配置,以及叠加 NKI MoE kernel。
Hugging Face 博客发布 TorchNeuron 性能剖析系列第一篇,介绍如何在 AWS Trainium 上系统分析推理性能。
Octave 在 Amazon Bedrock 上用 Cohere Embed v4 构建三层多租户 AI 基础平台,将每个用例的部署时间缩短 50%。
Eon 基于 Amazon Bedrock AgentCore 搭建统一的 MCP Gateway,把原先分散在各云平台的逐工具凭证和本地 MCP 进程替换为单一认证网关,让开发者和自主智能体统一访问 AWS、GCP、Azure 三朵云上的调查工具。
AWS 与 Keyfactor 联合发布参考架构,用 Keyfactor EJBCA 的 X.509 PKI 为基于 MCP 的 AI 智能体建立可验证、可撤销的加密身份。
在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 做多语言推理微调:基座模型在 50 例测试中仅 22% 用目标语言推理,英语 100%、法语和西班牙语 0%、德语 10%、意大利语 0%。实验表明 SFT 承担主要工作,GRPO 在存在提升空间时进一步优化,训练采用 LoRA,GPT-OSS 使用 4× ml.g6e.12xlarge。
Amazon Quick 与 Amazon Bedrock AgentCore 组合,让供应链管理者用自然语言跨系统查询并执行操作。演示中一次查询返回三项供应中断,其中 TechComp 停产事件涉及 23 笔订单、$750K 风险金额和三天库存。AgentCore 通过 MCP 工具层连接 ERP、监控、采购等系统,所有变更需指定人工审批。
Hamlet 借助 Databricks Lakebase Postgres 为每个 pull request 创建独立的生产数据分支,让工程师和 AI 编码智能体在不触碰生产环境的情况下用真实数据测试变更,且每次合并仍需人工批准。该平台索引并转写全美超过 7,200 个治理机构的会议,覆盖 19,000 个市政府、3,000 个县政府和约 80,000 个特殊区。
该教程演示以 Strategy Mosaic 作为语义层,在 Amazon Redshift 与 Amazon Aurora 上通过两个链接模型建模 C360 域,无需 ETL。
在 AWS 上可用 Denodo Platform 作为语义层,通过 Denodo MCP Server 将受治理视图暴露给托管在 Amazon Bedrock AgentCore 上的智能体,并以 VQL 查询。
三位拥有十余年 Java 经验的 Java Champion 分享了在生产与开源项目中使用 GitHub Copilot 的实践。Vlad Mihalcea 借助 Copilot 将 Hypersistence Optimizer 新功能开发从数周缩短至两天,并用 65 篇文章训练自定义技能模仿其写作风格。
英国数字健康公司 Numan 用 LangGraph 构建 AI 健康教练 Nu,由 supervisor 模型调度多个领域子智能体,并以 LangSmith 支撑评测。团队发现单轮固定用例和预写多轮脚本都会误判教练行为,改为按类别由 LLM judge 打分,且所有评测都跑在生产同一张 LangGraph 图上。评测套件可跨模型供应商复用,使一次前沿模型迁移从数周手动测试缩短到一天。
Deepgram 与 AWS 团队将 Nova-3 语音转文字模型移植到 AWS Trainium2,用于联络中心分析、医疗转写等离线批处理场景,最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。
AWS 博客演示以 AtScale 作为语义层、在 Amazon Redshift Serverless 上构建 Customer 360 智能体查询方案。
GitHub Copilot 应用中的会话可直接通过“Open in VS Code”在 VS Code 中打开,保留任务、计划和对话上下文,并沿用同一 worktree。用户可在 VS Code 中逐行审查 diff、手动修改代码、用集成终端运行测试并在本地验证,最后提交并推送到该会话关联的 pull request。
超过 3000 家组织在 Databricks 上运行 dbt,文章给出让 dbt 管道更便宜、更快、更易运维的实践。在 TPC-DI 基准中,把服务层全量重算改为物化视图带来 17x 加速;Predictive Optimization 可自动执行 OPTIMIZE、VACUUM 与统计收集,Liquid Clustering 替代分区设计。
AWS 在 vLLM 中实现双向 KV 传输,让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在基于 Amazon EC2 P5en 实例和 EFA 的 1P1D 部署上,该功能使 Qwen3-32B 的 TTFT 最多降低 1.6 倍、zai-org/GLM-5-FP8 最多降低 3.3 倍。
AWS SMGS 团队基于 Amazon Bedrock AgentCore Evaluations 搭建了覆盖从首次提交到生产运行的九阶段智能体评测框架,用于其面向全球销售团队的多智能体系统。
Atlassian 在 Databricks 上构建了基于 OCSF 的安全湖仓,以应对其全球规模下积累二十年的日志噪声问题。该方案旨在降低安全数据噪声,提升日志分析效率。
vLLM 团队借助智能体辅助的 CuTe DSL 优化,加速 Kimi K3 在 NVIDIA GB300 上的解码。团队通过限定范围的改动、正确性测试和可复现基准,确保这些优化能够负责任地上线。
Databricks 以内部应用 Slide Hub(约 700 份演示文稿、2.3 万条幻灯片)为基准,实测 Lakebase Postgres 内置搜索在 1M 到 4M 行公开语料下的表现。
LangChain 在 LangSmith 平台博客中解答了 Agent Evals 的常见问题,建议从阅读 trace 入手,先选一个关注的行为、用 10 到 20 个样例建数据集并跑出基线实验。
LangChain 官方博客介绍其开源 harness Deep Agents 如何用中间件缓解上下文膨胀,包括卸载、摘要、技能、子智能体和长期记忆五类技术。
推荐理由:LangChain 官方拆解 Deep Agents 五种上下文管理中间件的触发阈值与实现方式,可对照自身 Agent 的上下文膨胀问题。
基于 Amazon Bedrock AgentCore 构建的多智能体 IDP 系统,用 8 个专用智能体在两条图工作流中完成文档分类、提取、校验与自我学习,新文档类型无需手工配置模板,部署通常可在 20 分钟内完成。
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,可自主调查 CNAPP 与云原生来源的安全发现并评估修复安全性,再生成带护栏与治理的修复方案。该方案在 90 天内将关键云暴露减少超过 90%,且未出现生产问题。Tami 由调查、安全评分、修复和代码生成四类专用智能体组成,通过单一 API 调用最适合各任务的基础模型。
LangChain 借助 Deep Agents CLI 与 docs-code-samples 技能,把文档中的内联代码示例迁移为可测试的独立文件,并自动加上 :snippet-start: / :snippet-end: 标记、运行测试、生成 Mintlify 片段。
LangChain 通过 harness engineering 将其编码智能体在 Terminal Bench 上的排名从 Top 30 提升至 Top 5,核心手段包括自我验证、追踪和上下文优化。
GitHub 为密钥扫描训练了专用的 ModernBERT 分类器,替代此前的 LLM 流水线,在保持正则候选召回的基础上结合文件路径、变量名和上下文判断是否为真实凭据。该方案使推送后扫描中位执行时间缩短 86%、服务成本降低逾 98%,用户对告警的接受度提升 11.5%,并让通用密钥检测得以扩展到推送保护阶段。
Orca Security 与 AWS 合作,基于 Amazon Bedrock 构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。相比最初基线,查询成本降低 90%、输入 token 减少 93%、延迟降低 75%,目前每天处理数千次查询,响应时间 15 秒。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可自动生成 PowerPoint 演示文稿,内部测试中完成时间不到 90 秒。
Amazon SageMaker JumpStart 提供预训练模型目录,可通过 SageMaker Python SDK 部署模型、运行轻量可重复的性能测试,并在测试完成后删除端点。
在 AI Runtime 上微调 Qwen 3.8 27B 的训练时间从 7 小时 44 分钟降至 1 小时 17 分钟,提速 6 倍,训练吞吐从 9,396 tok/s 提升。
Deep Agents SDK 通过卸载、摘要和文件系统抽象来管理长时 AI 任务的上下文,以防止上下文腐化。该 SDK 面向长时间运行的任务场景,将上下文管理拆解为 offloading、summarization 与 filesystem abstraction 三种手段。
Databricks 发布 2026 年实时分析实践指南,聚焦企业如何将分析负载从批处理转向实时处理。数据始终是业务决策的核心,而多数分析工作负载仍以批处理为主。
Amazon Bedrock 的托管授权支持从中心账户订阅 AWS Marketplace 私有定价优惠(MPPO),再向组织内多个账户分发模型访问权限。
针对 MoE 模型在解码阶段因 token 行数过薄导致的 GPU 利用率瓶颈,团队通过 Swap-AB 转置让专家维度 N=8192 进入 WGMMA 首个操作数位置,在 H200 上实现端到端输出吞吐提升 2–4%,该优化已合入 vLLM 0.24.0 及更高版本。
AWS 发布 Ray LLM Deep Learning Containers,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,将 prefill 与 decode 分离到不同节点并统一在一个 OpenAI 兼容端点后。