Numan 如何用 LangGraph 和 LangSmith 打造评测优先的 AI 健康教练
英国数字健康公司 Numan 用 LangGraph 构建 AI 健康教练 Nu,由 supervisor 模型调度多个领域子智能体,并以 LangSmith 支撑评测。团队发现单轮固定用例和预写多轮脚本都会误判教练行为,改为按类别由 LLM judge 打分,且所有评测都跑在生产同一张 LangGraph 图上。评测套件可跨模型供应商复用,使一次前沿模型迁移从数周手动测试缩短到一天。
英国数字健康公司 Numan 用 LangGraph 构建 AI 健康教练 Nu,由 supervisor 模型调度多个领域子智能体,并以 LangSmith 支撑评测。团队发现单轮固定用例和预写多轮脚本都会误判教练行为,改为按类别由 LLM judge 打分,且所有评测都跑在生产同一张 LangGraph 图上。评测套件可跨模型供应商复用,使一次前沿模型迁移从数周手动测试缩短到一天。
AWS SMGS 团队基于 Amazon Bedrock AgentCore Evaluations 搭建了覆盖从首次提交到生产运行的九阶段智能体评测框架,用于其面向全球销售团队的多智能体系统。
NordLayer 指出,员工在工作时使用个人 ChatGPT 账号可能泄露公司敏感数据,即使企业已提供获批的 Enterprise 工作区。IT 团队需要排查未授权的 AI 使用,并在敏感信息进入个人账号前加以拦截。
GitHub 为密钥扫描训练了专用的 ModernBERT 分类器,替代此前的 LLM 流水线,在保持正则候选召回的基础上结合文件路径、变量名和上下文判断是否为真实凭据。该方案使推送后扫描中位执行时间缩短 86%、服务成本降低逾 98%,用户对告警的接受度提升 11.5%,并让通用密钥检测得以扩展到推送保护阶段。
AWS 发文解读国际标准 ISO/IEC 42005:2025,指导企业将 AI 系统影响评估纳入整体风险管理体系。该标准覆盖评估全生命周期,Annex D 提供与现有评估流程整合的方法以避免重复,Annex E 提供独立评估模板。