Terminal X 借助 GPT-6.1 以 88.6% 匹配资深投资人判断
Terminal X 的 Eval Agent 使用 GPT-6.1 Sol,按 54 项标准评分,与资深投资人判断的匹配度达 88.6%。相比基线,它能多捕捉 25% 偏离基金投资授权的输出。
Terminal X 的 Eval Agent 使用 GPT-6.1 Sol,按 54 项标准评分,与资深投资人判断的匹配度达 88.6%。相比基线,它能多捕捉 25% 偏离基金投资授权的输出。
Databricks 发布面向生产智能体的持久记忆架构 MemCurrent,已支撑新的 Agent Bricks Memory 和 Genie。它结合记录原始会话轨迹的 episodic memory 与存放提炼知识的 derived memory,通过插件、智能体工具和离线 dreaming 管道三种方式读写与整理记忆。
推荐理由:原文给出内部基准上的通过率、token 与延迟对比,并拆解记忆类型和抽取策略的消融结果,可据此判断持久记忆在生产智能体中的取舍。
Ai2 在 Hugging Face 发布 FairStress 基准,用于衡量 LLM 在招聘、医疗、借贷等决策中的群体公平性,不止看最终选择,还看模型面对对抗性前缀时是否更容易改判。
推荐理由:FairStress 把公平性评测从最终选择扩展到模型被说服后是否改判,并给出可复用的开源基准与数据审计线索。
OpenAI 正在改进 ChatGPT 在低资源编程语言上的表现,并新增了针对软件工程、SQLite 和 COBOL 迁移的评测。原文未披露具体模型版本、分数或可用性细节。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:用 GPT-4.1 从智能体自身训练任务轨迹中提炼行为准则,追加到系统提示词后,在 τ²-bench 零售域取得 67.5% Pass^4,超过所有前沿模型条目和微调模型 RAFT-30B-A3B 的 61.4%。
推荐理由:原文给出同一套提示词级记忆在零售与航空两个客服域上的完整对照数据,可据此判断不更新权重也能提升智能体可靠性。
AWS SMGS 团队基于 Amazon Bedrock AgentCore Evaluations 搭建了覆盖从首次提交到生产运行的九阶段智能体评测框架,用于其面向全球销售团队的多智能体系统。
Databricks 以内部应用 Slide Hub(约 700 份演示文稿、2.3 万条幻灯片)为基准,实测 Lakebase Postgres 内置搜索在 1M 到 4M 行公开语料下的表现。
Databricks 的 Predictive AI Functions 进入 Beta,让分析师和业务用户通过 SQL 原生函数直接完成预测、驱动因素分析和异常检测,无需自建模型或管理基础设施。
LangChain 在 LangSmith 平台博客中解答了 Agent Evals 的常见问题,建议从阅读 trace 入手,先选一个关注的行为、用 10 到 20 个样例建数据集并跑出基线实验。
LangChain 通过 harness engineering 将其编码智能体在 Terminal Bench 上的排名从 Top 30 提升至 Top 5,核心手段包括自我验证、追踪和上下文优化。
LangChain 表示 GLM-5、MiniMax M2.7 等开源模型在文件操作、工具调用和指令遵循等核心智能体任务上已能匹配闭源前沿模型,且成本和延迟更低。文章称将展示其评测结果,并说明如何在 Deep Agents 中使用这些模型。
推荐理由:LangChain 用自家评测说明开源模型在智能体核心任务上的位置,可据此判断成本与延迟取舍。
Amazon SageMaker JumpStart 提供预训练模型目录,可通过 SageMaker Python SDK 部署模型、运行轻量可重复的性能测试,并在测试完成后删除端点。
Orange Business 基于 LangChain 与 LangSmith 构建旗舰 AI 平台 Live Intelligence,已部署给 120,000 名 Orange 员工,并被法国及欧洲 150+ 客户采用。
微软研究院提出 StudentSim,一个在真实学习者测试前评估和改进 AI 导师的研究系统,通过公开的去标识化学习记录训练个性化学生模拟器,并配套推出覆盖国际象棋、第二语言英语写作和数学的 StudentSimEval 基准与评测协议。
Apple 研究团队评估 LLM 在 MQM 和 Error Span Annotation(ESA)两种机器翻译质量评估方案下与人类标注者的一致性,测试覆盖 70 个语言对的长上下文测试集及公开的 WMT23、WMT25 数据。
英伟达团队从 Nemotron 3 出发,用监督微调、强化学习和生成-验证-精炼推理流程,在 IOI 2026 与 IMO 2026 两项竞赛中达到金牌水平。
推荐理由:原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与数据集,可据此复现领域专家模型。