跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

16 条精选近 30 天 16 条共收录 72 条

更新

评测基准的精选

10月21日周三第 1–16 条
  1. Databricks Blog62

    Databricks 推出 MemCurrent 持久记忆架构,已用于 Agent Bricks Memory 与 Genie

    Databricks 发布面向生产智能体的持久记忆架构 MemCurrent,已支撑新的 Agent Bricks Memory 和 Genie。它结合记录原始会话轨迹的 episodic memory 与存放提炼知识的 derived memory,通过插件、智能体工具和离线 dreaming 管道三种方式读写与整理记忆。

    推荐理由:原文给出内部基准上的通过率、token 与延迟对比,并拆解记忆类型和抽取策略的消融结果,可据此判断持久记忆在生产智能体中的取舍。

  2. Hugging Face Blog60

    Ai2 发布 FairStress 基准,评测 LLM 决策公平性

    Ai2 在 Hugging Face 发布 FairStress 基准,用于衡量 LLM 在招聘、医疗、借贷等决策中的群体公平性,不止看最终选择,还看模型面对对抗性前缀时是否更容易改判。

    推荐理由:FairStress 把公平性评测从最终选择扩展到模型被说服后是否改判,并给出可复用的开源基准与数据审计线索。

10月20日周二
  1. Hugging Face Blog60

    ALTK-Evolve 用学习到的记忆让 GPT-4.1 客服智能体登顶 τ²-bench 零售榜

    IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:用 GPT-4.1 从智能体自身训练任务轨迹中提炼行为准则,追加到系统提示词后,在 τ²-bench 零售域取得 67.5% Pass^4,超过所有前沿模型条目和微调模型 RAFT-30B-A3B 的 61.4%。

    推荐理由:原文给出同一套提示词级记忆在零售与航空两个客服域上的完整对照数据,可据此判断不更新权重也能提升智能体可靠性。

10月19日周一
10月16日周五
  1. The Decoder78

    GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,单题成本 2.40 美元

    在 TheoPhysEval 基准上,GPT-6-Astra 以与顶尖专家相当的准确度解出 50 道未发表理论物理计算题中的 49 道,单题成本 2.40 美元。部分看似失败的题目中,专家自己的参考解答被发现有误。研究者认为物理领域尚未出现数学领域那样的突破,因为智能体缺乏“品味”,但他们仍认为自主的顶级 AI 研究可能很快到来,并已看到这对年轻物理学家培养和领域机会平等的影响。

    推荐理由:读者可了解 TheoPhysEval 上智能体解物理题的表现,以及研究者对自主科研进度的判断。

10月14日周三
  1. Latent Space78

    AINews:Gemini 4 Argon 正式发布,Vals AI 谈基准测试

    Google 的 Gemini 4 Argon 正式 GA,覆盖 Gemini API、Gemini 应用、Search AI Mode 和 Antigravity,入门 API 价格为每百万输入/输出 token 2 美元/10 美元,缓存输入折扣 95%,Artificial Analysis 称 11 月 30 日后价格将翻倍至 4 美元/20 美元。

    推荐理由:汇总了 Gemini 4 Argon 的定价、独立评测与可靠性争议,便于对照官方说法与第三方结果。

  2. LangChain Blog62

    LangChain 称 GLM-5 与 MiniMax M2.7 等开源模型在智能体任务上跨过门槛

    LangChain 表示 GLM-5、MiniMax M2.7 等开源模型在文件操作、工具调用和指令遵循等核心智能体任务上已能匹配闭源前沿模型,且成本和延迟更低。文章称将展示其评测结果,并说明如何在 Deep Agents 中使用这些模型。

    推荐理由:LangChain 用自家评测说明开源模型在智能体核心任务上的位置,可据此判断成本与延迟取舍。

  3. The Decoder84

    Google 全球上线 Gemini 4 Argon,取代 Pro 系列成为新前沿模型

    Google 开始全球上线 Gemini 4 Argon,开发者可通过 AI Studio 和 Gemini 平台的 API 使用,AI Ultra 订阅者可在 Google Antigravity 中使用,Ultra 和 Pro 订阅者可通过 Gemini 应用和 Google 搜索的 AI 模式访问;免费用户和 Plus 订阅者只能使用较弱的 Flash 模型。

    推荐理由:材料给出 Gemini 4 Argon 的开放范围、定价与自报基准,可据此判断前沿模型的可用性与成本变化。

10月13日周二
10月8日周四
  1. Simon Willison78

    Anthropic 发布 Claude Haiku 5.5,定价对齐 GPT-6 Luna

    Anthropic 发布快速低成本模型 Claude Haiku 5.5,定价为每百万 token 输入 0.10 美元、输出 0.50 美元,与 OpenAI 上月发布的 GPT-6 Luna 相同,但超过 100,000 token 后涨价 5 倍至 0.50/2.50 美元。

    推荐理由:作者实测了 Haiku 5.5 的定价、tokenizer 与推理档位,可据此判断它在长上下文场景下与 GPT-6 Luna 的取舍。

  2. The Decoder77

    Anthropic 发布 Claude Haiku 5.5,价格较 Haiku 4.5 平均降约 75%

    Anthropic 发布 Claude Haiku 5.5,称其为迄今最快、最便宜的小模型,平均价格比 Haiku 4.5 低约 75%;对 10 万 token 以内的提示词降价最高达 90%,超过 10 万 token 的提示词价格则是前者的五倍。

    推荐理由:读者可对比 Haiku 5.5 与 Haiku 4.5、GPT-6 Luna 的基准和每百万 token 价格,判断小模型成本与能力的取舍。

10月7日周三
  1. Latent Space85

    OpenAI 内部模型发布 722 篇数学手稿,称解决 500 个开放问题中的 90 个

    OpenAI 从一个未公开的内部前沿模型发布 722 篇数学手稿,归入 372 个相关结果族,来自约 4000 个研究问题的评估,平均每个结果约用 3 小时 ChatGPT Pro 思考算力。

    推荐理由:OpenAI 内部模型一次性产出 722 篇数学手稿,读者可据此了解 AI 数学研究的规模与验证争议。