Ai2 发布 FairStress 基准,评测 LLM 决策公平性
Ai2 在 Hugging Face 发布 FairStress 基准,用于衡量 LLM 在招聘、医疗、借贷等决策中的群体公平性,不止看最终选择,还看模型面对对抗性前缀时是否更容易改判。
推荐理由:FairStress 把公平性评测从最终选择扩展到模型被说服后是否改判,并给出可复用的开源基准与数据审计线索。
Ai2 在 Hugging Face 发布 FairStress 基准,用于衡量 LLM 在招聘、医疗、借贷等决策中的群体公平性,不止看最终选择,还看模型面对对抗性前缀时是否更容易改判。
推荐理由:FairStress 把公平性评测从最终选择扩展到模型被说服后是否改判,并给出可复用的开源基准与数据审计线索。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve:用 GPT-4.1 从智能体自身训练任务轨迹中提炼行为准则,追加到系统提示词后,在 τ²-bench 零售域取得 67.5% Pass^4,超过所有前沿模型条目和微调模型 RAFT-30B-A3B 的 61.4%。
推荐理由:原文给出同一套提示词级记忆在零售与航空两个客服域上的完整对照数据,可据此判断不更新权重也能提升智能体可靠性。
Ai2 发布 HiRO-ACE 系统的新版本 HiRO-ACEv2,其新降尺度模型 HiROv2 可同时预测多种高分辨率气象场,并提升对极端事件的预测能力。在给定粗化的 X-SHiELD 数据时,HiROv2 对目标模拟的高分辨率统计量匹配误差在 3% 以内,即使事件在百万数据点中仅出现一次;它还能估算热带气旋总能量,并生成具有真实风眼和雨带的飓风。
推荐理由:读者可了解 AI 气候模拟如何以约 1/300 成本生成 3 km 全球极端天气数据,以及其当前适用范围限制。
Datalab 发布开源文档解析基准 OmniParseBench,用 16,288 项是/否测试覆盖 2,937 页、2,343 份文档和 92 种语言,数据集与代码公开。
微软研究人员提出 Probabilistic Bias Correction(PBC)方法,用机器学习识别并纠正现有天气预报模型的系统性偏差,相关成果发表在 Nature 上,工具已开源。