Hugging Face 政策负责人:嵌入式 AI 评估器并非易行的解决方案
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,模型评估仍是"不断演进的科学",不同评测之间难以有效比较,且失效速度较快。她认为嵌入式评估器生态需要更多标准化,才能确定谁能在哪些任务上胜任评估者。评估对象正从模型本身扩展到包含 harness 和智能体的整个系统,而智能体评估既困难又昂贵。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,模型评估仍是"不断演进的科学",不同评测之间难以有效比较,且失效速度较快。她认为嵌入式评估器生态需要更多标准化,才能确定谁能在哪些任务上胜任评估者。评估对象正从模型本身扩展到包含 harness 和智能体的整个系统,而智能体评估既困难又昂贵。
a16z 合伙人 Olivia Moore 发布消费级 AI 应用 Top 100 报告,ChatGPT 仍是最大玩家,Suno、ElevenLabs 等小厂展现出持久力。报告指出社交、约会、市场、零售、旅游、金融、健康等约六个消费品类在榜单中完全没有 AI 玩家。她认为消费级 AI 仍处早期,机会在于跳出订阅和 API 收费,转向广告等变现方式,并用更便宜或开源模型降低成本。