为什么 AI 智能体渗透测试的难点在 harness 而非模型
AI 智能体渗透测试的工程难点在模型之外的 harness,而非模型本身。AppSec 团队用通用模型即可让 AI 智能体攻击自家 Web 应用,但让攻击可安全用于生产环境并产生可行动结果的能力都来自 harness。文章以 OpenAI 披露的 Hugging Face 入侵事件为例展开。
AI 智能体渗透测试的工程难点在模型之外的 harness,而非模型本身。AppSec 团队用通用模型即可让 AI 智能体攻击自家 Web 应用,但让攻击可安全用于生产环境并产生可行动结果的能力都来自 harness。文章以 OpenAI 披露的 Hugging Face 入侵事件为例展开。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,模型评估仍是"不断演进的科学",不同评测之间难以有效比较,且失效速度较快。她认为嵌入式评估器生态需要更多标准化,才能确定谁能在哪些任务上胜任评估者。评估对象正从模型本身扩展到包含 harness 和智能体的整个系统,而智能体评估既困难又昂贵。