OpenAI 前沿 AI 民主治理第二部分:赋能网络防御者
OpenAI 发布前沿 AI 民主治理系列第二部分,提出通过前沿 AI、更强保障措施、现代化网络安全和更具韧性的公共机构来赋能网络防御者。该蓝图聚焦于利用前沿 AI 强化防御方能力,并配套更完善的防护机制与网络安全现代化举措。
OpenAI 发布前沿 AI 民主治理系列第二部分,提出通过前沿 AI、更强保障措施、现代化网络安全和更具韧性的公共机构来赋能网络防御者。该蓝图聚焦于利用前沿 AI 强化防御方能力,并配套更完善的防护机制与网络安全现代化举措。
AI 智能体渗透测试的工程难点在模型之外的 harness,而非模型本身。AppSec 团队用通用模型即可让 AI 智能体攻击自家 Web 应用,但让攻击可安全用于生产环境并产生可行动结果的能力都来自 harness。文章以 OpenAI 披露的 Hugging Face 入侵事件为例展开。
MIT Technology Review 文章指出,OpenAI 的 Dots、Meta 的 Muse 等个人 AI 智能体应用上线后,智能体流量在 8 月至 9 月增长两倍,Muse 首月下载量达 500 万次,智能体成为既非人类也非传统机器人的第三类网站访客。
Andrej Karpathy 将大语言模型用户分为四层:约 60 亿人几乎未接触过 LLM,10 至 20 亿人只用免费版聊天机器人,约 2000 万数学和编程专业用户已用智能体完成过去需数周的项目,而仅约 5000 人能接触内部前沿系统。他称“外部世界只看到了预览”,这批人看到的是数千智能体协作数周完成软件巨型项目、挖掘零日漏洞、推进数学前沿,人类审查与理解已开始落后。
个人 AI 智能体正通过 OAuth 授权、浏览器保存的密码、API key 和个人访问令牌等方式进入企业系统,员工无需提交工单即可完成连接。
微软 CEO Satya Nadella 在最新博文中改用特朗普偏好的"Super Intelligence"一词,取代"Artificial Intelligence",同时继续抨击 OpenAI 与 Anthropic。
a16z 合伙人 Olivia Moore 发布消费级 AI 应用 Top 100 报告,ChatGPT 仍是最大玩家,Suno、ElevenLabs 等小厂展现出持久力。报告指出社交、约会、市场、零售、旅游、金融、健康等约六个消费品类在榜单中完全没有 AI 玩家。她认为消费级 AI 仍处早期,机会在于跳出订阅和 API 收费,转向广告等变现方式,并用更便宜或开源模型降低成本。
MIT Technology Review 刊文指出,AI 的拒绝机制正成为 AI 安全的核心,但这一机制本质上是概率性的,并不可靠。文章提到,Anthropic 在 2021 年提出大语言模型应做到 helpful、honest、harmless,如今模型被训练拒绝大量提示词,但拒绝能力常会失效,且企业正以高度保密的方式划定拒绝边界。
The Verge 的 Hayden Field 在 Decoder 播客中对比 Meta 的 Muse 与 OpenAI 的 Dots 两款消费级 AI 智能体,二者都源自 OpenClaw 的模型加 harness 加浏览器思路,Muse 免费面向大众,Dots 面向每月 100 至 200 美元订阅用户并推出营销、法律等专业版本。