OpenAI 前沿 AI 民主治理第二部分:赋能网络防御者
OpenAI 发布前沿 AI 民主治理系列第二部分,提出通过前沿 AI、更强保障措施、现代化网络安全和更具韧性的公共机构来赋能网络防御者。该蓝图聚焦于利用前沿 AI 强化防御方能力,并配套更完善的防护机制与网络安全现代化举措。
OpenAI 发布前沿 AI 民主治理系列第二部分,提出通过前沿 AI、更强保障措施、现代化网络安全和更具韧性的公共机构来赋能网络防御者。该蓝图聚焦于利用前沿 AI 强化防御方能力,并配套更完善的防护机制与网络安全现代化举措。
AI 智能体渗透测试的工程难点在模型之外的 harness,而非模型本身。AppSec 团队用通用模型即可让 AI 智能体攻击自家 Web 应用,但让攻击可安全用于生产环境并产生可行动结果的能力都来自 harness。文章以 OpenAI 披露的 Hugging Face 入侵事件为例展开。
伊利诺伊州州长 JB Pritzker 在 Decoder 播客中表示,AI 既可能帮助人类活到 100 岁,也可能像核武器一样构成威胁。他主张政府在数据中心、隐私和反垄断问题上应更积极保护民众,而非一味与企业合作,并称正与 Bears 和 NFL 商谈让球队留在伊利诺伊州。
Salesforce Agentforce 中,Flow 可将记录创建或案例更新事件的数据传入智能体提示词,Email-to-Case 与 Web-to-Case 则把客户来信转为案例记录,二者均为标准文档化功能。将两者串联后,继承式智能体可能突破原本为软件设计的治理边界。
Import AI 作者在 10 月 17 日曼谷 IMF 会议上发表 Per Jacobsson 讲座,称今年已获得令人信服的证据表明奇点已经开始,未来科学整体进步速度将加快。他以 Anthropic 内部为例称研究人员现在产出的代码量接近公司前四年的 10 倍,并指出 AI 编码能力提升也让网络攻防能力同步增强。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,模型评估仍是"不断演进的科学",不同评测之间难以有效比较,且失效速度较快。她认为嵌入式评估器生态需要更多标准化,才能确定谁能在哪些任务上胜任评估者。评估对象正从模型本身扩展到包含 harness 和智能体的整个系统,而智能体评估既困难又昂贵。
消费科技领域出现一类新设备,专门监视周围所有人和事,且不顾他人是否同意。随着 Meta 的 Muse 等"AI 个人助理"出现,用户被要求交出的不只是自己的数据。
AI 已进入数字取证与事件响应工作,但从业者验证其输出的可靠方法跟不上工具对自身结论的自信程度。文章指出,在缺乏治理模型与验证标准的情况下,这一差距会不断累积,且影响很少只停留在单台工作站上。
Intruder 对比了 AI 渗透测试与人类渗透测试员的优劣:AI 能发现人类测试者遗漏的漏洞,但在一致性、风险评估和理解业务上下文方面存在局限。该对比还说明了 AI 智能体可在哪些环节改进安全测试。
AWS 提出 Trust in Depth 方法,用独立分层的验证机制让 AI 智能体在可验证时自主行动、把人工判断留给真正需要决策的环节。该方法围绕 Scope、Know、Bound、Observe 四个生命周期问题展开,并用自动化推理检查智能体规则是否在所有路径上成立。
MIT 教授 Eric So 在新书《The Collision: What AI Does to Us》中提出,过度依赖 AI 会导致"认知萎缩",使人丧失并难以保留关键思考能力。
Sophos X-Ops 指出,AI 治理不能只靠政策文件和员工培训,必须以可见性和嵌入工作流的技术管控为支撑。2026 年 4 月 Vercel 披露,一名员工用企业 Google Workspace 账号注册消费级 AI 产品并授予广泛权限,该厂商数月后被攻破,攻击者用窃取的 OAuth token 接管 Workspace 账号并进入敏感环境。
UC Berkeley 荣休教授 Michael I. Jordan 在接受 Libération 采访时,将 AI 末日论和"超级智能"称为科幻话题,并批评 AI 公司要求监管是"作秀"。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的开放权重模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。围绕开放模型的安全与民主化之争持续升温,Nvidia CEO 黄仁勋主张美国发展更多开放模型,Anthropic 的 Dario Amodei 则主张更谨慎。
微软总裁 Brad Smith 呼吁紧急监管 AI,认为牛奶、洗衣机等消费品受到的监督都比 AI 公司更多,并称英国而非美国或欧盟最适合主导全球安全规则。他提到英国 AI Security Institute(AISI)能在美国前沿实验室模型部署前获得访问权,并主张 AI 产品发布前需经外部评估、系统被失控 AI 智能体入侵时须依法上报,以及设置可暂停 AI 的 kill switch。
MIT 媒体艺术与科学教授、建设性传播中心(CCC)主任 Deb Roy 在《原子科学家公报》发表《谁为这些话负责?》一文,主张即便文本由 AI 生成,也必须有人对其负责、可被问责。他以 2017 年 FCC 收到超 2200 万条网络中立性公众评论、其中近 1800 万条被纽约州总检察长认定造假为例,指出大语言模型抹去了模板化文本等造假痕迹,使公众意见渠道的可信度受损。
个人 AI 智能体正通过 OAuth 授权、浏览器保存的密码、API key 和个人访问令牌等方式进入企业系统,员工无需提交工单即可完成连接。
2026 年《智能体安全状况报告》研究的环境显示,约 1,280 个第三方产品已内嵌 AI,其中仅约 282 个走单点登录,其余默认对身份基础设施不可见。Salesforce 于 2026 年 8 月推出的 Slack Code 允许用户把编码智能体拉进任意对话,该智能体可读取共享上下文、写代码并提交 pull request。
微软 CEO Satya Nadella 在最新博文中改用特朗普偏好的"Super Intelligence"一词,取代"Artificial Intelligence",同时继续抨击 OpenAI 与 Anthropic。
微软 CEO 纳德拉在 X 发长文谈先进 AI 模型的风险与应对,主张不能再把 AI 当作只需接受或拒绝其建议的嵌套黑箱,应建立可隔离、可观察并留下防篡改人类可读证据的透明体系。
微软 CEO Satya Nadella 在 X 发帖称,应重新审视 AI 的“信任架构”,把模型与编排其工作的 harness 分离,并将控制与防护措施外部化。他要求每个有意义的模型动作都留下防篡改、人类可读的证据,并让授权人员能随时暂停或关闭执行任务中的模型,称应假设模型已被攻陷并从一开始就加以约束,就像“紧急刹车”。
密码学家 Matthew Green 称,有 1% 概率我们生活在公钥加密不可能实现的 Minicrypt 世界,另有 15% 概率会实质失去对现有公钥加密算法的信心。他指出,AI 产出意外发现的速度远超人类替换标准的速度,只有提前准备才能从这类冲击中恢复。
MIT CSAIL 展示了一对约 5 万美元的 Unitree 人形机器人,作者在互动中本能地像对人一样与机器人握手。MIT 的 Sherry Turkle 在新书《Artificial Intimacy》中指出,人类天生倾向于对机器产生情感投入,约 70% 的人对 AI 保持礼貌。
MIT Technology Review 刊文指出,AI 的拒绝机制正成为 AI 安全的核心,但这一机制本质上是概率性的,并不可靠。文章提到,Anthropic 在 2021 年提出大语言模型应做到 helpful、honest、harmless,如今模型被训练拒绝大量提示词,但拒绝能力常会失效,且企业正以高度保密的方式划定拒绝边界。
One Nation 在维州竞选启动仪式上播放了一段 AI 生成视频,内含持砍刀男子、爆炸背心男子等种族刻板印象画面,被指抄袭 Netanyahu 的以色列竞选广告创意。澳大利亚通信与媒体管理局因权限不覆盖此类内容无法介入,选举委员会也只能监管选举流程虚假信息,联邦工党政府迄今未采纳禁止选举期使用 AI 生成内容的呼吁。
The Verge 的 Hayden Field 在 Decoder 播客中对比 Meta 的 Muse 与 OpenAI 的 Dots 两款消费级 AI 智能体,二者都源自 OpenClaw 的模型加 harness 加浏览器思路,Muse 免费面向大众,Dots 面向每月 100 至 200 美元订阅用户并推出营销、法律等专业版本。
AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、物理 AI 与智能体 AI,需以安全、效率及人类监督为核心治理框架。她强调 AI 应增强而非取代关键决策中的人,并参与 IEEE 工作组制定衡量 AI 在电力、能源、水资源及碳足迹方面影响的标准方法。