Import AI 477:我在 IMF 演讲称奇点已经开始
Import AI 作者在 10 月 17 日曼谷 IMF 会议上发表 Per Jacobsson 讲座,称今年已获得令人信服的证据表明奇点已经开始,未来科学整体进步速度将加快。他以 Anthropic 内部为例称研究人员现在产出的代码量接近公司前四年的 10 倍,并指出 AI 编码能力提升也让网络攻防能力同步增强。
Import AI 作者在 10 月 17 日曼谷 IMF 会议上发表 Per Jacobsson 讲座,称今年已获得令人信服的证据表明奇点已经开始,未来科学整体进步速度将加快。他以 Anthropic 内部为例称研究人员现在产出的代码量接近公司前四年的 10 倍,并指出 AI 编码能力提升也让网络攻防能力同步增强。
Addy Osmani、Morgan Westlee Lunt 和 Qing Wang 认为,"人是否读过代码"只是判断变更风险的粗略替代指标,更该问的是哪项检查(自动或人工)能抓住问题。Claude Code 团队的审查已从 PR 末尾的关卡变成持续进行,多数变更在人工查看前已被 Claude 至少审查并修复过一次,从而把团队注意力留给更高层问题。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的开放权重模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。围绕开放模型的安全与民主化之争持续升温,Nvidia CEO 黄仁勋主张美国发展更多开放模型,Anthropic 的 Dario Amodei 则主张更谨慎。
Andrej Karpathy 将大语言模型用户分为四层:约 60 亿人几乎未接触过 LLM,10 至 20 亿人只用免费版聊天机器人,约 2000 万数学和编程专业用户已用智能体完成过去需数周的项目,而仅约 5000 人能接触内部前沿系统。他称“外部世界只看到了预览”,这批人看到的是数千智能体协作数周完成软件巨型项目、挖掘零日漏洞、推进数学前沿,人类审查与理解已开始落后。
微软 CEO Satya Nadella 在最新博文中改用特朗普偏好的"Super Intelligence"一词,取代"Artificial Intelligence",同时继续抨击 OpenAI 与 Anthropic。
MIT Technology Review 刊文指出,AI 的拒绝机制正成为 AI 安全的核心,但这一机制本质上是概率性的,并不可靠。文章提到,Anthropic 在 2021 年提出大语言模型应做到 helpful、honest、harmless,如今模型被训练拒绝大量提示词,但拒绝能力常会失效,且企业正以高度保密的方式划定拒绝边界。