GPT-6 Astra 地表最强发布,算AGI吗

GPT-6 :核心观点与关键数据

OpenAI发布GPT-6 Astra,在ARC-AGI-3评测中得分99.9%饱和,布洛克曼称进入AGI时代;肖莱提醒该基准仅衡量剩余差距,非AGI证明。

核心观点:

  • GPT-6 Astra在增强型Harness下ARC-AGI-3得分99.9%饱和
  • Astra可直接操作浏览器、Excel等,OSWorld测试72.6%,完成时间较GPT-5.6 Sol缩短47%
  • Astra在FrontierMath Tier 4达98%,ExploitBench达100%
  • Astra成为OpenAI第一个达到’Critical’网络安全能力阈值的模型
  • Astra首次让其他模型在训练监督中发挥重要作用,AI参与AI改进方向出现
  • 肖莱强调ARC-AGI-3不是AGI终点线,测试能力规模很小,与人类智能差距多个数量级

重要结论:

  • OpenAI认为Astra接近其AGI定义:高度自主、能在大多数经济价值工作上超过人类
  • 肖莱团队开发ARC-AGI-4,计划2027年Q1发布
  • 前沿模型仅用半年将ARC-AGI-3饱和,比肖莱预期的一年更快,AI进步速度将令人惊讶

关键数据:

  • ARC-AGI-3得分99.9%
  • OSWorld测试72.6%
  • 完成时间较GPT-5.6 Sol缩短47%
  • FrontierMath Tier 4达98%
  • ExploitBench达100%
  • ARC-AGI-1从2020年GPT-3的0%到2024年GPT-4o的5%,o3达87.5%
  • 人类智能学习时间尺度高约4个数量级,世界模型复杂度高4-5个数量级,行动空间大3-4个数量级

由报告星球辅助整理

为什么GPT-6 Astra的发布,让OpenAI的总裁布洛克曼(Greg Brockman)说出了 “我们进入AGI时代”?

其中最亮眼的主要是因为ARC-AGI-3评测,在一个增强型的Harness帮助下,Astra得分99.9%。饱和了!

GPT-6 Astra 地表最强发布,算AGI吗插图

此外,支持布洛克曼判断的,是Astra几种能力同时发生跃迁:

  • 进一步向行动跨越。 Astra已经能直接操作浏览器、Excel、CRM、专业软件,完成填税表、工程设计、网站开发等多步工作。OpenAI在OSWorld测试中报告72.6%,且完成时间较GPT-5.6 Sol缩短约47%。
  • 陌生环境学习。 ARC-AGI-3显示的不是知识量,而是探索、在线学习、因果建模和适应能力。这正是过去LLM最受质疑的一块。
  • 跨专业领域的广度。 Astra同时在计算机使用、软件工程、数学、科学和网络安全上达到前沿水平;FrontierMath Tier 4达到98%,ExploitBench达到100%。
  • 自主性的质变。 Astra成为OpenAI第一个达到“Critical”网络安全能力阈值的模型:在拥有适当工具和权限时,可以不需要人逐步指导,自主发现未知漏洞并设计利用方法。这比一道考试得高分更接近独立工作的定义。
  • 训练本身开始出现AI参与AI改进。 OpenAI称Astra是其首次让其他模型在训练监督中发挥重要作用的前沿模型。这还远不是递归自我改进,但方向已经出现。

这些加在一起,已经开始接近OpenAI长期采用的AGI定义:“高度自主、能够在大多数具有经济价值的工作上超过人类的系统。”

不过, ARC-AGI-3的创始人肖莱(Francois Chollet) 再次强调:“解决 ARC-AGI-3并不能证明一个系统已经实现了AGI。它从来就不是被设计成一条‘终点线’”。

“ARC-AGI-3 测试的,确实是我们认为一个AGI系统应该具备的那些正确的、定性的能力特征——比如:在不确定性下进行探索、在没有明确指令的情况下适应环境、从有限数据中建立因果世界模型,等等。 但这些能力在 ARC-AGI-3 中所体现的规模都很小。”

实际上,2024年底,当OpenAI发布推理模型o3时,ARC-AGI-1的分数跳跃至87.5%,逼近饱和。要知道,ARC-AGI-1从2020年的GPT-3的0%进步到2024年GPT-4o的5%,用了整整四年。当时肖莱撰文,认为由于o3具备了任务建模的能力,从而突破了原先模型记忆和提取的范式,得分取得了突破。但仅仅是饱和而已。

什么是ARC-AGI-3?ARC最早来自肖莱 2019年的论文On the Measure of Intelligence。ARC原意是抽象与推理集( Abstraction and Reasoning Corpus),其本意并不是智能已经掌握了多少技能,而是面对陌生任务时,智能获得新技能的效率有多高。

肖莱认为,无限数据、无限算力和无限预训练,在某种意义上都可以“购买能力”,却可能掩盖真正的泛化能力。ARC-AGI-1和2主要还是静态视觉推理题,到了2026年正式推出的ARC-AGI-3,变成了交互式推理。

ARC-AGI-3实际上是一组非常抽象、类似小游戏的环境。AI进入后,没有说明书,没有游戏规则,甚至没有人告诉它怎样才算赢。模型必须自己行动、观察结果、建立假设、推翻错误假设、寻找目标,然后制定计划继续行动。官方正式测试集由大量原创环境和多级任务组成;人类参与者无需事先训练即可解决所有环境。

如此评测,其实已经是一个最简化的智能体认知闭环。那它与真实的人类智能之间,还有哪些差距?下面是肖莱今年3月份展示的一张PPT:

GPT-6 Astra 地表最强发布,算AGI吗插图1

人类智能在深度和规模上要大得多:

  • 学习时间尺度大约高4个数量级:人类是在几十年中建立世界模型,而不是几秒或几分钟
  • 世界模型的复杂度大约高4–5个数量级
  • 可采取行动的空间大约大3–4个数量级

而ARC-AGI-3只是试图在一个非常缩微的世界里建立一个世界模型,它充其量只是AGI的一个必要条件,远非充分条件。

为了避免误解和行业误用,ARC-AGI-3的官网强调:

ARC-AGI系列的目标,是衡量当前人工智能与AGI之间尚未消失的“剩余差距”(residual gap)。我们将AGI定义为:一个系统能够获得人类可以掌握的任何技能,而且获得这些技能的效率与人类相当。

尽管如此,前沿模型仅用了半年时间就把这个基准做到饱和,而不是肖莱之前预计的一年时间,所以,肖莱认为,接下来 AI 进步的速度会让很多人感到惊讶。

肖莱的团队目前仍在开发 ARC-AGI-4,将在 2027 年第一季度发布。前沿模型将会再一次证明,尽管我们距离AGI仍然有差距,但正在以更快的速度接近。

最近黄仁勋已经不止一次明确说“我们已经实现AGI”。8月底他又说,对很多任务可以认为已经实现AGI,随后马上称这种里程碑本身“毫无意义”,真正重要的是AI已经能够自主学习、完成有用工作并产生“可以赚钱的tokens”。

马斯克近一年来也不断把Grok 5与AGI一起炒作,无非“Grok 5可能达到AGI”、“Grok 5就是AGI/接近无法区分的AGI”之类的预测和背书,营销而已。

微信