Bob McGrew：AI 智能体与通往 AGI 之路

摘要

本文整理自 Y Combinator 对 OpenAI 前首席研究官 Bob McGrew 的深度访谈。McGrew 从自身经历出发，回顾了 OpenAI 早期的研究探索——从机器人手解魔方、Dota 2 游戏智能体，到 Alec Radford 独自坚持数年催生 GPT-1 的故事。他阐述了 OpenAI 独特的研究文化：既非 DeepMind 式的集中规划，也非 Google Brain 式的自由放任，而是在"有方向性观点"与"允许探索"之间取得平衡。访谈的核心议题围绕"规模化定律 (Scaling Laws)"展开：McGrew 认为，AI 进步由多条 S 曲线叠加驱动——预训练 (Pre-training) 的 S 曲线正触及数据墙 (Data Wall)，而推理 (Reasoning) 与测试时计算 (Test-Time Compute) 构成了新的增长引擎，为可靠智能体 (Agents) 的实现铺平了道路。他提出了一个关键经验法则：可靠性每提升一个九（从 90% 到 99%，再到 99.9%），所需计算量约增加一个数量级，而推理能力使模型能以"更长时间思考"换取更高可靠性。在创业建议方面，他主张先用最强前沿模型验证产品，再通过蒸馏 (Distillation) 降低成本。访谈最后探讨了 AI 采用缓慢的深层原因——类比 Palantir 的"前置部署工程师 (Forward Deployed Engineers)"，AI 同样需要深入用户场景的软件来连接智能与真实需求，以及他对未来人类角色的乐观展望：未来只有两种工作——"孤独天才"与"管理者"。

正文

从 Palantir 到 OpenAI：研究之路的起点

Bob McGrew 离开 Palantir 时，最初的打算并非加入研究实验室，而是想创办自己的公司。他的核心论点是：深度学习 (Deep Learning) 催生的第一个真正商业领域将是机器人技术 (Robotics)。那是 2015 年，他通过朋友进入了一个非营利机构的实验室，虽然没有工牌，但每天由朋友开门让他进去学习。他通过教机器人从视觉中学习下跳棋来掌握深度学习的基础。

然而，这段经历让他认识到：2015 至 2016 年绝不是创办机器人公司的正确时机。最终他选择加入 OpenAI，原因很简单——那里聚集了大量聪明人，拥有宏大野心，是他真正深入精通深度学习的理想场所。他在 Palantir 积累的管理经验可以在 OpenAI 找到用武之地，而这里也让他得以从专家视角理解深度学习的真正应用前景。

早期项目：魔方机器手与 Dota 2

OpenAI 创立之初的目标始终是构建通用人工智能 (AGI)，但早期的理论是通过大量研究和论文来达成。McGrew 坦承，这个理论其实是错误的——对于 Sam Altman、Greg Brockman 和他自己这样的创业型人物来说，这种方式显得痛苦且过于学术化，但在当时，这确实是他们力所能及的。

McGrew 参与的早期项目之一是机器人项目：他们用人形机器手来解魔方 (Rubik's Cube)。其核心思路是：如果将环境设计得足够复杂，人工智能就能从狭窄的训练域中泛化 (Generalize) 出来，学到更复杂的能力。这一理念后来在大型语言模型 (LLM) 中得到了回响。

另一个重大早期项目是攻克 Dota 2。从西洋跳棋 (Checkers) 到围棋 (Go)，用游戏推进 AI 发展有着悠久传统。击败围棋之后，下一个最难的挑战就是电子游戏——虽然不太"体面"，但 McGrew 确认，从数学角度看，它们的难度确实更高。DeepMind 选择了星际争霸 (Starcraft)，OpenAI 则选择了 Dota 2。

Dota 2 项目产生了一个真正的洞见：它极大地强化了团队对"规模化 (Scale) 是提升人工智能的关键路径"的信念。秘密在于，可以将海量经验 (Experience) 输入神经网络，而神经网络能够从中学习并泛化。这一关键思路后来被回应用于机器手项目，也成为了 GPT 系列模型的基石。

GPT 的诞生：Alec Radford 的坚持

在机器人手和 Dota 2 两大项目并行推进的同时，Alec Radford 正在语言领域进行实验。GPT-1 背后的核心思想是：如果使用 Transformer 架构，并应用"猜测下一个词元 (Next Token Prediction)"这个极其简单的目标函数，就能获得足够强的信号，使模型生成连贯的文本。

McGrew 感叹，事后看来这似乎理所当然——"显然这会奏效"——但在当时，没有人相信这能成功。Alec Radford 不得不坚持了数年才让这个想法落地。GPT-1 成功之后，团队将 Dota 2 和机器手项目中的规模化训练经验融入其中——在越来越大的规模上训练，使用极其多样化的数据集，并追求泛化能力——这些要素共同催生了 GPT-2、GPT-3 和 GPT-4。

OpenAI 的文化：介于集中规划与自由放任之间

McGrew 将 OpenAI 的文化与 DeepMind 和 Google Brain 做了鲜明对比。DeepMind 的文化（至少是漫画式的概括）是：Demis Hassabis 有一个宏大计划，雇佣大量研究员来执行他的计划。Google Brain 则是：重建学术生态——招募所有顶尖研究员，不给他们任何方向，只提供大量资源，然后期待惊人的成果自然涌现。Google Brain 确实产出了一些成果，但这些成果未必留在了 Google 内部。

OpenAI 采取了不同的路径——更像一家创业公司。没有集中式的大计划，但也不是简单地"百花齐放"。他们对自己要做的事有明确观点，比如"如何通过规模化来证明你的想法有效"。这种方向性观点由研究领导层（早期主要是 Ilya Sutskever，以及 Dario Amodei 等人）设定，确保资源不是无差别地撒向所有人，也不被单一思路所局限。他们在两者之间找到了一个恰到好处的平衡点。

论文署名与学术信用问题

McGrew 对学术界有一个微妙的看法：他高度尊重学者和研究员，但对学术体制本身持批评态度。学术体制擅长让小团队尝试疯狂想法，但其激励机制严重阻碍了协作，尤其是对"功劳 (Credit)"的执念。

OpenAI 早期做了一个重要决定：在论文署名上尽可能包容，把所有人的名字都放上。更极端的是，他们在一篇早期机器人论文中直接署名为"OpenAI"——因为他们不想陷入第一作者之争。在学术界，第一作者意味着被引用、名字出现在每一处引用中。OpenAI 选择回避这种争夺，仅以机构名义署名。

McGrew 认为这是一个极其重要的文化特征：承认人们渴望获得认可，但将这种渴望引导到内部声望上，而非论文的作者排序。很长一段时间内，OpenAI 内部几乎没有头衔（除了 CEO），但人们总能识别出谁是最优秀的研究员。

规模化定律：从零到一的艰难与从一到 N 的挑战

McGrew 指出，规模化定律 (Scaling Laws) 在 AI 进步中无处不在。关键问题是：既然规模化定律如此普遍，为什么我们没有更早地在其他领域加以利用？

他以 DALL·E 为例说明。Aditya Ramesh 花了 18 个月到两年的时间，才做出第一个明确能工作的版本。McGrew 回忆道，Ilya Sutskever 会给他看 Ramesh 的进展——"Aditya 已经在这上面干了一年，他试图生成一只在冰上滑旱冰的粉色熊猫，因为这是明显不在训练集中的图像"。McGrew 看到图片后，粉色在上面、白色在下面，心想"真的吗？也许吧"。从零到那个"勉强开始工作"的临界点，是一个极其困难的挑战，这与规模化定律完全无关。

一旦突破零到一，规模化定律才发挥作用。此时有两件难事可做：第一是纯粹的规模化本身——规模化绝非易事，它本质上是模型构建中的核心实践难题，涉及系统问题、数据问题和算法问题，即使你只是试图扩展同一架构。第二是试图改变规模化定律的斜率——寻找更好的架构、更好的优化算法，以及所有可能的算法改进。将这两者结合，才能解释当今 AI 领域飞速进步的原因。

数据墙与推理：新的 S 曲线

关于规模化定律是否会持续的争论，McGrew 明确表示：数据墙 (Data Wall) 是真实存在的。如果继续使用与 LLM 规模化相同的技术，终将触及这一瓶颈。

然而令人兴奋的是，从预训练 (Pre-training)——即用越来越大的语料库预测下一个词元——转向推理 (Reasoning) 技术，正开启一条新路径。OpenAI 在 o1 和 o3 模型中推出了推理能力，Gemini 也在 Gemini Flash Thinking 中跟进。

McGrew 用摩尔定律 (Moore's Law) 做了精妙的类比：摩尔定律看似一条大指数曲线，实际上是多条 S 曲线的叠加。先是登纳德缩放定律 (Dennard Scaling)，当它到达极限后，NVIDIA 通过不同机制使摩尔定律得以延续。解决一个瓶颈后，某种特定方案呈现 S 曲线饱和，但其他地方还有新的瓶颈需要攻克。

他认为，当前预训练和数据正在触及瓶颈——是否已经精确触达尚难断言——但推理和测试时计算 (Test-Time Compute) 提供了新的机制。回顾过去五年，前沿实验室普遍认为：第一步是预训练，而通向 AGI 的剩余缺口就是推理——让同一个预训练模型有更多时间思考或使用更多计算，从而获得更好的答案。如今这个难题已被攻克，McGrew 认为，我们已有一条非常清晰的路径可以专注于规模化。

五级 AGI 框架与创新者时代

OpenAI 曾提出 AGI 的五个层级。McGrew 认为，事情大体上正在按照 OpenAI 网站上的原始描述发展：推理者 (Reasoners) 已经到来，而创新者 (Innovators) 正成为下一个焦点。以 o3 为例——当 o3 Pro 发布时，那将是一个真正的里程碑，可以将它接入生物实验室，实现对科学领域的自主探索。

但 McGrew 指出了一个有趣的矛盾：我们很可能在模型能够在物理世界中行动之前，就拥有能探索科学假说并设计实验的模型。换言之，模型能够思考实验方案，但还无法亲自执行实验——这意味着我们又回到了机器人领域。自动化科学家 (Scientist) 可能会比自动化实验执行者更早实现。

推理如何解锁智能体

McGrew 认为，推理模型带来的另一个重要影响是解锁了智能体 (Agents) 的潜力。"智能体"这个词可能有些被过度炒作，但从根本上说，推理的核心能力是让模型在长时间内保持连贯的思维链 (Chain of Thought)，稳步推进问题解决。让模型"更努力思考"的技术，同样适用于在现实世界和虚拟世界中采取行动。

推理和长时间思考将真正释放智能体代为行动的可能。这在技术上一直可行，但从未足够可靠——你必须愿意等待 5 分钟甚至 5 小时让智能体完成任务，而它最终必须确实能成功。McGrew 认为这一可靠性目标现在已在视野之内。

可靠性的代价：每一个"九"都需要一个数量级

阻碍人们信任智能体执行行动的核心因素是行动的正确率。McGrew 提出了一个实用的经验法则：如果你想增加一个九——从 90% 到 99%，或从 99% 到 99.9%——大约需要一个数量级的计算量增加。历史上，我们只能通过训练更大的模型来实现数量级的计算提升；而现在，推理能力让我们可以通过让模型思考更长时间来达到同样效果。

当然，让模型思考更长时间本身是一个极其困难的问题——o1 和 o3 模型产生的思维链越来越长，需要更多规模化。如前所述，规模化是核心难题，这绝非易事，也远未完成。但现在至少有了一条非常清晰的路径，让我们能够达到越来越高的可靠性水平，而高可靠性将解锁大量下游应用。

蒸馏：大模型到小模型的艺术

过去一年，前沿实验室和其他研究者已经掌握了将大模型蒸馏 (Distillation) 为小模型的技巧：针对特定的用户输入分布，训练一个几乎与大模型一样好、但小得多、快得多的模型。这一趋势将在未来愈发显著——Claude Sonnet 对 Haiku、Gemini 对 Gemini Flash、o1 对 o1 Mini 和 4o Mini，每个实验室都在重点推进这一方向。事实上，"蒸馏即服务"也正在兴起。

给 AI 创业者的建议：先用最强模型，再考虑成本

McGrew 对 AI 创业者的建议非常务实：从你能获得的最好模型开始。你的创业公司之所以能成功，必然是因为利用了 AI 的某种能力，而这种能力实际上需要前沿水平才能实现。所以先用最强模型让产品跑通，然后再通过蒸馏优化——用更小的模型尝试提示工程 (Prompting)，或让前沿模型训练更小的模型。

他强调，创业中最宝贵的资源是时间。除非万不得已，不要像 Palantir 那样花三年才将产品推向市场。你应该尽快构建产品，只有通过与用户反复迭代、真正找到价值所在之后，才去考虑成本问题。

电影《Her》与个性化 AI 的现实

当被问及电影《Her》中描绘的深层情感连接是否会成为现实时，McGrew 表示怀疑——他认为男性并不会真正寻求 AI 女友。但他认同某些个性化 AI 场景极具价值：一个了解你偏好并替你购物的 AI，一个了解你工作习惯的办公助手——这些都需要对用户有大量了解。

他还提出了一个有趣的想法：如果每个人的 AI 助手都能代表自己，那么当你想知道某人在想什么时，可以直接询问他们的 AI。如果你的 AI 给出了足够好的回答，你就不必亲自打扰对方。这将是个性化 (Personalization) 的巨大成就。

工作中与你协作的 AI 需要大量关于你的上下文——它应该能读取你的 Slack、Gmail 和所有生产力工具。McGrew 认为这实际上是当前市场的一个真正空白——他今天还无法买到这样的产品。他心中构想的是一种"超级智能精灵"，了解你是谁、你在做什么，甚至知道你的职业和人生目标，会主动提醒你应该做什么，甚至替你预约、提醒重要事项。

AI 采用缓慢的深层谜题

McGrew 提出了一个深刻的问题：回到 2018 年人们讨论 GPT-1 的时候，如果你问"AI 是什么"，人们会说——能通过图灵测试 (Turing Test) 的模型，能看东西、写代码，甚至能画图。而如今我们拥有所有这些能力已经好几年了，但当时人们预测的结果——"所有笔记本电脑工作者立刻失业，人类游戏结束"——完全没有发生。AI 确实产生了一些影响，尤其是对写代码的人，但从生产力统计数据来看，你很难看到 AI 带来的变化，除非你去衡量我们正在建造的数据中心有多大。

这是一个深层谜题：为什么 AI 的采用速度相对于 2018 年的预期如此之慢？

Palantir 的启示：前置部署工程师模式

McGrew 用 Palantir 的经历类比了当前 AI 面临的问题。Palantir 的核心理念之一是"技术已经存在，只是尚未均匀分布"。Palantir 进入政府部门和三字母机构时，发现那里根本没有软件——这就是 Palantir Government 最早的价值所在。

关键在于重新想象工作方式。例如，检查飞入美国的人是否有犯罪记录，传统方式是在 20 个不同数据库中逐一查找；而更好的方式是一次查询就自动检查所有数据库。AI 同样需要这种范式转变——让人们发现如何用 AI 解决真正的问题，而不只是在现有工作流程上叠加 AI。

这正是 Palantir "前置部署工程师 (Forward Deployed Engineers)" 的价值所在。这些工程师不是坐在总部，而是坐在客户办公室里，亲眼观察客户如何工作，然后为他们打造完美的软件。McGrew 认为这可能是 AI 采用缓慢的答案：我们需要更多像前置部署工程师那样的人，将 AI 的智能与用户的真实需求连接起来。讽刺的是，2015 年人们还质疑 Palantir 为什么需要前置部署工程师——"如果有好产品就不需要定制化"——但五年后 Palantir 成功上市，十年后成为极具价值的公司，现在所有人都在谈论建设自己的前置部署工程团队。

育儿与未来工作：孤独天才与管理者的时代

McGrew 作为家长也面临着深刻困惑。他 8 岁的儿子对编程充满热情，想创办一家做小行星采矿的公司。McGrew 每天用语言模型根据儿子的兴趣生成课程——教他网络、循环等编程概念。他妻子问他：既然语言模型以后都能写代码了，为什么还要教？

McGrew 的回答是：编程是学习批判性思维 (Critical Thinking) 的方式。他引用了 Paul Graham 关于"媒介的抵抗性 (Resistance of the Medium)"的概念——即使计算机能替你编程，亲自动手的经验仍然至关重要，因为只有这样你才能建立关于"什么可行、什么不可行"的直觉。

关于未来人类的工作，McGrew 认为将只有两种角色：一种是"孤独天才"——像 Alec Radford 那样独自在电脑前工作、想出疯狂想法的人，但现在计算机能极大地放大他们的能力；另一种是"管理者"——你将成为自己公司的 CEO，而那家公司主要由 AI 组成（他相信仍会有其他人类参与，但公司的大部分成员将是 AI）。

他用摄影术的发明做类比：当照相机和胶片出现时，艺术家并没有消亡。如今学习绘画的人反而更多，因为更多人对艺术和视觉艺术有了欣赏能力。同样，回顾 1880 年代，大多数美国人都是农民，而今天只有约 3% 的美国人是农民，但所有人都有工作。如果向 1880 年代的人解释"软件工程师"或"创业孵化器运营者"是什么样的工作，他们会觉得"这算什么工作"。McGrew 对人类持乐观态度：人类仍将扮演重要而有价值的角色，只是我们还不清楚孙辈的工作会是什么样子——我们需要像过去的农民一样，在变化中摸索前行。

机器人技术的 ChatGPT 时刻

回到机器人话题，McGrew 判断：目前的机器人公司，正相当于五年前的 LLM 公司。在未来五年内，甚至在五年中的某个时刻，我们将看到机器人领域的 ChatGPT 时刻。虽然机器人比纯软件更难规模化——因为需要制造物理机器人——但像 Skilled AI 和 Physical Intelligence 这样的公司正在构建机器人的基础模型 (Foundation Models)，他们展现的进步令人惊叹。

总有一天，机器人技术会走出"零到一"的阶段——从"勉强能工作"进入"基本可用"，然后通过规模化来提升可靠性和市场范围。

自动化科学家与科学进步的瓶颈

McGrew 提出了一个看似矛盾却很可能成为现实的判断：我们可能会在自动化科学家和发明者之后，才自动化实验执行者。这意味着 AI 能设计实验方案，但执行实验仍需人类或物理机器人。然而一旦机器人技术跟上，科学快速进步的潜力将完全释放。

但他也预见了新的瓶颈：我们回顾这段对话时可能会发现，即使做到了所有这些，科学进步的速度可能只提高了 30%，而不是 300 倍。我们将不得不找出新的瓶颈所在——不过，30% 的加速本身已经是一个好问题了。