10万亿参数的AI模型,拥有300智商的世界意味着什么?

cover

摘要

本期《光锥》播客深入探讨了OpenAI近期的大规模融资及其旗舰模型o1发布对开发者和创业者的深远影响。对话从OpenAI CFO关于“数量级式”算力扩张的言论切入,设想了参数规模达10万亿的AI模型可能带来的颠覆性变革,类比其为从GPT-2到GPT-3.5的飞跃。讨论转向当下,指出o1模型的推理能力已展现出接近甚至超越普通人类智力的迹象,可能使通用人工智能(AGI)提前到来。

文章运用傅里叶变换的案例,阐明颠覆性技术从理论突破到大规模应用往往存在漫长的时间差,但AI由于植根于软件和现有互联网平台,其渗透速度可能远超以往。针对创业者生态,数据显示开发者市场正呈现出多元化趋势,Claude等模型正在侵蚀OpenAI的市场份额,而o1的横空出世又可能让天平重新倾斜。o1模型通过强化推理,显著提升了AI输出的准确性与确定性,这或许将重塑创业公司的竞争壁垒,使焦点从提示词工程回归到产品体验和软件工程本身。

文章还讨论了AI语音接口的成熟及其对呼叫中心等传统产业的冲击,并指出企业级市场对AI的采纳可能滞后于个体开发者。最终,两位主持人描绘了一个由超级智能驱动的乐观未来图景:近乎无限的智能被释放到海量科学数据上,有望解锁室温超导、可控核聚变等当前人类无法企及的科学发现,这不仅是思维的自行车,更可能是驶向火星的火箭。

正文

一、10万亿参数:开启新一轮数量级跃迁

近期,OpenAI完成了创纪录的66亿美元融资。其首席财务官(CFO)莎拉·弗莱尔在解释资金用途时明确指出,首要花销是算力 (Compute)。她强调,当前AI发展遵循着规模定律 (Scaling Law),每新一代模型的规模都将比上一代大一个数量级。这不禁让我们畅想,当参数规模达到10万亿 (10 Trillion Parameters) 这个量级时,世界将会怎样?这个数字意味着比当前最前沿的模型还要再大上两个数量级。

目前,虽然前沿模型的准确参数规模并未完全公开,但业界普遍推测它们大致处于数千亿级别。例如,Llama 3拥有约4050亿参数,据推测Anthropic的Claude和GPT-4o也在这个范围。从数千亿到10万亿,这两个数量级 (Orders of Magnitude) 的跨越,很可能复现我们从GPT-2GPT-3.5所经历的变革性飞跃。当时,随着参数规模的扩大,原本只是实验室玩物的Transformer架构爆发出了惊人的能力,催生了2023年生成式AI的创业大潮。如果规模定律持续有效,我们或许正处在这样一个历史性变迁的前夜。

二、接近并超越人类智力:从AGI到ASI

当前代的顶尖模型,特别是结合了思维链 (Chain of Thought)o1模型,其实力已经逼近常规的人类智力。一个有力的论点是,通用人工智能 (AGI) 可能已经悄然降临。现在,一位坐在Cursor前的软件工程师,已经可以借助AI完成98%的日常工作,其准确率高达90%至98%,这无异于一个拥有120智商(IQ) 的人类知识工作者的产出。如果这一趋势在大范围内属实,那么成百上千的公司已经在日常运营中实现了这一点。

然而,真正引人深思的是,当模型参数量达到10万亿,其智力水平提升至200甚至300智商(IQ) 时,我们将其称为超级人工智能 (ASI, Artificial Super Intelligence),它将解锁何种人类目前无法企及的能力?《大西洋月刊》曾报道著名的陶哲轩 (Terence Tao)——这位智商超过200的数学家——如何利用当前的ChatGPT来辅助其研究工作,这已经预示了ASI将如何拓展人类认知的边界。

三、傅里叶变换的启示:技术渗透的时间差

尽管AI能力惊人,但这种改变在普通人的感知中并不均匀。这种现象在历史上早有先例。傅里叶变换 (Fourier Transform) 是一个极具启发性的类比。这一数学理论由约瑟夫·傅里叶在19世纪初发现,它提供了一种优雅的方法,将复杂的周期函数分解为正弦波和余弦波,仅用振幅和周期两个变量即可表示。然而,从理论提出到广泛惠及大众,足足用了150年。直到20世纪50年代,人们才意识到傅里叶变换在信号处理上的巨大价值,它奠定了现代电信、图像编码乃至整个互联网和彩色电视的基础。

AI技术的发展与之类似,但其传播速度可能更快。因为AI的核心驱动力——线性代数等数学理论——已有上百年历史,而它如今的爆发依赖于GPU算力。更重要的是,与需要嵌入物理设备的傅里叶变换应用不同,AI以软件 (Software) 为载体,而全球数十亿用户已经通过Facebook、谷歌等平台接入了这些软件。一旦像Meta的Ray-Ban智能眼镜这样的消费级设备将视觉与自然的语音AI无缝结合,AI便会从幕后走向台前,迎来真正的“改变世界时刻”。

四、蒸馏:前沿模型能力的普惠化路径

运行一个10万亿参数模型的推理成本将是天价,可能仅限于陶哲轩这样的顶尖科学家用于探索科学前沿。对于更广泛的应用场景,其能力的落地方式很可能是通过蒸馏 (Distillation)。我们已经看到,Meta的4050亿参数模型的主要用途之一,就是为了优化其700亿参数的模型。OpenAI自身也已经在其API中启用了蒸馏功能,允许开发者利用GPT-4o或o1来生成高质量数据,用于微调更便宜、更快速的模型,如GPT-4o mini

这一模式揭示了一种清晰的架构:那些万亿参数的“庞然大物”扮演了教师模型 (Teacher Model) 的角色,而真正大规模部署、处理日常任务的则是经过它们训练和优化的学生模型 (Student Model)。Y Combinator内部的统计数据也证实了这一点,绝大多数创业公司并不会直接调用最大最慢的模型,而是会选择性地使用最高效的工具。

五、开发者的市场选择:从一家独大到群雄逐鹿

在过去的一年里,基础模型的市场格局发生了巨大变化。曾几何时,整个行业都建立在ChatGPT之上,“ChatGPT套壳 (ChatGPT Wrapper)”成为了一个流行的梗。但在最近的2024年夏季批次 (Summer 24 Batch) 中,YC的统计数据显示出了一个明显的多元化趋势:Claude的市场份额从5%激增至25%,而Llama则从零增长到了8%。YC公司的选择历来是预测未来主流技术栈的强力指标,这似乎暗示着OpenAI作为唯一选择的日子正在远去。

然而,OpenAI凭借o1模型再次展现了其前沿创新力,上演了一场绝地反击。在o1还未全面开放的短短两周内,已经有约15%的YC批次公司开始尝鲜使用。YC甚至为此举办了一场内部黑客松,在短短几个小时里,就有团队利用o1构建出了此前任何模型都无法实现的应用。这说明,在AI领域,持续在技术前沿“推信封”的能力,仍然是吸引最顶尖开发者的关键。

六、o1模型的魔力:准确度跃迁重塑创业壁垒

o1模型的“魔法”在于它将AI输出的不确定性转变为高度的确定性 (Deterministic)准确性 (Accuracy)。这引发了关于对创业公司影响的两种截然不同的看法。一种悲观论调认为,o1过于强大,OpenAI将像捕获“光锥”一样,攫取所有现在和未来的价值,让其他公司无路可走。

但另一种更乐观且更具说服力的观点是,这恰恰是创业公司最好的时代。过去,创始人花费大量时间在提示词工程和人工纠错上,以确保产品可用。例如,法律科技公司CaseText的创始人曾感叹,为了让AI法律助手达到100%准确率,他们付出了巨大努力。如果o1这类模型能将这些“脏活累活”一劳永逸地解决,那么创业的壁垒将彻底改变。竞争的焦点将回归到软件工程的本源:更好的用户界面(UI)、更优的客户体验、更深入的市场关系。一个生动的例子是Dry Merch,这家公司通过将模型从GPT-4o换成o1,准确率直接从80%跃升至近乎100%,从而解锁了全新的商业价值。当AI的可靠性不再是问题,最大的赢家将是在此基础上构建最佳用户体验的公司。

七、AI原生企业的崛起与传统行业的颠覆

高阶模型带来的确定性,正在企业内部催生深刻的变革。某2017年成立的YC校友公司,在年营收5000万美元且年增长50%的扩张期,通过自动化处理60%的客服工单 (Customer Support Tickets),一举从急需融资的状态扭转为现金流盈亏平衡。这意味着,AI不仅在创造新公司,也在从根本上改善现有大型企业的盈利能力,帮助它们在不依赖外部资本的情况下实现复利式增长。

与此同时,AI的颠覆浪潮正涌向那些曾被认为技术护城河很深的传统行业。OpenAI最近发布的实时语音API (Realtime Voice API),其持续使用定价为每小时9美元,这已经与一个呼叫中心 (Call Center) 的人力成本相当。这预示着大量依赖呼叫中心的国家和行业将面临巨大冲击。在YC的创业生态中,语音AI已成为“杀手级应用”,一大批专注于债务催收、物流协调等场景的语音代理公司正以前所未有的速度爆发式增长。图灵测试 (Turing Test) 在特定电话场景中已被攻破,AI正悄然替代那些重复性的人工交流。

八、开发范式的代际更迭与认知鸿沟

在技术前沿,软件开发范式正在发生代际更替。调查显示,在YC 2024夏季批次中,已有高达50%的创始人使用Cursor,而仅12% 的人还在使用GitHub Copilot。这种从简单代码补全到由AI深度参与编程的转变,其速度令人咋舌。Cursor犹如当年的AltaVista或后来的谷歌,证明了在开发者工具市场中,即便面对微软这样的巨鳄,凭借卓越的产品体验依然能实现逆袭。这再次印证了,在模型能力日趋同质化的未来,用户体验将是决定胜负的关键。

然而,AI技术在公司层面的普及存在巨大的认知滞后 (Perception Lag)。众多成立超过四年、尤其是由非技术背景管理者领导的公司,对这场变革尚未真正重视。这代人亲身经历了“云计算”等概念从炒作到落地长达十年的过程,因此本能地对AI的革命性持怀疑态度。但AI的进化速度史无前例,远超处理器和云技术的发展。六个月前还看似遥不可及的语音应用,几个月后就人满为患。这种指数级的变化速度,即使是业内人士也时常感到震惊。

九、展望ASI:无限智能解放无限可能

最终,回到10万亿参数、IQ达到300的ASI (超级人工智能) 世界,人类将扮演什么角色?一个极其乐观的设想是,当前制约科技进步的根本瓶颈,不是已知信息的匮乏,而是能够综合分析所有信息的人类智力数量。现今世界上有海量的科学论文和实验数据,其规模远超任何个体或群体的理解极限。

如果ASI被解放出来,能够以严谨的逻辑进行原创性思考 (Original Thinking) 和深度分析,将近乎无限的智能倾泻到近乎无限的知识之上,那么我们将可能迎来一个科学大爆发的时代。室温超导体 (Room Temperature Superconductors)可控核聚变 (Room Temperature Fusion)、时间旅行、飞行汽车……这些停留在科幻中的概念,或许将在超级智能的帮助下成为现实。这不仅仅是乔布斯所说的“思维的自行车”,这更可能是一辆自动驾驶汽车 (Self-Driving Car),甚至是一艘带领人类文明驶向新世界的“火星火箭 (Rocket To Mars)”。