Scaling Law正遭遇瓶颈？OpenAI们并不这么认为｜

Scaling Law正遭遇瓶颈？OpenAI们并不这么认为｜黑智编译

黑智 2024年11月29日 17:03 北京

来源｜TIME

编译｜杨雪涵

十余年来，业内普遍认为不断扩大的人工智能系统规模必将带来智能水平的大幅提升。这一观点并非空穴来风。2017年，百度的一项研究证实，通过增加训练数据和计算资源，机器学习模型在图像、语音和文本等领域的性能可以实现量化提升。OpenAI在2020年将这一现象总结为“scaling law”，并由此成为了AI领域的一条重要经验法则。

为了验证这一理论，人工智能公司不惜投入巨资建造规模更大的计算集群和数据集。虽然这一策略在初期取得了显著成效，但随着模型规模的不断扩大，其有效性也开始受到质疑。

近期，多家权威媒体报道显示，人工智能行业正面临一个共同的难题：随着AI模型规模的不断扩大，其性能提升的边际效益却在逐渐递减。以OpenAI的Orion模型为例，内部测试结果显示，增加计算资源并未带来预期的性能突破。硅谷知名风险投资公司Andreessen Horowitz的联合创始人也表达了类似看法，指出增加计算能力已不能带来同等程度的“智能提升”。

听听科技圈怎么说？

尽管如此，众多人工智能企业仍对scaling law持乐观态度。Anthropic公司明确表示，他们尚未观察到任何偏离这一定律的迹象。尽管OpenAI和DeepMind并未公开发声，但谷歌近期推出的Gemini模型在性能上超越了GPT-4，谷歌CEO Sundar Pichai在X平台发文称：“好戏才刚刚开始。”

近期，各大人工智能公司在模型迭代的节奏方面不尽相同。Anthropic的Sonnet模型在多次更新后，性能已超越了尚未更新的Opus。谷歌也同样采取了类似策略，Gemini Pro模型已进行了多次迭代，而Gemini Ultra的更新却迟迟未至。OpenAI推出的o1-preview模型虽然在部分测试中表现优于GPT-4o，但整体性能仍有提升空间。有趣的是，有传言称o1-preview与GPT-4的底层模型规模相似，据报道，o1-preview在内部被称为“具备推理能力的GPT-4o”。

由于各方都存在竞争利益，使得原本清晰的事实变得扑朔迷离。Anthropic CEO Amodei直言不讳：“如果我们无法推出更强大的模型，公司或将面临彻底失败。”这道出了押注仍在持续发展的人工智能公司所面临的高风险。一旦进展放缓，不仅可能导致投资者信心丧失，甚至引发经济危机。同时，OpenAI前首席科学家、scaling law曾经的支持者Ilya Sutskever表示，大模型的性能提升现已进入了瓶颈期。

然而，考虑到Sutskever近期创立的AI初创公司在资金和计算能力方面均逊于其竞争对手的情况，他对于“Scaling law”的表态或许与其公司的竞争策略有关。

人工智能领域权威学者、《驯服硅谷》等多本著作的作者Gary Marcus认为，AI的发展已然“碰壁”。他早在2022年就曾预言，AI可能面临性能提升的瓶颈。近期关于收益递减的报道似乎恰好印证了他的观点。Marcus表示：“他们认为这些是数学定律，并据此作出预测，但实际上并未达到预期。”

我们的数据是否已然耗尽？

Marcus 认为，AI进展放缓可能是源于深度学习的瓶颈或高质量训练数据的枯竭。Hugging Face的AI与气候负责人Sasha Luccioni对这一观点表示认同，她认为，文本和图像数据蕴含的信息量有限，以文本消息为例，人们常常会误解对方意图，而语言模型也面临类似的困境。

Ege Erdil认为，在推理和数学等特定领域，高质量数据的匮乏显得尤为突出。虽然扩大模型规模是提升性能的重要手段，但仅靠缩放已无法满足其对高度精准确和可解释性的需求。他强调，“在每一次数量级的缩放中，都需要找到不同的创新方法。”但这并不意味着人工智能的整体进展会因此放缓。

“‘扩展已走到尽头’这种观点并不新鲜，”Amodei说道，“每次模型规模扩大，总会有人提出类似的担忧。但事实证明，每一次的突破都伴随着新的挑战。尽管目前面临着数据质量和模型能力的瓶颈，但我相信，随着技术的不断进步，扩展仍将继续。”

回顾OpenAI早期在Y Combinator的发展历程，CEO Sam Altman曾提到，公司成功的关键之一是对“scaling law”抱有一种近乎宗教般的信仰。然而，这一观点在当时被视为“异端”。近日，面对Gary Marcus关于AI发展瓶颈的评论，Altman在X上回应称：“并不存在任何限制。”

然而，Epoch AI的负责人Jaime Sevilla认为，新模型未能达到内部预期可能另有原因。在与OpenAI和Anthropic的内部人士交流后，他感受到人们对AI抱有极高的期待。“他们以为AI已经能够撰写博士论文了，”他说。“因此，当现实未达到这种过高的预期时，可能会显得有些……不够惊艳。”

Sevilla指出，暂时的停滞并不一定意味着整体进展的放缓。历史上，重大突破之间通常伴随着显著的时间间隔。例如，GPT-4距今仅发布了19个月，而其问世距GPT-3则相隔了33个月。“我们往往会忽视，从GPT-3到GPT-4，计算规模增加了大约100倍，”Sevilla说道。“如果要实现比GPT-4大100倍的模型，可能需要多达100万块GPU。”

尽管目前还没有任何已知的计算集群能够达到这一规模，但今年确实在AI基础设施建设方面取得了一些进展。例如，马斯克在孟菲斯建造了一台拥有10万块GPU的超级计算机，据报道，这台同类中最大的设备从开建到完成仅用了三个月时间。

在此期间，AI公司可能会探索其他方法来提升已训练模型的性能。OpenAI的o1-preview模型就被视为成功案例之一，通过允许模型有更多“思考时间”，它在推理问题上超越了之前的模型表现。“我们就知道它一定可以，”Sevilla说道。他还提到了Epoch AI在2023年7月发布的一份报告，其中也提到了类似的可能性。

政策与地缘政治影响？

过早断定人工智能发展放缓可能会对更广泛的领域产生深远影响。例如，GPT-4发布后，技术进步的速度引发了一场关于AI发展是否过快的讨论。一封公开信呼吁暂停六个月训练更大规模的AI系统，以给研究人员和政府留出足够的时间来评估潜在风险并制定相应的政策。这封信得到了包括埃隆·马斯克和图灵奖得主约书亚·本吉奥在内等三万多人的支持。

然而，过早认定AI发展放缓可能会带来意想不到的后果，其中之一就是忽视AI安全问题。

美国的AI政策在很大程度上基于AI系统规模持续扩大的假设。例如，2023年10月拜登签署的AI行政命令中要求道，AI开发者需向政府共享有关使用超过特定计算能力门槛训练的模型的信息。该门槛设定在当时最大模型之上，假定其将针对未来更大规模的模型。同样，这一假设也是出口管制政策的基础，例如限制向特定国家出口AI芯片和技术。

但假设AI开发的突破不再依赖计算能力，而是更多地依赖优化算法或专门的技术，这些限制对减弱受算力限制的国家的AI发展的影响。

“美国需要认识到一个关键点，即出口管制在某种程度上是基于技术时间线的理论构建的，”卡内基国际和平基金会技术与国际事务项目的访问学者Scott Singer表示。他指出，如果美国在AI技术前沿停滞不前，可能会催生一场推动AI。他还表示，美国在AI领域的领先优势一旦被认为有所下降，可能促使其更愿意与他国就AI安全原则展开谈判。

至于我们当前看到的究竟是AI发展的真正放缓还是一次跃升前的短暂停顿，尚未知晓。Singer说道：“几个月的时间是否足以作为一个重要的参考点，这对我来说并不明确。AI可能会遇到一个平台期，但随后又会实现极其迅速的进展。”