机器学习算法与Python实战 | 三万字详解！GPT-5：你需要知道的一切（上）建议收藏！

本文来源公众号“机器学习算法与Python实战”，仅用于学术分享，侵权删，干货满满。

原文链接：三万字详解！GPT-5：你需要知道的一切

作者：Alberto Romero （青稞AI整理）

原文：https://www.thealgorithmicbridge.com/p/gpt-5-everything-you-need-to-know

这篇超长的文章（部分是评论，部分是探索）是关于 GPT-5 的。我们分为上和下机器学习算法与Python实战 | 三万字详解！GPT-5：你需要知道的一切（下）建议收藏！两部分。但它的内容远不止于此。它讲述了我们对下一代人工智能模型的期望。它讲述了即将出现的令人兴奋的新功能（如推理和代理）。它讲述了 GPT-5 技术和 GPT-5 产品。它讲述了 OpenAI 面临的竞争业务压力以及其工程师面临的技术限制。它讲述了所有这些事情——这就是为什么它有那么长。

你现在想知道，既然你已经听说了有关 GPT-5 的泄密和谣言，为什么还要花一个小时阅读这篇迷你书大小的文章。答案是：如果没有背景，零散的信息是无用的；只有当你把所有信息都放在一个地方时，大局才会清晰。就是这样。

在我们开始之前，我们先简单介绍一下 OpenAI 的成功历程，以及为什么人们对 GPT-5 的巨大期待会给他们带来压力。四年前，也就是 2020 年，GPT-3[1]震惊了科技界。谷歌、Meta 和微软等公司纷纷挑战 OpenAI 的领先地位。他们确实这么做了（例如LaMDA [2]、OPT [3]、MT-NLG [4]），但仅仅几年后。到 2023 年初，在 ChatGPT 取得成功（引起 OpenAI 的广泛关注）之后，他们准备发布GPT-4 [5]。同样，各大公司纷纷效仿 OpenAI。一年后，谷歌推出了 Gemini 1.5，Anthropic 推出了 Claude 3，Meta 推出了 Llama 3。OpenAI 即将宣布 GPT-5，但它的竞争对手现在还有多远？

差距正在缩小，竞争再次陷入僵局，因此每个人——客户、投资者、竞争对手和分析师——都在关注 OpenAI，兴奋地想看看他们是否能第三次重复这一飞跃，将他们推向一年后的未来。这就是 GPT-5 的隐含承诺；OpenAI 希望在与历史上最强大的科技公司的战斗中保持影响力。想象一下，如果期望没有得到满足（比尔盖茨等业内人士[6]认为这可能会发生），人工智能世界将是多么失望。

这就是 GPT-5 正在酝酿的充满活力和期待的环境。一步走错，每个人都会向 OpenAI 发起攻击。但如果 GPT-5 超出我们的预期，它将成为未来几年人工智能难题的关键一环，不仅对 OpenAI 及其相当绿色的商业模式如此，对为其付费的人——投资者和用户也是如此。如果发生这种情况，Gemini 1.5、Claude 3 和 Llama 3 将重新陷入话语的默默无闻，而 OpenAI 将再次松一口气。

为了清晰起见，文章分为三个部分。

• 首先，我写了一些关于 GPT-5 的元知识：其他公司是否会对 GPT-5 做出回应，对数字的怀疑（例如 GPT-4.5 与 GPT-5），以及我称之为“GPT 品牌陷阱”的东西。如果你只想了解 GPT-5 本身，你可以跳过这部分。

• 其次，我整理了一份有关 GPT-5 的信息、数据点、预测、泄漏、提示和其他证据的列表。本节重点介绍来源的引述（含糊不清时添加我的解释和分析），以回答以下两个问题：GPT-5 何时问世以及它会有多好？

• 第三，我通过循序渐进的方式探索了我们可以从 GPT-5 中期待什么，以及我们对这些领域官方仍然一无所知（甚至没有泄露）的内容：缩放定律（数据、计算、模型大小）和算法突破（推理、代理、多模态性等）。这些都是有根据的猜测，因此也是最有趣的部分。

本文大纲：

• 第 1 部分：有关 GPT-5 的一些元信息

  • GPT-5 类模型[7]

  • GPT-5 还是 GPT-4.5？[8]

  • GPT品牌陷阱[9]

• 第二部分：我们对 GPT-5 所了解的一切

  • OpenAI 何时发布 GPT-5？[10]

  • GPT-5 会有多好？[11]

  • OpenAI 的目标如何塑造 GPT-5[12]

• 第三部分：关于 GPT-5我们不知道的一切

  • GPT-5 和缩放定律的统治[13]

    • 模型大小[14]

    • 数据集大小[15]

    • 计算[16]

    • 我对 GPT-5 大小的估计[17]

  • GPT-5 的算法突破[18]

    • 多模态[19]

    • 机器人[20]

    • 推理[21]

    • 个性化[22]

    • 可靠性[23]

    • 代理[24]

•  结束语

第一部分：有关 GPT-5 的一些元信息

GPT-5 类模型

2023 年 3 月至 2024 年 1 月期间，当你谈论最先进的人工智能或跨学科能力时，你谈论的是 GPT-4。没有其他东西可以与之相比。OpenAI 的模型独树一帜。

自 2 月份以来，情况发生了变化。Google Gemini（1.0 Ultra 和 1.5 Pro）和 Anthropic Claude 3 Opus 是 GPT-4 级模型（即将推出的Meta Llama 3 405B也是 GPT-4 级[25]，在撰写本文时仍在训练中）。这个备受追捧的头衔早就该有竞争者了，但最终还是来了。优点和缺点取决于您如何使用它们，但就性能而言，这三款产品都差不多[26]。

这一新现实——以及早期采用者似乎一致认为 Claude 3 Opus 比 GPT-4 更好（在最近的GPT-4 涡轮升级之后[27]，可能不再如此[28]）或 Llama 3 405B 评估在中级检查点方面已经表现强劲——让人们对 OpenAI 的领导地位产生了怀疑。

但我们不应忘记，OpenAI 与其他模型之间有一年的差距；按照 AI 进步速度的标准，GPT-4 是一个老模型。不可否认，最新的 GPT-4 turbo 版本一点也不老（于 4 月 9 日发布）。然而，很难否认，区分 GPT-4 版本的适度迭代改进与 Google、Anthropic 或 Meta 的全新最先进模型相媲美。GPT-4 的骨架已有 1.5 年的历史；这就是与 Gemini、Claude 和 Llama 相比的关键，它们肯定在更深层次上利用了最新的研究（例如架构变化），而 GPT-4 可能仅通过更新微调就无法采用这些研究。

有趣的问题是：OpenAI 在构建 GPT-5 时是否保持了其优势？还是其竞争对手终于缩小了差距？

一种可能性是，Google、Anthropic 和 Meta 已经向我们提供了它们的所有产品：Gemini 1.0/1.5、Claude 3 和 Llama 3 是它们目前能做到的最好的产品。我认为两者都不是这种情况（这里我将跳过 Meta 的情况，因为它们的情况相当特殊，应该单独分析）。1[29]让我们从谷歌开始。

谷歌在发布Gemini Advanced （带有 1.0 Ultra 后端）[30]一周后宣布了Gemini 1.5 [31]。他们只让我们一睹 Gemini 1.5 的功能；他们宣布了中间版本 1.5 Pro，它已经是 GPT-4 级的了[32]，但我认为这并不是他们最好的版本。我相信 Gemini 1.5 Ultra 已经准备就绪。如果他们还没有推出它，那是因为他们吸取了 OpenAI 自早期以来一直在利用的一个教训：把握好发布时机是成功的基础。生成式人工智能竞赛太广泛了，不容忽视这一点。

考虑到1.0 Pro 和 1.0 Ultra 之间[33]存在很大差距，可以合理地假设 Gemini 1.5 Ultra 将明显优于 1.5 Pro（尽管谷歌尚未改进命名部分）。但 Gemini 1.5 Ultra 会有多好？GPT-5 级别有多好？我们不知道，但考虑到 1.5 Pro 的评估分数，这是有可能的。

要点是，Gemini 1.0 达到 GPT-4 级别并不是偶然的（这不是碰壁的结果，也不是谷歌局限性的标志），而是一个预先定义的计划，旨在告诉世界他们也可以创造出那种人工智能（让我提醒你，构建模型的团队[34]不是负责谷歌经常失败的营销部分的团队[35]）。

Anthropic 的情况对我来说不是那么清楚，因为他们比谷歌和 OpenAI 更不愿意接受媒体采访，但我没有理由排除他们，因为 Claude 3 的表现比 GPT-4 略高，很难相信这只是巧合。另一个有利于 Anthropic 的关键点是它成立于 2021 年。一家世界级的人工智能初创公司需要多少时间才能开始在最高水平上竞争？合作伙伴关系、基础设施、硬件、训练时间等都需要时间，当 OpenAI 开始训练 GPT-4 时，Anthropic 才刚刚安定下来。Claude 3 是 Anthropic 的第一次真正努力，所以如果 Claude 4 比预期的更早到来，并且与 OpenAI 用 GPT-5 可能实现的任何目标相匹配，我不会感到惊讶。

我看到的模式很明显。对于每一代最先进的模型（首先是 GPT-3 级别，然后是 GPT-4 级别，接下来是 GPT-5 级别），领先者与其他模型之间的差距都在缩小。原因很明显：顶级人工智能公司已经学会了如何可靠地构建这项技术。构建一流的大型语言模型 (LLM) 是一个已解决的问题。这不再是 OpenAI 的秘密。他们一开始就占据优势，因为他们发现了别人还没有发现的东西，但其他人已经赶上了。

即使公司擅长向间谍和泄密者隐瞒商业机密，技术和创新最终也会在可行且经济实惠的方面趋于一致。GPT-5 类模型可能存在一定程度的异质性（就像 GPT-4 类模型一样），但它们的发展方向都是相同的。

如果我没记错的话，这会让 GPT-5 本身失去相关性——这就是为什么我认为这篇 14,000 字的分析应该被更广泛地阅读，而不仅仅是 GPT-5 的预览——并将其纳入整个模型类别中。这是一件好事。

GPT-5 还是 GPT-4.5？

3 月初有传言称GPT-4.5 已泄露[36]（是公告，不是权重）。搜索引擎在 OpenAI 删除该消息[37]之前就发现了它。网页上说，“知识截止时间”（模型了解世界状况的时间点）是 2024 年 6 月。这意味着假设的 GPT-4.5 将训练到 6 月，然后经历长达数月的安全测试、护栏和红队测试，将发布推迟到年底。

如果这是真的，这是否意味着 GPT-5 今年不会问世？可能，但不一定。我们需要记住的是，这些名称（GPT-4、GPT-4.5、GPT-5（或其他完全不同的名字））是 OpenAI 认为足够高、值得获得给定发布号的某种能力水平的占位符。OpenAI 一直在改进其模型、探索新的研究场所、使用不同级别的计算进行训练运行并评估模型检查点。构建新模型并不是一个简单而直接的过程，而是需要大量的反复试验、调整细节和“ YOLO 运行[38]”，这可能会产生意想不到的好结果。

经过所有的实验后，当他们觉得准备好了，他们就会开始进行大规模的训练。一旦达到“足够好”的性能点，他们就会以最合适的名字发布它。如果他们把 GPT-4.5 称为 GPT-5 或反之亦然，我们不会注意到。这个一步一步的检查点过程也解释了为什么 Gemini 1.0/1.5 和 Claude 3 可以略高于 GPT-4，但这并不意味着 LLM 存在障碍。

这意味着，我将在下文中引用的所有关于“GPT-5 发布”的消息来源实际上可能在不知不觉中谈论的是 GPT-4.5 或某种名称不同的新奇事物。也许，将知识截止时间定在 2024 年 6 月的 GPT-4.5 泄漏将是经过进一步改进后的 GPT-5（也许他们试图达到 GPT-4.5 的水平，但无法完全达到，因此不得不放弃发布）。这些决定会根据内部结果和竞争对手的动向而不断变化（也许 OpenAI 在 3 月份没有预料到 Claude 3 会成为公众首选的模型，因此决定放弃 GPT-4.5 版本）。

有充分的理由认为不会发布 GPT-4.5：在竞争如此激烈、审查如此严格的情况下，发布 .5 个版本是没有意义的（即使 Sam Altman 表示他希望加倍进行迭代部署[39]，以避免震惊世界并给我们时间去适应等等）。

人们会不自觉地将每个新的大版本都视为“下一个模型”，无论数字是多少，并会根据自己的期望对其进行测试。如果用户觉得它不够好，他们会质疑为什么 OpenAI 没有等待 .0 版本。如果他们觉得它非常好，那么 OpenAI 会怀疑他们是否应该将其命名为 .0，因为现在他们必须做出更大的飞跃才能获得可接受的 .0 模型。并非所有东西都是客户想要的，但生成式人工智能现在更像是一个行业，而不是一个科学领域。OpenAI 应该选择 GPT-5 模型并使其变得更好。

不过也有例外。OpenAI 发布了 GPT-3.5 模型，但如果你仔细想想，这是一个低调的变化（后来被 ChatGPT 所掩盖）。他们并没有像 GPT-3 和 GPT-4 甚至 DALL-E 和 Sora 那样大肆宣传。另一个例子是谷歌在 Gemini 1 Ultra 发布一周后发布的 Gemini 1.5 Ultra。谷歌希望通过连续两次发布高于 OpenAI 最佳模型的版本，加倍其对 GPT-4 的胜利。它失败了——Gemini 1 Ultra 并不比 GPT-4 好（人们期待更多，而不是一个棘手的演示[40]），Gemini 1.5 被 Sora 推到了一边，OpenAI 几个小时后发布了 Sora（谷歌还有很多东西要从 OpenAI 的营销策略中学习）。2[41]无论如何，OpenAI 需要一个很好的理由来发布 GPT-4.5。

GPT品牌陷阱

本节最后要提到的是 GPT 陷阱：与其他公司不同，OpenAI 将其产品与 GPT 首字母缩略词紧密联系在一起，现在 GPT 既是一个技术术语（就像它最初的样子），也是一个拥有难以放弃的威望和力量的品牌。GPT，即生成式预训练变压器，是一种非常特殊的神经网络架构，可能会也可能不会在新的研究突破中幸存下来。GPT 能否逃脱“自回归陷阱[42]”？你能将推理注入 GPT 或将其升级为代理吗？目前尚不清楚。

我的问题是：OpenAI 是否仍将其模型称为 GPT，以维护大多数人与 AI 相关的强大品牌，还是会保持严谨，一旦技术含义被更好的东西耗尽，就会切换到其他名称（Q* 或其他）？如果 OpenAI 坚持使用这个无价的首字母缩略词（正如商标注册所[43]暗示的那样），他们是否会因为将其锚定在过去而自我破坏自己的未来[44]？OpenAI 冒着让人们错误地认为他们正在与另一个聊天机器人互动的风险，而他们手中可能有一个强大的代理。只是一个想法。

第二部分：我们对 GPT-5 所了解的一切

OpenAI 何时发布 GPT-5？

3 月 18 日，Lex Fridman 采访了 Sam Altman [45]。他透露的细节之一是关于GPT-5 的发布日期[46]。Fridman 问道：“那么，GPT-5 什么时候发布呢？” Altman 回答说：“我不知道；这是诚实的回答。”

我相信他的诚实，因为对于他模棱两可的“我不知道”这句话，可能会有不同的解释。我认为他确切地知道他想让OpenAI 做什么，但生命固有的不确定性让他有语义空间说，老实说，他不知道。就 Altman所知道的程度而言，他可能不会说更多，因为首先，他们仍在决定是否发布中间版 GPT-4.5，其次，他们正在与竞争对手拉开距离，第三，他不想透露确切日期，以免让竞争对手有机会以某种方式掩盖发布，就像他们一直对谷歌所做的那样。

随后，他犹豫着是否要回答 GPT-5 是否会在今年问世，但补充说[47]：“我们今年将发布一款令人惊叹的新模型；我不知道我们会给它起什么名字。”我认为，我在上面“GPT-5 这个名字是随意的”一节中的论点已经解决了这个模糊性问题。Altman还表示，[48]他们“还有很多其他重要的东西要先发布”（他可能指的是：公共 Sora 和语音引擎、独立的网络/工作 AI 代理、更好的 ChatGPT UI/UX、搜索引擎、Q* 推理/数学模型）。因此，构建 GPT-5 是当务之急，但发布它不是当务之急。

Altman 还表示，OpenAI 之前未能做到“不向世界发布令人震惊的更新[49]”（例如第一个 GPT-4 版本）。这可以解释他对 GPT-5 发布日期含糊其辞的原因。他补充说：“也许我们应该考虑以不同的方式发布 GPT-5。”我们可以将此解读为一种示意性评论，但我认为这有助于解释 Altman 犹豫不决，不愿说“我知道我们什么时候会发布 GPT-5，但我不会告诉你”，这样说是公平且可以理解的。

这甚至可以解释最新的 GPT-4 turbo 版本（4 月 9 日）[50]在数学推理方面的显著改进：也许他们以不同的方式发布 GPT-5 以不震惊世界，方法是先在野外测试其各个部分（例如，针对 GPT-4 的新数学/推理微调），然后将它们组合成一个有凝聚力的整体，形成一个更强大的基础模型。这同样是不负责任的，也与 Altman 的话不一致。

让我们听听其他消息来源。3 月 19 日，也就是 Fridman-Altman 采访的第二天，Business Insider 发表了一篇新闻文章，题为“消息人士称，OpenAI 预计将在年中为其聊天机器人发布‘实质性改进’的 GPT-5 [51]”，这与 Altman 前一天的说法完全相反。如果 Altman 不知道日期，非 OpenAI 的消息来源怎么会知道？如果 OpenAI 还有这么多东西要先发布，GPT-5 怎么会在年中发布？这些信息是不连贯的。以下是 Business Insider 写道：

据两位知情人士透露，由Sam Altman[52]领导的这家生成式人工智能公司 有望在年中某个时候（可能是夏季）推出 GPT-5。其中一位知情人士表示，OpenAI 仍在训练 GPT-5。训练完成后，它将在内部进行安全测试，并进一步进行“红队测试”……

因此，GPT-5 在 3 月 19 日仍在训练中（这是文章中唯一一个不是预测而是事实的数据点）。让我们采取慷慨的估计，假设它已经完成训练（2024 年 4 月），OpenAI 已经在进行安全测试和红队测试。在他们准备部署之前，这会持续多久？让我们再次采取慷慨的估计，并说“与 GPT-4 相同”（GPT-5 可能更复杂，正如我们将在下一节中看到的那样，这是一个安全的下限）。GPT -4 于 2022 年 8 月完成训练[53]，OpenAI 于 2023 年 3 月宣布了这一消息。这是七个月的安全层。但请记住，微软的 Bing Chat 已经在后台运行 GPT-4。Bing [54]Chat 于 2023 年 2 月初发布。所以是半年。

总而言之，最乐观的估计是 GPT-5 的发布时间距今还有半年，也就是说，发布日期不是 2024 年夏天（六月似乎是 AI 发布的最佳时间），而是 2024 年 10 月——最好的情况下！也就是选举前一个月。考虑到AI 驱动的政治宣传的先例，OpenAI 肯定不会那么鲁莽[55]。

“GPT-5 将在年中某个时候发布”可能是 Business Insider 的一个错误，指的是 GPT-4.5（或者什么都没提到）？我已经说过，我认为 OpenAI 不会用 4.5 取代 GPT-5 公告，但他们可能会将此版本添加为一个中期低调里程碑，同时明确表示 GPT-5 即将推出（在谷歌和 Anthropic 发布其他产品之前与他们抗争是发布 4.5 版本的一个很好的理由——只要 GPT-5 模型在几个月后推出）。

这种观点调和了我们迄今为止分析的所有信息：它调和了 Altman 的“我不知道 GPT-5 什么时候发布”和“我们还有很多其他重要的东西要先发布”。这也符合加倍迭代部署以及“令人震惊”的新模式对选举构成的威胁。谈到选举，GPT-5 发布日期的另一个候选日期是 11 月的 DevDay 左右（我最看好的预测）。去年，OpenAI 于 11 月 6 日举行了第一次开发者大会，今年是选举后的第二天。

考虑到所有这些信息（包括那些不连贯的部分，一旦我们理解“GPT-5”是一个任意名称，并且非 OpenAI 来源可能会混淆即将发布的版本的名称，这些不连贯的部分就说得通了），我打赌：GPT-4.5（可能是 GPT-5 的另一种偷偷推进版本）将于夏季发布，GPT-5 将在选举后发布。OpenAI 将在未来几个月发布一些新产品，但这不会是 Altman 所说的今年最大的发布。（最近的事件表明，更早的惊喜仍有可能。）3[56]

GPT-5 会有多好？

这是每个人都在等待的问题。我先声明一下，我没有独家信息。但这并不意味着你不会从本节中得到任何东西。它的价值有两方面：首先，它是你可能错过的资料的汇编；其次，它是对信息的分析和解释，可以进一步阐明我们可以期待什么。（在“算法突破”部分，我更深入地探讨了 GPT-5 可能从前沿研究中整合的内容。目前还没有关于这方面的官方信息，只有线索和线索，以及我对能够相当好地遵循它们的自信。）

几个月来，Altman 一直暗示他对 GPT-5 比现有 AI 更胜一筹充满信心。今年 1 月，在达沃斯世界经济论坛期间举行的一次私人谈话中，Altman 私下接受韩国媒体《每日经济新闻》等新闻媒体采访时表示（[57]谷歌翻译）：“GPT2 非常糟糕。GPT3 相当糟糕。GPT4 相当糟糕。但 GPT5 会很好。”一个月前，他告诉 Fridman，GPT-4“有点糟糕[58]”，而 GPT-5 将“更聪明[59]”，不仅在某一方面，而是在各个方面。

接近 OpenAI 的人士也发表了含糊其辞的言论。理查德·何（Richard He）通过 Howie Xu[60]表示：“GPT-4 的大多数局限性将在 GPT-5 中得到修复”，一位未公开的消息人士告诉 Business Insider [61]，“[GPT-5] 真的很好，就像是实质性的改进一样。”所有这些信息都很好，但也有些琐碎、模糊，甚至不可靠（我们现在可以相信 Business Insider 的消息来源吗？）。

然而，Altman 告诉 Fridman 的一件事，我认为是我们掌握的有关 GPT-5 智能的最重要的数据点。他说的是[62]：“我预计 5 和 4 之间的差值将与 4 和 3 之间的差值相同。”这一说法比其他说法的 SNR 丰富得多。如果它听起来同样神秘，那是因为它所说的不是关于 GPT-5 的绝对智能水平，而是关于它的相对智能水平，这可能更难分析。具体来说：GPT-3 → GPT-4 = GPT-4 → GPT-5。

要解释这个“等式”（诚然，它仍然含糊不清），我们需要技术手段来解开它，同时也需要对 GPT-3 和 GPT-4 有充分的了解。这就是我为本节所做的工作（此外，除非发生重大泄密，否则这是我们能从 Altman 那里得到的最好的信息）。我唯一需要做的假设是，Altman 知道自己在说什么——他明白这些增量意味着什么——而且他已经知道 GPT-5 智能的大概情况，即使它还没有完成（就像扎克了解 Llama 3 405B 检查点的性能一样）。由此，我得出了三种解释（为了清楚起见，我只使用了型号，没有使用“GPT”）：

第一个解读是，4-5 和 3-4 的增量是指跨基准评估的可比跳跃，这意味着 5 将比4更**聪明，因为 4 比 3 更聪明（这个开始很棘手，因为众所周知评估是有问题的[63]，但我们先把这个放在一边）。这肯定是一个人们乐于接受的结果，因为随着模型变得越来越好，攀登基准变得越来越困难。实际上，难度如此之大，以至于我怀疑这是否有可能。这并不是因为人工智能不能变得那么智能，而是因为这种智能会让人类的测量标准太短，即基准对于 GPT-5 来说太容易了。

[GPT-4 技术报告](https://arxiv.org/abs/2303.08774)

上图是 4 与 3.5 的比较（3 更低）。在某些方面，4 并没有太大的进步，但在其他方面，它比现在好得多，这可能会让分数变得毫无意义，因为分数太高了。即使我们接受 5 不会在所有方面都变得更好，但在那些方面，它已经超越了基准所能提供的极限。这使得 5 不可能实现与 4 相差 3-4 的大小。至少如果我们使用这些基准的话。

如果我们假设 Altman 正在考虑更难的基准（例如SWE-bench[64]或ARC [65]），其中 GPT-3 和 GPT-4 的表现都很差（GPT-4 在 SWE-bench 上[66]，GPT-3 在 ARC 上[67]，GPT-4 在 ARC 上[68]），那么让 GPT-5 显示出类似的差异将令人失望。如果你参加为人类设计的考试（例如SAT、Bar、AP [69]），你就不能相信 GPT-5 的训练数据没有被污染[70]。

第二种解释表明，增量指的是非线性的“指数”缩放定律[71]（大小、数据、计算的增加），而不是性能的线性增加。这意味着 5 延续了之前由 2、3 和 4 描绘的曲线，无论在性能方面产生什么。例如，如果 3 有 175B 个参数，4 有1.8T 个参数[72]，那么 5 将有大约 18 万亿个参数。但参数数量只是[73]扩展方法的一个因素，因此增量可能包括其他所有因素：它们使用了多少计算能力，它们为模型提供了多少训练数据，等等。（我在下一节中更深入地探讨了 GPT-5 与缩放定律的关系。）

这是 Altman 更稳妥的说法（OpenAI 控制这些变量），也更合理（新兴能力需要新的基准，而之前的数据并不存在，因此无法进行 3→4 与 4→5 的比较）。然而，Altman 表示他预计会有这个增量，这表明他并不确定，而这个（例如，训练 GPT-5 需要多少 FLOP）他会知道。

第三种可能性是，Altman 的 delta 指的是用户感知，即用户会认为 5 比 4 好，就像他们认为 4 比 3 好一样（问问重度用户，你就会知道答案是“好很多”）。这是一个大胆的说法，因为 Altman 不可能知道我们会怎么想，但他可能是根据经验说的；这是他从初步评估中感受到的，他只是在分享他的轶事评估。

如果这种解释是正确的，那么我们可以得出结论，GPT-5将令人**印象深刻。如果那些最习惯使用以前版本的人真的有这种感觉——他们也是期望最高的人，而这项技术的新鲜感对他们来说已经消退得最厉害。如果我很慷慨，必须打赌哪种解释最正确，我会选择这个。

如果我不觉得慷慨，还有第四种解释：Altman 只是在炒作他公司的下一款产品。OpenAI 过去曾取得过成绩，但激进的营销策略一直存在（例如，在谷歌发布 Gemini 1.5 数小时后发布 Sora）。我们可以默认使用这一解释以保证安全，但我相信上述三种解释都有一定道理，尤其是第三种。

OpenAI 的目标如何塑造 GPT-5

在我们进一步深入猜测之前，让我分享一下我认为正确的框架，以了解 GPT-5 能做什么和不能做什么，即如何区分明智的猜测和妄想。这可以作为理解 OpenAI 整个 AI 方法的一般视角。我将在 GPT-5 上具体化它，因为这是我们今天的主题。

OpenAI宣称的目标是 AGI [74]，但这太过模糊，与严肃的分析无关。除了 AGI，OpenAI 还有两个“非官方目标”（如果你愿意的话，也可以称之为工具性目标），它们更具体、更直接，是前进的真正瓶颈（从技术意义上讲；从产品角度来看，还有其他考虑因素，比如“制造人们想要的东西[75]”）。这两个目标是增强能力和降低成本。无论我们对 GPT-5 做出什么假设，都必须遵循平衡两者的需要。

OpenAI 总是可以无意识地增强功能（只要其研究人员和工程师知道如何做），但这可能会给 Azure 云带来不可接受的成本，而 Azure 云会不满微软的合作关系（微软与 OpenAI 的合作关系已经不像以前那么独家了[76]）。OpenAI 不能成为现金流失。DeepMind 早期是谷歌的无底洞，但借口是“以科学的名义”。OpenAI 专注于业务和产品，因此他们必须带来一些丰厚的利润。

他们总是可以降低成本（以不同的方式，例如定制硬件、压缩推理时间、稀疏性、优化基础设施和应用量化等训练技术），但盲目这样做会阻碍能力的发挥（2023 年春季，他们不得不放弃一个代号为“Arrakis”的项目[77]，通过稀疏性提高 ChatGPT 的效率，因为它的表现不佳）。花更多的钱总比失去客户的信任要好——或者更糟的是，失去投资者的信任。

因此，无论如何，由于这两个相互矛盾的要求（能力和成本）位于 OpenAI 优先级的顶部（仅低于始终模糊的 AGI），即使我们缺乏官方信息，我们也可以缩小对 GPT-5 的期望范围——我们知道他们关心这两个因素。如果我们加上限制他们选择的外部环境，平衡将进一步对 OpenAI 不利：GPU 短缺（不像2023 年中期那么严重[78]，但仍然存在）、互联网数据短缺[79]、数据中心短缺以及对[80]新算法的[81]迫切搜索。

最后一个因素直接影响了 GPT-5，并以某种方式推动 OpenAI 打造出他们所能打造的最强大的模型：他们在行业中的特殊地位。OpenAI 是最受瞩目的人工智能初创公司，在经济和技术上处于领先地位，每次他们发布新东西时，我们都会屏住呼吸。所有人的目光都集中在他们身上——竞争对手、用户、投资者、分析师、记者，甚至政府——所以他们必须大干一场。GPT-5 必须打破预期，改变范式。尽管 Altman 说过迭代部署和不震惊世界，但在某种程度上，他们必须震惊世界。哪怕只是一点点。

因此，尽管成本和一些外部约束（计算、数据、算法、选举、社会影响）限制了他们的发展，但对增强能力的无限渴求和稍微震撼世界的需要将推动他们走得尽可能远。让我们看看他们能走多远。

接下来请继续看下一篇文章。

THE END !

文章结束，感谢阅读。您的点赞，收藏，评论是我继续更新的动力。大家有推荐的公众号可以评论区留言，共同学习，一起进步。