大模型基本原理（二）——ChatGPT的工作原理

如何得到一个ChatGPT？

1、无监督预训练：通过大量的文本数据集进行无监督训练，得到一个基座模型（只会续写文本）

2、监督微调：通过一些人类撰写的高质量对话数据对基座模型进行监督微调，得到一个微调后的基座模型（除了能续写文本，还具备更好的对话能力）

3、训练奖励模型+强化学习训练：用问题和对各对应回答的数据，让人类标注员对回答进行质量排序，基于这些数据，训练出一个能对回答进行评分预测的奖励模型。

让监督微调模型对问题生成回答，用奖励模型对回答进行打分，利用评分作为反馈进行强化学习训练，就能够得到最终的ChatGPT了。

接下来让我们对每一个步骤进行详细解读

1、无监督预训练

基座模型需要海量的文本数据进行训练

无监督训练：以原始文本作为数据集和监督信息，模型通过前面的文本预测下一个出现的单词。

2、监督微调

以人类写的专业且高质量的对话作为监督数据集训练基座模型，最后得到SFT模型。

3、训练奖励模型+强化学习训练

强化学习：

让模型在环境里采取行动，获得结果反馈，从反馈里学习，从而能在给定情况下采取最佳行动，来最大化奖励或最小化损失。

理想情况下是将问题抛给GPT，人类对GPT做出的回答进行打分，最终GPT根据打分优化模型。

打分一般基于3H原则：

但是人类打分成本高效率低，于是开发了一个奖励模型，能够对GPT生成的回答进行打分。

奖励模型

训练数据：让SFT模型对每个问题生成多个回答，让人类对多个回答进行比较排序。这些数据就可以作为奖励模型的训练数据了。

经过训练后，奖励模型就能够正确的预测出GPT每个回答的评分了。

最终，经过不断的强化学习训练，奖励模型不变，SFT模型不断优化权重参数，最终得到能够和人类进行对话的Chat GPT了。