1.3.4 有监督微调

尽管GPT模型在预训练阶段掌握了大量的语言学知识和世界知识，但要使其在特定任务上表现卓越，还需要进行有监督微调。在这个过程中，模型会利用标注好的数据集，通过监督学习调整参数，以更好地满足任务需求。对于GPT系列模型来说，这通常包括问答、对话生成、情感分析等NLP任务。然而，并非所有的GPT模型都要经过有监督微调，因为构建用于下游任务的有监督微调训练数据集的任务复杂且成本高昂，并且随着模型参数规模的增大，训练成本也会呈指数增长。虽然GPT系列中GPT-1和GPT-3.5及以上版本的模型基于少量样本进行了有监督微调，但其主要的能力依然来自大规模的预训练阶段，并通过上下文学习的方式适配更多的下游任务。