GPT 开发技术选取

2017年8月，OpenAI 刚刚发布了一个开源项目 GPT-2 ，这是一个用 transformer 模型生成文本的 AI 语言模型。GPT-2 的训练数据集并不大，只有几十万篇文章、论文等纯文字材料，而这几十万篇文章的质量如何呢？OpenAI 在自己的博客上提供了一些分析结果：“我们在训练过程中对数据集进行了若干标准化和清理，但仍然存在许多噪声和低质量的数据。事实上，很少有纯文字材料能够提供足够的训练材料。”因此，如果想要构建一个可以处理长文本数据的 AI 模型，就需要面对更加实际的问题。