今年2月，OpenAI首次对外公布了这个模型的存在。GPT-2写起文章来文思泉涌毫无违和感，无需针对性训练就能横扫各种特定领域的语言建模任务，还具备阅读理解、问答、生成文章摘要、翻译等等能力。
但不同寻常的是，这个模型并没有真的开源。OpenAI给的解释是，它太过强大，我们不敢放出完整模型……尽管因此被外界嘲笑，但GPT-2仍然封闭至今。
现在，有人单枪匹马，破解了OpenAI不欲人知的秘密。
而且，是一个大三的学生。
来自慕尼黑工业大学的Connor Leahy同学，在两个月的时间里，付出了200个小时的时间，花费了大约6000人民币，复现了GPT-2项目。
这件事在推特上引发了众多关注。称赞Awesome的有之，深入讨论的有之，甚至连OpenAI的几位资深研究员，都赶来沟通。
另外让人佩服的是，Connor Leahy同学关于机器学习的知识，都是利用空闲时间自学而成。他形容自己是一个充满好奇心的本科生。
“我只是把别人出去撩妹的时间，用来搞AI实验了而已。”
一气之下
GPT-2是OpenAI最棒的研究成果。
这个模型是GPT的“进化版”，最大区别就在于规模大小。GPT-2参数达到了15亿个，使用了包含800万个网页的数据集来训练，共有40GB。
使用语言建模作为训练信号，以无监督的方式在大型数据集上训练一个Transformer，然后在更小的监督数据集上微调这个模型，以帮助它解决特定任务。
