GPT:《Improving Language Understanding by Generative Pre-Training》 下载地址:https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdfhttps://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
GPT诞生前,传统NLP模型仍然使用大量数据对模型进行有监督学习。
这种有监督学习任务存在明显缺点:需要大量人工标注数据,耗时且昂贵;泛化性和可迁移性差。
这篇论文提出一种两阶段的自(文中写的是半)监督训练方法&#