Nature：ChatGPT可快速撰写和修改论文，可靠吗？

2022年12月，计算生物学家Casey Greene和Milton Pividori做了一项不同寻常的实验：他们请一名非人类助手帮助改进三篇研究论文。这位勤劳的助手在数秒内就对论文各个部分提出了建议，在一份生物学手稿中，这位助手甚至在一篇引用中发现了错误。最终产生的论文手稿可读性更强，而且花费很低，每份文件不到0.50美元。

这个助手，正是名为GPT-3的AI工具（于2020年首次发布）。2023年1月23日，一篇预印本文章发表了上述实验的发现。

https://www.biorxiv.org/content/10.1101/2023.01.21.525030v1

图. GPT-3对论文的修改

红色为删除部分；绿色为修改部分

这些工具中最有名的是ChatGPT，是一个大型语言模型（LLM），它通过学习大量人类生成的文本来学习执行任务，ChatGPT是GPT-3的一个版本。OpenAI于2022年11月30日发布了ChatGPT，提供用户免费使用，发布后引起了研究者的激烈讨论。

ChatGPT等工具可快速成本，可靠吗？

有研究者认为，只要有人监督，ChatGPT可以帮助研究人员加快论文写作速度，也可以快速完成课题申请等文件。有些科学家不仅经常使用ChatGPT来检查代码，还会用于头脑风暴。还有研究者会使用AI编写PPT、制作学生考卷和批改课程作业，很多人把AI当做数字秘书或助理使用。

但其快速发展也引发了广泛的担忧，例如产生虚假信息，有的研究者可能会完全依赖AI来生成文章。有研究者强调，AI有时不可靠，会产生错误。ChatGPT的工作原理是在庞大的在线文本数据库中进行学习，其中就有谎言、偏见或过时的知识。因此，ChatGPT可能很容易产生错误和误导性的信息，特别是对于目前空白的研究领域。如果使用ChatGPT撰写学术论文，也可能会编造虚构的引文。

2022年12月，有一个网站就暂时禁止了ChatGPT的使用，因为网站管理员发现网站充斥了大量由AI生成的错误答案，这对搜索引擎来说可能是一场噩梦。

其他问题

有研究者担心，如果没有输出控制，AI很容易被用来产生仇恨言论和垃圾邮件，引起种族主义、性别歧视和其他问题等。

一些研究人员表示，学术界应该拒绝支持大型商业AI。研究者担心，如果把思考任务交给AI，研究人员可能会失去表达自己想法的能力。

如何规范AI的使用？

一些研究人员认为，为AI设限可能至关重要，对人工智能的计划监管将有助于保证AI的规范使用。

目前，很多学术出版商都公开声明，科学家应该在论文中公开披露AI的使用情况。《Science》的政策更加严格，称论文中不能使用ChatGPT或任何其他AI工具生成的文本。

更多阅读：数篇论文用AI写论文并将其列为作者，很多期刊表示了反对！

一个关键的技术问题是，AI生成的内容不容易被发现。2022年12月，一位计算机学生发布了“GPTZero”这个工具，如果它发现大部分单词和句子是可预测的，那么文本很可能是AI生成的。此外还会检查文本的变化，因为AI生成的文本在语气、节奏上往往比较一致。

然而，检测工具的准确性并不总是可靠，特别是如果AI生成的文本随后被人工编辑的话。此外，检测工具可能会错误地将人类书写的文本误判为AI所写。OpenAI公司表示，在测试中发现，误判率为9%，仅正确识别了26%的AI撰写文本。

还有研究者提出，将AI生成的内容带上水印。2022年11月，OpenAI就宣布正在研究一种为ChatGPT输出数字水印的方法，但还没有发布。

参考文章：
https://www.nature.com/articles/d41586-023-00340-6