克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

Science正刊发表对ChatGPT的调查报告，《生成式人工智能对生产力影响的实验证据》

对于一些文书任务，ChatGPT不仅能在节省40%时间的同时提高18%的绩效，还降低了不同人之间的绩效差异。

MIT官方也对这一研究成果进行了报道。

对照组也会偷用

这场实验一共邀请了453名受试者，分为实验组和对照组。

这些受试者是来自不同领域、受过高等教育的专业人士。

两个组中人员的薪资水平、职业等信息如下表所示：

在为期一个月的实验中，他们被要求完成与职业相关的写作任务。

这些任务包括撰写新闻稿、简短报告、分析计划和电子邮件，时长约为20到30分钟。

评估的指标包括效率和质量两部分，每份成果分别交由三名相关领域的专业人士进行盲评（1-7分）。

结果显示，实验组所用时间减少了0.75个标准差（约11分钟），评分则提高了0.41个标准差。

如果换算成百分数，时间缩短和质量提高的比例分别是40%和18%。

具体而言，实验组首先被安排完成一项任务，之后注册ChatGPT（3.5版本）。

他们被告知，如果觉得ChatGPT好用，那么就要在第二个任务中使用。

而对照组则被要求注册一款LaTex编辑器（注册复杂度与ChatGPT相当），但没有类似的告知。

结果，有80%的实验组人员在第二个任务中使用了ChatGPT，而对照组中只有不到5%使用了LaTex工具。

对于第二个任务，实验组平均耗时为17分钟，比对照组少了10分钟。

质量方面，实验组的平均成绩为4.53，对照组的平均成绩则为3.802。

除了提质增效，ChatGPT还降低了不同人之间工作质量的差异。

根据第一个任务完成情况的不同，研究人员将这些人第二次任务的评分进行了线性拟合。

结果显示，实验组评分的拟合斜率为0.414，比对照组低了0.272。

那么这些人又是如何使用ChatGPT的呢？是直接使用输出结果或仅做微调，还是只用来打草稿？

跟踪结果显示，有33%的受试者提交的是原汁原味的ChatGPT结果，而53%进行了修改。

但这些修改可能十分微小，比如只是调整一下格式等等。

得出这一结论的理由是，他们在ChatGPT生成回复后的平均活动之间只有3.3分钟，且大部分位于0-2分钟之间。

需要说明的是，在实验开始之前，70%的受试人员已经听说过ChatGPT，32%曾经使用过。

所以，在实验过程中，研究人员发现，对照组中也有10~20%的人使用了ChatGPT。

这一现象对实验结果存在一定影响，研究人员利用了统计学方法进行修正。

实验结束后，研究人员还对这些受试者进行了两次回访，分别有92%和83%的人给出了回复。

第一次回访是在实验结束后两周，实验组和对照组分别有34%和18%的人仍在使用ChatGPT。

六周之后，也就是实验结束后两个月，这组数字分别提升到了42%和27%。

综上所述，研究人员认为，ChatGPT在提升工作质效方面确实有显著作用，但其能否取代人类仍不明确。

作者简介

该研究由MIT华裔经济学博士生Whitney Zhang和同学Shakked Noy共同完成。

Zhang从2017年开始一直在MIT就读，目前的研究领域包括行为经济学等经济学分支领域。

Zhang还是波士顿华人社区大学初入者帮扶项目导师。

Noy则来自新西兰，2022年进入MIT攻读经济学博士。

论文地址：
https://www.science.org/doi/10.1126/science.adh2586
参考链接：
[1]https://news.mit.edu/2023/study-finds-chatgpt-boosts-worker-productivity-writing-0714
[2]https://economics.mit.edu/people/phd-students/whitney-zhang
[3]https://economics.mit.edu/people/phd-students/shakked-noy