作者丨好困
来源丨学术头条
编辑丨新智元
点击进入—>3D视觉工坊学习交流群
【导读】最近，来自苏黎世大学的研究团队发现，ChatGPT在多个NLP标注任务上胜过众包工作者，具有较高一致性，且每次标注成本仅约0.003美元，比MTurk便宜20倍。
当前，很多自然语言处理（NLP）应用需要高质量的标注数据来支撑，特别是当这些数据被用于训练分类器或评估无监督模型的性能等任务中。
例如，人工智能研究人员通常希望过滤嘈杂的社交媒体数据的相关性，将文本分配到不同的主题或概念类别，或衡量其情绪或立场。
而且，无论这些任务使用什么具体方法（监督、半监督或无监督），都需要标注好的数据来建立一个训练集或黄金标准。
然而，在大多数情况下，要完成高质量的数据标注（data annotation）工作，依然离不开数据标注平台上的众包工作者或诸如研究助理等训练有素的标注者来手动进行。
通常情况下，训练有素的标注者先创建一个相对较小的黄金标准数据集，然后雇用众包工作者来增加标注数据的数量，进行重复性工作。根据规模大小和复杂程度，数据标注任务有时会非常费时费力，不仅需要花费一定的人力成本，而且也不能保证数据标注的质量。
那么，能否让机器帮助人类完成这一基础任务呢？
在以往的认知中，机器并不擅长这类「慢工出细活」的任务，但出乎意料的是，「数据标注」这件事已经让 ChatGPT 完成了，而且比大多数人做得还更好。
在一项今天发表的新研究中，来自苏黎世大学的研究团队使用由 2382 条推文组成的样本，证明了 ChatGPT 在相关性、主题和框架检测等标多个注任务上优于众包工作者。
相关研究论文以「ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks」为题，已发表在预印本网站 arXiv 上。
具体来说，ChatGPT 在五项任务的四项中的零样本（zero-shot）准确率超过了众包工作者；在所有任务中表现出的编码者间一致性（intercoder agreement）方面，ChatGPT 不仅超过了众包工作者，也同样超过了训练有素的标注者。
ChatGPT 零样本文本数据标注表现
值得一提的是，ChatGPT 的每个标注成本只有不到 0.003 美元，而比数据标注平台便宜约 20 倍。
研究团队认为，虽然需要进一步的研究来更好地了解 ChatGPT 和其他 LLMs 在更广泛的背景下的表现，但该研究结果表明，它们有可能改变研究人员进行数据注释的方式，极大地提高文本分类的效率，并破坏数据标注平台的部分商业模式。
至少，从目前来看，这些发现表明了更深入地研究 LLMs 的文本标注特性和能力的重要性。
未来，研究团队将在 ChatGPT 在多种语言中的表现、ChatGPT 在多种类型的文本（社会媒体、新闻媒体、立法、演讲等）中的表现、使用思维链（CoT）提示和其他策略来提高零样本推理的性能等方面继续努力。
值得一提的是，研究团队在进行这项工作时，OpenAI 还没有发布 GPT-4，如果让 GPT-4 来完成数据标注任务，又会是怎样的结果呢？
参考资料：
https://arxiv.org/abs/2303.15056
本文仅做学术分享，如有侵权，请联系删文。
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
3D视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
8.从零搭建一套结构光3D重建系统[理论+源码+实践]
9.单目深度估计方法：算法梳理与代码实现
10.自动驾驶中的深度学习模型部署实战
11.相机模型与标定(单目+双目+鱼眼）
12.重磅！四旋翼飞行器：算法与实战
13.ROS2从入门到精通：理论与实战
14.国内首个3D缺陷检测教程：理论、源码与实战
15.基于Open3D的点云处理入门与实战教程
16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进
17.机械臂抓取从入门到实战
重磅！粉丝学习交流群已成立
交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。
扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿，微信号：dddvisiona
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看，3天内无条件退款
高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
