我们开发了第一款中英双语ChatGPT检测器,还有...

每天给你送来NLP技术干货!


来自:SimpleAI

那一夜...

  • 2022年11月30号,OpenAI推出了ChatGPT,给NLP届乃至各行各业的人带来了巨大的惊喜和惊吓[1];

  • 2022年12月5号,由于受到ChatGPT的冲击,Stack Overflow宣布禁止用户在平台上发布由ChatGPT生成的内容[2];

  • 2022年12月8号,我夜不能寐,作为一个普普通通NLP研究者,被ChatGPT冲击到自我怀疑,不断反问自己在ChatGPT时代还能做些什么研究。思来想去,我觉得在ChatGPT如此强大的情况下,我们非常需要一个ChatGPT检测器,来判断一段内容是否是ChatGPT生成的......

当晚我很晚才睡着,但是第二天一大早就醒了,兴冲冲得跟几个好友讨论了这个事儿,经过一番讨论,我们觉得这是个有价值的事儿,值得一做!接着我们在一个更大的群里(孤勇AI研究者群hhh),对这个话题展开了热烈讨论。当天晚上,我们便组建了一个由海内外6所高校或企业的博士生/工程师组成的8人团队,为了一个共同的目标:

开发一套ChatGPT检测工具,同时收集第一手宝贵的人类-ChatGPT对比数据集,来助力相关学术研究。

这一天是2022年12月9日,是ChatGPT推出的第10天。我们一帮普普通通的国内AI孤勇者们,就这样踏上了一段充满未知和挑战的旅程。

eaa5501cffe41614b28ce6aa832d5dd7.jpeg

来自三个时区的小伙伴们首次碰面!

在我们立项之后,也有有业界大佬提出类似的想法,例如一流科技创始人袁进辉12月11日提到“我觉得一个迫在眉睫的需要研究的问题是,怎么区分真实由人类生成的文本和chatGPT生成的文本?”

outside_default.png

源自知乎

另外,12月21日,清华大学也开始招募志愿者来收集 ChatGPT 的中文数据;而在国外,根据最近的新闻,普林斯顿大学也有团队在做类似的事情,并于1月3日提出了一个demo (即最近很火的 GPTZero [3])。

相比之下,我们可能是最早开始这方面研究的团队了,但是一直很低调而忙碌地在收集数据、分析、训练模型....(其实应该学习人家普林斯顿大学团队,不管东西做了多少,先放出一个Demo....哎,少不更事啊!)

虽然风头被抢了,但我们团队一开始的初衷就不是蹭热度,而是为社区做出一些真正的贡献,ChatGPT检测器只是我们计划的一部分,我们计划:

  • 收集一批有价值的人类和 ChatGPT 对比中英双语问答语料,这对于我们研究人类和大型语言模型(LLM)很重要,可以帮助我们研究LLM的特点、跟人类的差距、未来LLM改进的方向;

  • 对大量的人机对比语料进行细致的分析,并进行多方面的人工评测,探究人类和ChatGPT分别具有什么有趣的潜在的模式。这些探索将有助于思考LLM未来应去往何方;

  • 最后,基于对比数据集以及语料分析,开发应对不同场景的一系列检测模型,这些模型可帮助普通用户和UGC平台来识别、监管 AIGC  (AI Generated Content)。

项目进展汇报

今天,距离我们立项,已经过去了大约一个月。

一个月,我们的私有仓库进行了 166 次 commits,大家基本每天都在为之奋斗:

7797b395c6291a7a470011f0d4ff820b.png

平均每天5次提交

今天,我们已经收集了中英文的 3-4 万个问题和近 10 万条「人类-ChatGPT 对比」回答语料,涵盖了开放域、计算机科学、金融、医疗、法律、心理等多个领域。这批语料集从各个领域,反映了人类专家和 ChatGPT 在面对同一个问题时会有怎么不同的回答

我们对这批对比语料进行了大量的特征分析,发现了很多有趣的结论,相关的人工测评也正在紧锣密鼓的进行,基于这个语料库和相关分析,我们开发了三种使用不同算法、针对不同场景的 ChatGPT 检测模型(都支持中文和英文,已经上线 🤗 Hugging Face Spaces):

  1. 问答版,输入问题和回答,使用预训练模型分类器判断回答内容是 ChatGPT 生成还是人类撰写。
    访问链接: https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-qa 

  2. 单文本版,判断任意文本是 ChatGPT 生成还是人类撰写,技术与(1)相同。
    访问链接: https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-single 

  3. 语言学特征版,基于一些计算语言学特征,使用机器学习建模进行检测。
    访问链接: https://huggingface.co/spaces/Hello-SimpleAI/chatgpt-detector-ling

62ee5839c528b2eb8c329e8f829f331e.png

Hugging Face Spaces

我们近期的计划如下:

EventsDates
Project Launch / 项目启动2022-12-09 ✅
Comparison Data Collection / 对比数据收集2022-12-11 to Now 🏃‍♀️
Release ChatGPT Detector (Demo) / 检测器 Demo 发布2023-01-11 ✅
Models Release / 模型开源Coming in a week 🛬
Comparison Corpus Release / 语料集开源Coming in a week 🛬
Research Paper / 研究论文发布Coming in a week 🛬
......

欢迎大家关注我们的项目主页:
https://github.com/Hello-SimpleAI/chatgpt-comparison-detection

我们将于大约一周内开源代码、模型和语料集,希望得到大家的宝贵反馈!

ChatGPT 检测器展示:

下面,我们使用我们的检测器,对多个平台的内容以及ChatGPT相应的生成内容,进行检测,包括

英文:

  • Wikipedia概念解释

  • Quora开放问答

中文:

  • 百度百科概念解释

  • 知乎开放问答

Wikipedia

GPT系列模型都在Wikipedia语料上进行了充分的训练,这导致GPT系列模型会生成跟WIkipedia风格十分类似的文本,因此Wikipedia语料十分考验检测器的能力,下面我们随机找一个概念,分别检测人类专家的解释和ChatGPT的解释:

5b2c3055129000cd6178e659ba35ba49.png

WIkipedia测试

预测正确!(我们同时测了GPTZero,发现其预测错误。GPTZero主要使用文本困惑度以及句子间的困惑度变化来进行预测,一般人类的句子间困惑度差异会较大,而AI生成的内容则较小,而对于WIkipedia这种十分规范的文体,可能句子间的困惑度差异也较小,因此可能导致GPTZero判断错误)

Quora

0a00d5623c66c655f92954860d2a92b4.png

Quora测试

百度百科

0d39422472d9c0815ba4ed514dcfd31f.png

百度百科测试

知乎

知乎上,我们选取了问题“如何评价OpenAI的超级对话模型ChatGPT”,并测试了周博磊老师的回答和ChatGPT自己的回答:

7c85b0e611dd95280bb69fb13bfd2475.png

知乎测试

最后,希望大家关注我们Github项目:

ebc3d9fcfce8f2557c47c9e4132fe1d5.png

Github:https://github.com/Hello-SimpleAI/chatgpt-comparison-detection

我们也邀请广大朋友一起来调戏我们的检测器,如果能为我们提供一下预测错误的Bad Cases,那就太感激了!🤗

我们的开源代码模型语料集,将会和我们的研究论文一并在近期公布,届时再进一步跟朋友们进行交流。

鉴于 OpenAI 的“不Open”,以及 AIGC 对当下学界的冲击和社会的潜在风险,我们希望能和更多志同道合的朋友,一起为开放的学术研究做贡献!❤️❤️

a0f42377471c2b5b5c0c6df41f4e396b.png

项目团队


相关链接:

[1] ChatGPT: https://openai.com/blog/chatgpt/
[2] Stack Overflow禁用 ChatGPT: https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned
[3]GPTZero: http://gptzero.me/

最近文章深入理解Pytorch中的分布式训练点击这里进群—>加入NLP交流群

↓↓ 点击原文,访问 ChatGPT 检测器

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/6779.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MJ优质博主清单;把ChatGPT调教为英语私教;绝美SD Prompt手册;AgentGPT体验全记录;2项AI工具最强更新 | ShowMeAI日报

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦! 🤖 『预测五年后的应聘场景』玩转机器人将是核心竞争优势 1. 你有多少个公用机器人(基本的机器人操作能力) 2. 你…

研究了一堆英语学习软件,发现了一个美国宝藏口语App,国内也能用!

图片来源:爱奇艺《一年一度喜剧大会》 最近看《二喜》看到逗逗的这句话,我真的太同感了——一个人不知道做什么的时候,好像总会想到学英语这件事。 “英语好”确实可以成为一剂强心针——更好的学业机会和更好的职业选择。 《当代国人英语学习…

SmartGPT 横空出世,大大提升 ChatGPT 回答准确率!

点击上方“Java基基”,选择“设为星标” 做积极的人,而不是积极废人! 每天 14:00 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应…

基于ChatGPT制作的一款英语口语练习应用SpokenAi

本文介绍了一款基于ChatGPT的英语口语练习应用SpokenAi,包括PortAudio的安装流程和核心代码,以及语音合成TextToSpeech的实现。同时提供了配置文件和部署运行示例。 --由ChatGPT总结生成 一.前言 Hi,大家好,我是Baird。最近几个月…

ChatGPT专业应用:生成填空题

正文共 973 字,阅读大约需要 3 分钟 教育工作者必备技巧,您将在3分钟后获得以下超能力: 生成填空题 Beezy评级 :B级 *经过简单的寻找, 大部分人能立刻掌握。主要节省时间。 推荐人 | nanako 编辑者 | Linda ●此图片…

ChatGPT实战:生成演讲稿

当众发言(演讲)是一种传达信息、观点和情感的重要方式。通过演讲,人们可以在公共场合表达自己的观点,向观众传递自己的知识和经验,激发听众的思考和行动。无论是商务演讲、学术讲座还是政治演说,演讲稿的写…

ChatGPT自动化提高工作效率: 2分钟快速生成思维导图

一、简要说明 ChatGPT不止是一个聊天机器人,更是一个自然语言处理、文本内容生成模型,它可以理解语言规则,不仅仅是给你输出已有的知识内容,还会给到你一些创意点子;所以我们应该学会如何使用它,让它更好的…

【ChatGPT】ChatGPT自动生成思维导图

参考视频:https://edu.csdn.net/learn/38346/613917 应用场景:自学,“研一学生如何学习机器学习”的思维导图 问:写一个“研一学生如何学习机器学习”的思维导图内容,以markdown代码块格式输出 # 研一学生如何学习…

成立 4 个星期获得 1.13 亿美元种子轮融资,3 个 30岁+小伙草创「开源版 OpenAI」!...

整理 | 屠敏 出品 | CSDN(ID:CSDNnews) AI 这条赛道,随着时间的推移,加入的新玩家越来越多,投入的资本也越来高。而这些新玩家往往都带有一个目标:与 OpenAI 一较高下。 这不,又有一…

联用多个插件可以让 GPT-4 的能力更加强大,实现更加复杂的操作

🚀 联用多个插件可以让 GPT-4 的能力更加强大,实现更加复杂的操作。 联用多个插件可以让 GPT-4 的能力更加强大,实现更加复杂的操作。 不过,使用插件和联网功能也有一些要注意的地方。 首先是安全性问题,特别是像购…

Prompt本质解密及Evaluation实战与源码解析(二)

9.4 Evaluation for Agents源码解析 如图9-4所示,转过来,我们再看一下LangChain框架代理评估(Evaluation for Agents)的源代码。 图9- 4 LangChain的evaluation agents目录 在trajectory_eval_prompt.py文件里面,写了一个非常经典的提示词。 1. """提示…

开发了一个Java库的Google Bard API,可以自动化与AI对话了

开发了一个Java库的Google Bard API,可以自动化与AI对话了 Google Bard是Google提供的还在实验阶段的人工智能对话服务。这明显是对标ChatGPT来的,它可以提供更实时的答案,会基于Google强大的网页数据。 为了更方便的使用并实现自动化&…

【产业互联网周报】微软官宣把聊天机器人植入Office;任正非:4月份华为自研MetaERP将面世;...

关注ITValue,看企业级最新鲜、最价值报道! ChatGPT之父:监管机构应参与技术测试,减少AI对人类的威胁;李开复宣布亲自组建中国版ChatGPT公司,资金、算力将陆续到位;金蝶2022年亏损扩大至3.89亿元…

关于GTP-4,这是14个被忽略的惊人细节!

来源:华尔街见闻(id:wallstreetcn) 3月14日,OpenAI发布了GPT-4。向科技界再次扔下了一枚“核弹”。 根据OpenAI的演示,我们知道了GPT-4拥有着比GPT-3.5更强大的力量:总结文章、写代码、报税、写…

“写作业神器”ChatGPT究竟有多厉害?

人工智能研究实验室OpenAI推出了新一代语言模型ChatGPT,它能够模拟人类的语言行为,与用户进行自然的交互。虽然从名字上不难看出,ChatGPT对外宣称是目前最先进的聊天机器人之一,但它能做到的事情远远超出了聊天本身。作为一个 AI …

彻底了解ChatGPT的工作原理

作者:史蒂芬沃尔弗拉姆,计算机科学家 转自:AI研究局 作者:史蒂芬沃尔弗拉姆(Stephen Wolfram)英、美籍 计算机科学家, 物理学家。他是 Mathematica 的首席设计师,《一种新科学》一书…

【文末送18本ChatGPT扫盲书】从一路高歌到遭多国“封杀”,ChatGPT未来将是什么样子?

您好,我是码农飞哥(wei158556),感谢您阅读本文,欢迎一键三连哦。💪🏻 1. Python基础专栏,基础知识一网打尽,9.9元买不了吃亏,买不了上当。 Python从入门到精通…

谁能真正替代你?AI辅助编码工具深度对比(chatGPT/Copilot/Cursor/New Bing)

写在开头 这几个月AI相关新闻的火爆程度大家都已经看见了,作为一个被裹挟在AI时代浪潮中的程序员,在这几个月里我也是异常兴奋和焦虑。甚至都兴奋的不想拖更了。不仅仅兴奋于AI对于我们生产力的全面提升,也焦虑于Copilot等AI辅助编码工具&am…

从ChatGPT看人工智能

ChatGPT是2022年出来的一个对话型人工智能,ChatGPT就是这样一种可以和人类用自然语言去交流的人工智能,一上线就引发了恐慌,最厉害的地方还是它能够用人类的语言来进行交流,不管是中文、英文、日文都可以,ChatGPT有可能…

ChatGPT开始凉了?数据显示确实进入了瓶颈期!

你还在用ChatGPT吗? 在全球掀起AI热潮的ChatGPT,似乎进入了瓶颈期。 首先是关于ChatGPT的使用率,有不利的数据出现。6月初,摩根士丹利发布的一项调查显示,只有19%的受访者表示他们之前使用过ChatGPT,只有…