中国信通院在ChatGPT对话能力评测的基础上,进一步参考大模型和生成式AI标准对ChatGPT的内容创作、自动写作等生成能力进行了评测。希望能与产学研各方一起追踪前沿技术、制定行业标准、共促产业发展。
近日,由OpenAI发布的大规模语言模型ChatGPT引发产学研用各方的高度关注,在人工智能领域掀起了现象级热潮。ChatGPT可依据人类反馈进行强化学习,支持英文、中文、日语等多语言交互,除擅长的对话问答能力外,还具备代码生成、论文写作、诗词创作等内容生成能力。
为便于产学研用各方多维了解ChatGPT能力,加深对大模型的认识,增强大模型产业化信心,中国信息通信研究院(以下简称“中国信通院”)联合中国人工智能产业发展联盟(以下简称“联盟”)基于大模型和自然语言处理工作基础,参考相关标准中的指标要求和评估方法对ChatGPT开展了评测,并于12月9日发布对话能力评测结果,得到业内积极反响。为进一步加深各方对ChatGPT的理解,中国信通院和联盟对ChatGPT的生成能力展开新一轮评测,现将评测结果公布如下。
测试详情,请点击↓↓↓
可信AI评测观察:ChatGPT生成能力|开放域内容创作表现较好,但在约束条件下生成能力仍有不足
可信AI评测观察:ChatGPT生成能力|开放域内容创作表现较好,但在约束条件下生成能力仍有不足