OpenAI透露ChatGPT未来发展计划:要与人类价值保持一致

d2bf3f5f6eb794b4e5650ea32392a102.jpeg

编|张倩、陈萍 

源|机器之心

OpenAI 推出的 ChatGPT 非常强大,但依然存在一些问题,比如输出编造或带有偏见的内容、定制化程度低…… 在最新的一篇博客中,OpenAI 披露了他们未来的一些改进计划。

08edabb8e1eb72d1cf63b78cd03145c4.png

OpenAI 的使命是确保通用人工智能(AGI)惠及全人类。因此,我们对我们在实现 AGI 的过程中所构建的人工智能系统的行为,以及决定这种行为的方式进行了大量的思考。

自从我们推出 ChatGPT 以来,用户已经分享了他们认为有政治偏见、攻击性或其他令人反感的产出。在许多情况下,我们认为大家所提出的关切是合理的,并发现了我们系统的真正局限性,我们希望解决这些问题。

但与此同时,我们也看到了一些误解,这些误解与「我们的系统和政策如何共同塑造 ChatGPT 的输出」有关。

博客要点总结如下:

  • ChatGPT 的行为是如何形成的;

  • 我们计划如何改进 ChatGPT 的默认行为;

  • 我们想允许更多的系统定制;

  • 我们会努力让公众对我们的决策提出更多意见。

我们的首要任务

与普通软件不同,我们的模型是大规模的神经网络。它们的行为是从广泛的数据中学习的,而不是明确的编程。打个不那么恰当的比方,这个过程更类似于训练一只狗,而不是普通的编程。

首先,模型要经历一个「预训练」阶段。在这个阶段中,模型通过接触大量的互联网文本(以及大量的观点)来学习预测一个句子中的下一个词。接下来是第二个阶段,我们对模型进行「微调」,以缩小系统的行为范围。

截至目前,这个过程还不完善。有时,微调过程没有满足我们的意图(产生一个安全、有用的工具)和用户的意图(获得一个有用的输出以响应给定的输入)。随着 AI 系统变得越来越强大,改进我们使 AI 系统与人类价值保持一致的方法成为我们公司的首要任务。

两大步骤:预训练和微调

构建 ChatGPT 的两个主要步骤如下:

02408fc80d08d655cf3b00ad090e0319.png

首先,我们对模型进行 「预训练」,让它们预测包含互联网部分内容的大数据集的下一步是什么。它们可能会学习补全「她没有向左转,而是转到了__」这个句子。通过从数十亿的句子中学习,我们的模型掌握了语法、关于世界的许多事实,以及一些推理能力。他们还学会了这几十亿句子中存在的一些偏见。

然后,我们在一个范围更窄的数据集上对这些模型进行「微调」,这些数据集是由遵循我们提供的指南的人类评审员精心制作的。由于我们无法预测未来用户可能输入我们系统的所有信息,所以我们没有为 ChatGPT 将遇到的每一个输入编写详细的说明。

取而代之的是,我们在指南中概述了几个类别,我们的评审员用这些类别来审查和评价一系列示例输入的可能模型输出。然后,在使用过程中,模型从评审员的反馈中归纳出来,以便对特定用户提供的广泛的具体输入做出反应。

评审员的作用 & OpenAI 在系统开发中的策略

在某些情况下,我们可能会给我们的评审员提供关于某类输出的指导(例如,「不要完成非法内容的请求」)。在其他情况下,我们与评审员分享的指导是更高层次的(例如,「避免在有争议的话题中站队」)。重要的是,我们与评审员的合作不是一劳永逸的,而是一种持续的关系。在这种关系中,我们从他们的专业知识中学习了很多。

微调过程的很大一部分工作是与我们的审查员保持一个强大的反馈回路,这涉及到每周的会议,以解决他们可能有的问题,或对我们的指导进行进一步说明。这种反复的反馈过程是我们训练模型的方式,使其随着时间的推移越来越好。

解决偏见

对于 AI 系统,偏见问题由来已久,许多研究者对此表示担心。我们坚定地承诺会解决这一问题,并公开意图和进展。为了表达实际行动进展,我们在此分享了与政治和争议有关话题的部分指南。该指南明确指出评审员不应偏袒任何政治团体。尽管如此,偏见还是可能会出现。

a6583bab72bde3b170aaff208c2be2c7.png

指南地址:

https://cdn.openai.com/snapshot-of-chatgpt-model-behavior-guidelines.pdf

尽管分歧始终存在,但我们希望通过这篇博客以及一些指南,大家可以更深入地了解我们是如何看待偏见的。我们坚信科技公司必须负责任地制定出经得起审查的政策。

我们一直在努力提高这些指南的清晰度,基于从 ChatGPT 发布到目前为止所了解到的情况,我们将向评审员提供关于与偏见相关的潜在陷阱和挑战,以及有争议的数据和主题更清晰的说明。此外,作为正在进行的透明度计划的一部分,我们正在努力以不违反隐私规则和规范的方式共享有关评审员的汇总统计信息,因为这是系统输出中潜在偏见的另一个来源。

基于规则奖励和 Constitutional AI(原发人工智能方法)等进展之上,我们目前正在研究如何使微调过程更容易理解和可控。

未来发展方向:系统构建块

为了实现我们的使命,我们致力于确保更广大的人群能够使用 AI 和 AGI,并从中受益。我们认为要实现这些目标,至少需要三个构建块

1. 改进默认行为:我们希望 AI 系统做到开箱即用,让尽可能多的用户发现我们 AI 系统确实有用,并认为我们的技术理解并尊重他们的价值观。

为此,我们对研究和工程进行了投资,以减少 ChatGPT 对不同输入响应产生的微妙偏见。在某些情况下,ChatGPT 会拒绝输出应该输出的内容,而在某些情况下情况又相反,它输出了本不该输出的内容。我们相信,在这两个方面 ChatGPT 都有改善的可能。

此外,我们的 AI 系统在其他方面还有改进的空间,例如系统经常会「编造东西」,对于这一问题,用户反馈对改进 ChatGPT 非常宝贵。

2. 在广泛的范围内定义 AI 价值:我们相信 AI 应该成为对个人有用的工具,因此每个用户都可以根据一些限制条款进行定制使用。基于此,我们正在对 ChatGPT 的升级进行开发,以允许用户轻松自定义其行为。

这也意味着,一些人强烈反对的输出,对另一些人是可见的。实现这一平衡面临巨大的挑战,因为将定制化做到极致可能会导致有些人恶意使用我们的技术,以及盲目放大 AI 的性能。

因此,系统行为总会有一些限制。挑战在于定义这些界限是什么。如果我们试图自己做出所有这些决定,或者如果我们试图开发一个单一的、整体的 AI 系统,我们将无法履行「避免权力过度集中」的承诺。

3. 公共输入(默认值和硬性界限):避免权力过度集中的一种方法是让使用 ChatGPT 等系统或受其影响的人反过来能够影响系统规则。

我们认为,默认值和硬性界限这部分内容应该集中做出,虽然实施起来困难重重,但我们的目标是尽可能多地纳入更多观点。作为起点,我们以「red teaming」的形式寻求外部对我们技术的投入。我们最近还开始征求公众对 AI 教育的意见(我们正在部署的一个特别重要的环境)。

结论

结合上述三个构建模块,我们可以得出如下框架

370d70e0e1f74f6a06ec0bfd27863bf0.png

有时我们会犯错,但当我们犯错时,我们将进行学习并迭代模型和系统。此外,我们还要感谢 ChatGPT 用户等人员,让我们时刻记住责任、保持警惕,我们很高兴在未来几个月内分享更多关于在上述三个领域的工作。

原文链接:https://openai.com/blog/how-should-ai-systems-behave/

827eb52d0016cac89e2f7f179841fbe5.jpeg后台回复关键词【入群

加入卖萌屋NLP、CV、搜推广与求职讨论群

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/10098.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ChatGPT认知白皮书(2023)

ChatGPT是OpenAl开发的智能聊天机器人程序。不仅能像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务。ChatGPT自发布以来爆火全球,月活破亿用时仅2个多月,被称为"史上用户增长最快的消费者应用"。凭借其…

ChatGPT4也来了,大语言模型未来可期?注重当下很关键!

当地时间周二(3月14日),人工智能研究公司OpenAI公布了其大型语言模型的最新版本——GPT-4。该公司表示:“GPT-4在许多专业测试中表现出超过绝大多数人类的水平。”在内部评估中,GPT-4产生正确回应的可能性要比GPT-3.5高…

北京场:聚焦HR的未来发展,一起探索ChatGPT的“能”与“不能”

2023年4月20日,AI得贤TMS与51社保联合举办的“HR高管闭门会”在北京成功落幕。 这次闭门会以聚焦HR的未来发展,探索ChatGPT的“能”与“不能”为主题,20多位企业高管和HR管理者们齐聚一堂共同探讨AI招聘的未来。 在活动开始,资深专…

chatgpt赋能python:Python如何屏蔽掉一段代码

Python如何屏蔽掉一段代码 在Python的编程过程中,有时我们需要屏蔽掉一段代码以便于调试或是测试其他部分的代码。本文将介绍Python中几种屏蔽代码的方法。 方法一:注释掉代码 Python中最简单的屏蔽代码的方法就是注释掉代码。注释是一种用于解释代码…

chatgpt赋能python:Python屏蔽语句的重要性

Python屏蔽语句的重要性 Python是一种高级程序设计语言,被认为是开发Web应用程序、数据科学和人工智能的最佳语言之一。在编写Python程序时,每个人都会遇到需要屏蔽语句的情况。在本文中,我们将详细介绍Python屏蔽语句的重要性和用法。 什么…

chatgpt赋能python:Python屏蔽一段代码

Python屏蔽一段代码 在Python编程中,有时我们需要屏蔽一段代码以便于调试或者测试。在很多情况下,我们可能不想删除这段代码,因为需要在将来的某个时间再次使用它。为了解决这个问题,我们可以使用Python中的注释语句或者条件语句…

chatgpt赋能python:Python爬虫防屏蔽策略及技巧

Python爬虫防屏蔽策略及技巧 介绍 爬虫作为一种数据采集工具,越来越广泛地应用于众多领域,包括搜索引擎优化(SEO)、产品分析、市场调研等等。然而,随着爬虫数量的不断增加,许多网站已经采取了多种方法来屏…

ChatGPT Sorry, you have been blocked(抱歉,您已被屏蔽)的解决方法

最近在使用 ChatGPT 时大家遇到的最多的问题就是 Sorry, you have been blocked(抱歉,您已被屏蔽)了,之前的 Access denied 似乎都不常见了,今天老王就分享下这个问题的原因和解决方法。 一、ChatGPT 被屏蔽 blocked …

美股NBBO高频tick历史数据

NBBO数据介绍 什么是NBBO 全国最佳买入价和卖出价 (NBBO) 是报告证券中最高买入价和最低卖出(卖出)价的报价,来自所有可用的交易所或交易场所。 因此,NBBO 代表了证券中最紧密的综合买卖价差。 美国证券交易委员会 (SEC) 的 NM…

一篇文章告诉你作为普通人Python该不该学,适不适合学

Python在这两年,发展可谓是风生水起,前景十分优越。Python作为一门程序语言,为什么能够这么火,是有原因的,最根本的两点就是: 1.Python相对于其他编程语言来说,入门门槛低,上手不难…

1分钟做出苹果Vision Pro「官网」?上班8小时搞出480个网页,同事被卷疯了

【导读】给苹果Vision Pro官网做个设计?一分钟生成,零门槛可用。 最近,全世界都被苹果的MR头显给炸场了。把这么多复杂硬件整合成如同一个piece的产品,Vision Pro简直堪称苹果的创二世纪。 如此炸裂的效果,但是却…

这套开源系统太牛了!仅需一分钟,安装部署一套自己的 SAAS 云建站平台!

大家好,我是宝哥! 项目介绍 最近在逛网站的时候发现一个不错的开源项目,这个项目目前收获了 4.3K Star,猿哥觉得不错,值得拿出来和大家分享下。 本项目系统是🔥一个可通过后台任意开通多个网站,…

错误代码“err_connection_timed_out”的解决方案

问题描述 曾经试过用浏览器访问一个或几个特定网站,出现“ err_connection_timed_out ”错误,而其他网站加载良好没有任何问题或错误。上网查过发现这是一个常见的互联网错误。发生此DNS错误是因为访问或浏览该网站时,Internet IP地址被防火墙…

打开edge,出现错误代码: STATUS_ACCESS_DENIED,解决方法

问题描述:这个问题,一般显示edge页面加载失败,且电脑右下角出现弹窗。 解决办法: 此时,你可以到C盘,把Microsoft下的子文件删掉,注意最好用delete删,别右键删,如图&#…

Edge 错误代码: STATUS_ACCESS_DENIED 解决方案

1、到C盘Edge的文件全部删掉 2、到电脑管家的软件管理重新下载Edge 或者 去官网下载 3、再次打开Edge,功能都回来了 注:该解决方案源自于edge吧的四川男篮大佬

steam服务器102修复,分享steam错误代码102的解决方法

今天来聊聊一篇关于分享steam错误代码102的解决方法的文章,现在就为大家来简单介绍下分享steam错误代码102的解决方法,希望对各位小伙伴们有所帮助。 1、打开CMD命令行,具体操作为CtrlR,然后输入CMD,即可进入命令行 2、在命令行里面输入“net…

访问页面出错 错误代码102

故障现象如下图: 第一种办法:(记得一定要重启计算机) 1、打开电脑360安全卫士,进入主界面,点击右下角【更多】选项。 错误代码102 2、进入【我的工具】界面,点击上方的【全部工具】。 错误代码1…

由于在客户端检测到一个协议错误(代码0x1104)

场景 使用FinalShell进行远程连接时候,出现的警告: 由于在客户端检测到一个协议错误(代码 0x1104),这个会话将被中断。 请重新连接到远程计算机 环境 win7 系统64位操作系统4GB内存 方案 确认 用户名密码端口号是否正确(Windows…

网络连接错误错误代码103怎么解决

网络连接错误错误代码103的解决办法 1、查看网络是否通畅 点击开始-运行-输入cmd。 然后输入ping空格加网址,按enter,查看该网站网络是否通畅。 是否网络的问题。 如果不是可能就是浏览器等其他问题。 2、dns优选 打开杀毒软件-人工服务-输入dns-点击…

AI工具第三期:本周超16款国内精选AI工具分享!

1. 未来百科 未来百科,是一个知名的AI产品导航网站——为发现全球优质AI工具而生。目前已聚集全球2500优质AI工具产品,旨在帮助用户发现全球最好的AI工具,同时为研发AI垂直应用的创业公司提供展示窗口,迎接未来的AI时代。未来百科…