新火种AI|摊上事儿了!13名OpenAI与谷歌员工联合发声:AI失控可能导致人类灭绝...

作者:小岩

编辑:彩云

2024年,OpenAI的CEO Sam Altman就没有清闲过,他似乎一直走在解决麻烦的路上。最近,他的麻烦又来了。

当地时间6月4日,13位来自OpenAI和Google Deep Mind的现任及前任员工联合发布了一封公开信,引发了外界的广泛关注。这些员工在信中表达了对人工智能技术潜在风险的严重担忧,并呼吁相关公司采取更加透明,更加负责任的措施来应对这些风险。

不夸张的说,这一次,OpenAI和谷歌是被讨伐了。

多位知名人士联合背书,就连AI教父也为其站台。

这封由13名OpenAI和谷歌Deep Mind现任及前任员工联合发出的公开信,一方面揭发了OpenAI的鲁莽和保密文化;另一方面还强调了前沿AI技术的严峻风险,表达了对AI公司在开发和推广AI技术时利益优先,打压异见者以及规避监管等种种行径的担忧。

信中指出,尽管AI技术可能会给人类带来巨大益处,但其带来的风险同样不容忽视,包括加剧社会不平等,操纵和虚假信息传播,以及自主AI系统失控可能导致的人类灭绝等。这些风险绝非空穴来风,不仅得到了人工智能公司本身的确认,也得到了世界各国政府和其他AI专家的认可。

公开信签署者们表示,他们希望在科学界,政策制定者和公众的指导下,能够充分缓解这些风险。他们出现了很强的忧患意思,他们担心,人工智能公司出于强烈的经济动机,可能会避免接受有效的监督,可仅靠现有的公司治理结构,完全不足以解决这一问题。

信中还提到,由于严格的保密协议,员工们在表达对AI风险的担忧时,还要面临着种种限制,目前对于举报人的保护措施也存在着严重不足,很多员工担心因为提出批评而遭遇报复。

值得一提的是,这封信获得了多位知名人士的联名背书,这其中就有被誉为“人工智能教父”的Geoffrey Hinton,还有因开创性AI研究获得图灵奖的Yoshua Bengio,AI安全领域的学者Stuart Russell。

公开信署名人员的诉求和初心:要实验室对透明度做出更广泛的承诺。

那么,在公开信上署名的这些人,他的心声是什么呢?

OpenAI 的前员工Daniel Kokotajlo正是联名信公开署名人员中的一位,他曾在社交平台发文提到,“我们之中,一些最近从 OpenAI 辞职的人聚集在一起,要求实验室对透明度作出更广泛的承诺。”

资料显示,Daniel刚刚从OpenAI 辞职,其中很重要的一个原因在他对OpenAI在构建通用人工智能方面未采取负责任的行为表示失望,并且失去了信心。在Daniel看来,AI系统不是普通的软件,它们是从大量数据中学习的人工神经网络。尽管目前关于可解释性,对齐和控制的科学文献正在迅速增多,但这些领域仍处于起步阶段。如果不小心,可能会在一段时间内造成灾难性后果。Daniel曾对公司提出,他希望其在AI功能越做越强大的同时,也能够在安全研究方面投入更多资金,但OpenAI并未做出相应的调整,这导致多名员工相继辞职。

在Daniel看来,OpenAI等实验室构建的系统的确可以给人类社会带来巨大的好处,但如果不谨慎处理,很可能带来灾难性的后果。更可怕的是,当前的AI技术几乎没有被有效监管,主要是依靠公司在进行自我监管,而这种方式存在巨大的风险。

Daniel还透露,离职时他被要求签署一份“封口协议”,其中包含一项不贬损条款,禁止他发表任何批评公司的话,否则将失去已归属的股权。然而,他在深思熟虑后,依旧决定放弃签署协议。

无独有偶,今年4月,Leopold Aschenbrenner也离开了OpenAI,与Daniel不同的事,他不是主动辞职,而是被OpenAI以泄露公司机密为由开除的。

Aschenbrenner曾是OpenAI前超级对齐部门成员。据知情人士透露,他被开除的真实原因是他给几位董事会成员分享了一份OpenAI安全备忘录,结果招致OpenAI高层的不满。据说,OpenAI当时很清楚地告诉他,开除他的主要原因就是因为这份备忘录。

在此之后,Aschenbrenner上线了一个网站,用165页PDF文件汇总了他在OpenAI工作期间所了解的信息,这份文件被看作是“硅谷最激进的AI研究人员提出的一份未来10年AI发展的纲领性文件”。Aschenbrenner认为,目前深度学习还没有遇到瓶颈,到2030年左右,AGI很有可能会发展出全面超越人类的超级人工智能。对此,人类似乎还没有做好准备。AI所带来的,也绝不仅仅是多数专家所认为的“另一场互联网规模的技术变革”。

安全主管辞职,超级对齐团队解散,多名骨干成员正在“背叛”OpenAI...

事实上,从OpenAI离职的远不止以上两位,很多掌握着核心部门的大佬都相继离开了OpenAI。

其中,最具代表性的当属OpenAI原首席科学家Ilya Sutskever,以及前安全主管,超级对齐团队负责人Jan Leike。

与Aschenbrenner和Deniel一样,Leike在离职后公开批评了OpenAI的管理层,指责其追求华而不实的产品,却忽视了AGI本身存的安全问题。他表示,在过去的几个月里,超级对齐团队一直都是逆风航行,在提升模型安全性的道路上受到公司内部的重重阻碍。

Ilya则在OpenAI的宫斗事件之后一直保持沉默,即便到了最后官宣离职的时候,也没过多的阐述自己的立场和观点。不过,Ilya曾在先前的一段视频中提到,一旦AGI彻底实现,AI未必会仇恨人类,但他们对待人类的方式可能会像人类对待动物一样:人可能无意伤害动物,但如果你想修一条城际高速,你不会征询动物的意见,而是直接去做。当面临这种情况时,AI 可能也会自然而然地做出类似的选择。

去年11月OpenAI爆发宫斗事件,借着宫斗事件的最终走向,我们可以大致看出OpenAl内部存在的大模型安全性问题,以及分化日趋明显的两大阵营。一方阵营是以Sam Altman为代表的“发展派”;另一方,则是以Ilya为代表的“安全派”。两方斗法,如今来看,结局很明显:以Ilya为代表的的安全派基本丧失了话语权,就连昔日备受瞩目的超级对齐团队也被连根拔起。

在这种情况下,未来的一切都成了未知数。我们无法预判Sam Altman所代表的激进发展派是否会一路长虹的前进。如果事实真是这样,未来人类该如何平衡与生成式AI之间的关系,也会成为巨大的未知数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/346827.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

几首音乐怎么合成一首?值得推荐的四个几首音乐合成一首的方法

几首音乐怎么合成一首?合成几首音乐成一首新的作品是一项创造性而充满挑战的任务。通过将不同的音乐元素融合在一起,可以创造出独特的音乐体验,展示多样化的音乐风格和个性。将多首音乐合成一首可以创造出独特的音乐体验,融合不同…

PyTorch 维度变换-Tensor基本操作

以如下 tensor a 为例,展示常用的维度变换操作 >>> a torch.rand(4,3,28,28) >>> a.shape torch.Size([4, 3, 28, 28])view / reshape 两者功能完全相同: a.view(shape) >>> a.view(4,3,28*28) ## a.view(4,3,28,28) 可恢复squeeze…

二叉树左右树交换

leetcode 226题 翻转二叉树 题目描述 给你一棵二叉树的根节点 root ,翻转这棵二叉树,并返回其根节点。 示例 1: 输入:root [4,2,7,1,3,6,9] 输出:[4,7,2,9,6,3,1]示例 2: 输入:root [2,1,3]…

计划任务 之 一次性的计划任务

计划任务 作用:定时自动完成特定的工作 计划任务的分类: (1)一次性的计划任务 例如下周三对系统的重要文件备份一次 (2)周期性重复计划任务 例如每天晚上12:00备份一次 一次性的任务计划&#xff1a…

linux的du命令简介

文章目录 linux的du命令简介du命令详解查看某个目录下 文件个数 linux的du命令简介 du命令是linux系统里的文件大小查看的命令。 du命令的应用场景十分广泛: 需要查看单个目录里面多个文件总大小。 需要查看目录中每个文件的大小以及每个子文件夹中文件的大小。 查…

opencv_核心操作

图像基本操作 访问和修改像素值 import numpy as np import cv2 img cv2.imread(c:/Users/HP/Downloads/basketball.png) h,w,c img.shape #图像大小 print(h,w,c)### 841 1494 3# 通过行和列坐标访问像素值 img[100,100]### 231 ### array([231, 140, 146], dtypeuint8)# …

Windows下 CLion中,配置 OpenCV、LibTorch

首先按照win下C部署深度学习模型之clion配置pytorchopencv教程记录 步骤配置。 LibTorch 部分 在测试LibTorch时会出现类似 c10.dll not found 的问题(Debug才有): 参考C部署Pytorch(Libtorch)出现问题、错误汇总和 …

高内聚与低耦合:工作中的重要性与应用

目录 前言 1.什么是高内聚与低耦合? 2.为什么高内聚和低耦合非常重要? 3.工作中的运用 总结 前言 在软件开发领域,高内聚与低耦合是设计原则中非常重要的概念。高内聚指的是模块内部的各个元素紧密地结合在一起,完成单一的功…

解决Android Studio Iguana版本不显示原创的GradleTask问题

问题描述: 下面是我的AndroidStudio版本号,升级后我发现项目里面自定义的gradletask找不到了??? 解决方案: 1、去setting里面把下面红框里面的选项勾选一下,缺点就是sync的时候会慢一些。 2、…

芯片级激光器研发取得新进展

欢迎关注GZH《光场视觉》 自 20 世纪 60 年代以来,激光给世界带来了革命性的变化,如今已成为从尖端手术和精密制造到光纤数据传输等现代应用中不可或缺的工具。 但是,随着激光应用需求的增长,挑战也随之而来。例如,光…

具有P柱中N点区域的超结MOSFET,用于软恢复

来源:Superjunction MOSFET with an N-dot region in the P-pillar for Soft Reverse Recovery(ISPSD 24年) 摘要 在本文中,提出了一种新型的具有P柱中N点区域的超结MOSFET,并进行了实验研究。利用硼和砷扩散速率的差…

STM32项目分享:智能门禁锁系统

目录 一、前言 二、项目简介 1.功能详解 2.主要器件 三、原理图设计 四、PCB硬件设计 1.PCB图 2.PCB板及元器件图 五、程序设计 六、实验效果 七、资料内容 项目分享 一、前言 项目成品图片: 哔哩哔哩视频链接: https://www.bilibili.c…

【STM32HAL库学习】定时器功能、时钟以及各种模式理解

一、文章目的 记录自己从学习了定时器理论->代码实现使用定时->查询数据手册,加深了对定时器的理解以及该过程遇到了的一些不清楚的知识。 上图为参考手册里通用定时器框图,关于定时器各种情况的工作都在上面了,在理论学习和实际应用后…

针对AlGaN/GaN高电子迁移率晶体管的显式表面电势计算和紧凑电流模型

来源:An Explicit Surface Potential Calculation and Compact Current Model for AlGaN/GaN HEMTs(EDL 15年) 摘要 在本文中,我们提出了一种新的紧凑模型,用于基于费米能级和表面电位的显式解来描述AlGaN/GaN高电子迁移率晶体管。该模型计算…

函数计时的方法

1. console 对象 可以调⽤ console 对象的 time 和 timeEnd ⽅法来对⼀段程序进⾏时间计算。例如: function fib(n) {if (n 0) return;let a arguments[1] || 1;let b arguments[2] || 1;[a, b] [b, a b];fib(--n, a, b); } console.time(); // 记时开始 fib…

人工智能与能源约束的矛盾能否化解

以下文章来源:澎湃新闻 人工智能技术在台前展示的是比特世界的算力、算法和数据,但其“轻盈的灵魂”背后则是土地、能源和水等物理世界“沉重的肉身”。根据本文三种情境的模拟测算,未来人工智能发展需要可持续的巨量能源支撑,能源…

公用nacos,实现只调用本机相应服务,不出现负载均衡到别人机器上

当我们有两个研发同时在调试一个微服务模块时,你和对方本地都会启动服务,这就导致在nacos会同时注册两个实例。默认情况下请求这个服务,具体处理请求的程序会在你和对方之间来回轮询,即一下你的服务一下对方的服务。 其结果就导…

wordpress里面嵌入哔哩哔哩视频的方法

我们正常如果从blibli获取视频分享链接然后在wordpress里面视频URL插入,发现是播放不了的 而视频嵌入代码直接粘贴呢窗口又非常的小 非常的难受,就需要更改一下代码。你可以在在allowfullscreen"true"的后面,留1个空格&#xff…

直线度测量仪发展历程!

直线度测量仪的发展历程可以概括为以下几个关键阶段: 拉钢丝法: 早期直线度测量的简单直观方法,利用钢丝受重力自然下垂的原理来测量直线度误差。 随着机械设备的大型化和测量精度要求的提高,该方法逐渐无法满足要求,正…

yg校园易购电商系统(Go+Vue)

校园易购二手平台系统 GitHub项目地址:https://github.com/xzhHas/yg 文章目录 校园易购二手平台系统一、技术栈简介二、快速开始1、安装本系统使用到的插件,这里推荐使用docker安装,此操作皆在ubuntu系统下操作,如果是其他系统只…