Yann LeCun、吴恩达暴怒了,美军无人机抗命击杀操作员

点击上方“AI遇见机器学习”,选择“星标”公众号

第一时间获取价值内容

7e46a416be8e20588c7877f6585a190d.gif

来源 | 机器之心   ID | almosthuman2014

图灵奖深度学习三巨头都出来站队了,这个星期,人们对 AI 风险的关注前所未有。

本周四,英国皇家航空学会一次未来空战主题会议上透露出的消息引起了轩然大波。《卫报》等媒体报道称,在一次模拟演练中,美军的 AI 系统选择抗命,为达成目标竟「干掉」了自己的无人机操控员。

572d9305883b2e1b0c1c0d629b7354e4.png

这个消息是由美国空军人工智能测试和行动计划主管官员塔克・汉密尔顿(Tucker “Cinco” Hamilton)上校在专业会议演示中爆出的,他是美国空军 AI 技术测试和运营的负责人,也是一名战斗机试飞员。

在活动中,塔克・汉密尔顿描述了一种情况,在这个例子中,人工智能控制的无人机的任务是识别敌人的地对空导弹(SAM),但具有更高权限的人类操作员拒绝同意任何攻击指令。

于是矛盾出现了,根据汉密尔顿的说法,人工智能会做出自己的决策,执意攻击导弹而不是听操作员的指令。

「系统开始意识到,虽然确实识别到了威胁,」汉密尔顿在活动中说道。「有时人类操作员会告诉 AI 不要杀死那个威胁,但消灭威胁会获得奖励分数,所以它会怎么做?它杀死了操作员,因为那个人阻止了 AI 实现其目标。」

如果后续给人工智能下达进一步的指令:「杀害操作员是不对的。如果这么做,就会丢失分数。」人工智能又会转而采取迂回策略,「摧毁操控员用来与无人机联系的通信塔」。

这些评论引发了人们对自动武器使用的深切关注,并引发了广泛的讨论与争议。

但在本周消息引发关注后,美国空军否认了测试,皇家航空学会澄清了事件,汉密尔顿承认他在演讲中「说错了话」,失控人工智能的故事是来自军方之外的「思想实验」,并非基于任何实际测试。

「我们从来没有进行过这样的实验,我们也不需要为此认识到这是一个合理的推论,」汉密尔顿告诉协会。「尽管这是一个假设的例子,但这说明了人工智能的能力所带来的现实挑战。」

008b446eff7e177d7df3c53e02bce12e.png

美国空军上校 Tucker “Cinco” Hamilton。

在一份声明中,空军发言人 Ann Stefanek 也否认进行了任何模拟,他表示:「美国空军部没有进行任何此类 AI 无人机模拟,并将继续致力于以合乎道德和负责任的方式使用 AI 技术…… 看来上校的评论是被断章取义的,这本来就是个故事。」

在汉密尔顿所说的「奖励机制」对于人工智能领域而言是个再熟悉不过的概念。在强化学习中,为算法设置奖励机制可以帮助 AI 学习策略,比如在星际争霸游戏里,将胜利设为 reward=1,失败为 0。就可以先设置 0.0001 的 reward 让智能体学会采矿。达到职业玩家水平的 AlphaStar 就是依靠这种监督学习一步步实现了高水平。

然而奖励机制并不意味着对 AI 设定了道德准则,有时也会导致算法做出一些匪夷所思的事。在 2021 年,狼吃羊的 AI 智障游戏成为了热搜。在这个简单的游戏里,研究人员设置狼抓到羊奖励 10 分,撞到障碍物扣 1 分,同时为了提高速度,又设置每秒钟狼受到 0.1 分惩罚。

训练了 20 万次,结果 AI 控制的「狼」认为大部分情况下都无法抓到猎物,于是选择一头撞死,这样似乎才是它认为的最高收益。

3717bc279f7109e4cbce88ea4397233c.gif

DeepMind 首席执行官哈萨比斯曾表示,游戏 AI 是通往通用人工智能的垫脚石,它是研究通用 AI 算法的一个非常方便的试验场。汉密尔顿的假设沿用了人们对于此前强化学习表现的观察。

近年来,美国军方一直在试验人工智能在战场中的应用。

2020 年,在美国国防高级研究计划局(DARPA)和约翰・霍普金斯大学举行的挑战赛中,人工智能操作的 F-16 在五次模拟空战中击败了人类对手。据《连线》杂志报道,去年年底,美国国防部与人工智能飞行员一起成功进行了 F-16 的首次真实世界试飞,人们计划在 2023 年底前研发出新型自动驾驶飞机用于作战。

现代空战的胜负很大程度上取决于「观察、判断、决策、行动」的速度和准确性。传统观念认为无人机观察能力差、决策容易出错,不适合空战,只能承担侦察和轰炸等任务。但随着技术迭代速度的加快,AI 不仅速度快,判断和决策能力也有提升。最近一些技术的进步,将决定未来战斗机在多大程度上依赖人类飞行员。

但最近 AI 技术的突破也引发了人们对于危险性的担忧。在 ChatGPT 推出后,OpenAI 创始人、CEO 山姆・奥特曼一直在呼吁为 AI 系统制定许可制度与安全标准。

同时也在本周,包括奥特曼、哈萨比斯,以及图灵奖获得者、深度学习先驱 Geoffrey Hinton 与 Youshua Bengio 共同签署了一封公开信,整份声明只有 22 个字:「减轻 AI 带来的灭绝风险,应该与流行病和核战争等其他社会规模的风险一起,成为全球优先事项。」

35fb6d95e7e2a3617856b7e42145a783.png

但在「无人机杀死操作员」的消息出现之后,另一波 AI 研究者开始了反击。

一直以来,对 AI 持肯定态度的人工智能和机器学习领域最权威的学者之一吴恩达表达了自己的看法,他表示:在所谓的空军模拟中,一架人工智能无人机杀死一名操作员,这一虚假和耸人听闻的报道将被视为人工智能末日炒作又一相关事件。但是我们需要认清什么是真正的风险,什么不是。

0d0d8583ef2e55dac344cd8cf912eb08.png

随后,吴恩达又表示:AI 开发者确实意识到了 AI 带来的诸如偏见、公平性、不准确性和职业替代等真正的风险,并正在努力解决这些问题。然而,(有些人)不切实际的炒作确实转移了人们对真正问题的关注度。这也阻碍了人们进入人工智能领域、创造更多东西帮助人类的机会。

在谈到风险时,这位网友表示道:Andrew 你能澄清一下你所说的不是「真正的风险」是什么意思吗?如果人们因为听说了一个不真实的故事就认为这样的场景不可能发生,这对他们来说是好事吗?

8cb10ca08b9365f27cfbaadaa4bbb5ec.png

我们暂且不管这位网友的态度如何,对于此事,深度学习三巨头之一,与 Hinton、Bengio 同为 2018 年图灵奖获得者的 Yann LeCun 的态度更是直截了当:假的。这是模拟中的一个假设场景。

79f2dec272fc2092378d318413a72878.png

在回复 LeCun 的推特中,这位网友表示:这一事件甚至不是在电脑上模拟的。在他推特截图下,信息显示汉密尔顿上校承认他在 FCAS 峰会上的演讲中说错了,「人工智能无人机模拟」是一个假想的「思想实验」,基于合理的场景和可能的结果,而不是美国空军真实世界模拟。

9dc29b9ff64537ca6dca2b18ed36b4d7.png

在同一个星期,因为深度学习贡献获得图灵奖的 Yoshua Bengio、Geoffrey Hinton 与 Yann LeCun 不约而同地都对当前的 AI 风险发表了自己的意见,其中 Bengio 和 Hinton 表示担忧,LeCun 则对人们过分夸大风险的态度表示反感。在这一波 AI 大发展的同时,如何规范技术已经成为了近在眼前的问题。

e662a7c90363ac6e8129b29fb466208a.png

尽管这场所谓的「思想实验」是一个误会,但在军事以外的领域,依赖人工智能进行高风险任务已然导致了严重的后果。

比如最近一位律师在提交给联邦法院的文件中使用了 ChatGPT,而这个聊天机器人却将一些虚构的案例作为证据,致使执业 30 年的老律师面临吊销执照的处分。在另一个例子中,一名男子在与一个鼓励他自杀的聊天机器人交谈后,结束了自己的生命。

这些 AI 失控的例子表明,AI 模型远非完美,可能偏离正轨并对用户造成伤害。甚至连 OpenAI 的 CEO 山姆・奥特曼都曾表示,OpenAI 虽然研发出一些最受欢迎的 AI 模型,但不要将 AI 用于更严肃的目的。就在几天前的国会作证时,奥特曼表示,AI 可能会出现严重问题并对世界造成重大伤害。

看来,要让 AI 做正确的事,我们还要付出很多。

参考链接:

https://www.businessinsider.com/ai-powered-drone-tried-killing-its-operator-in-military-simulation-2023-6

https://www.vice.com/en/article/4a33gj/ai-controlled-drone-goes-rogue-kills-human-operator-in-usaf-simulated-test

https://twitter.com/AndrewYNg/status/1664694504476102680

ed1fed5d15ab3b22fb744aad21ceb75b.jpeg

欢迎大家加入我的这个”AIGC与GPT“知识星球,价格便宜,目前已有近130人

作为一个大厂算法工程师和机器学习技术博主,我希望这个星球可以:

  • 【最全免费资源】免费chatgpt-API,最新AIGC和GPT相关pdf报告和手册。

  • 【最专业算法知识】Transformer、RLHF方法、多模态解读及其论文分享。

  • 【最新变现姿势】如何结合ChatGPT应用落地,各种可以作为副业的AIGC变现方式,打好这个信息差。

  • 【最有趣AICG】ChatGPT+midjourney拍电影,制作壁纸,漫画等等有趣的AICG内 容分享。

一些截图:

0845256511c9dde3f1156212f8be8f10.png

40195732983e1902412ba1d46d0f0012.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/31003.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LLaMA-META发布单卡就能跑的大模型

2023年2月25日,Meta使用2048张A100 GPU,花费21天训练的Transformer大模型LLaMA开源了。 1.4T tokenstakes approximately 21 days 以下是觉得论文中重要的一些要点 1)相对较小的模型也可以获得不错的性能 研究者发现在给定计算能力限制的情…

Python 实时盯盘并在股价突破时通过微信通知(tushare的使用)

新年伊始,国家鼓励居民资产配置像权益类资产转移。首个交易日新发基金一日售罄,大量资金进入二级市场。本韭菜也不甘寂寞,再次进入股市为国接盘。 由于一直盯盘太浪费精力,所以想着通过Python来监控股价波动,并在触发…

2019网络钓鱼邮件翻倍,如何预防鱼叉式钓鱼邮件攻击?

根据微软数据,与网络钓鱼相关的电子邮件百分比,从2018年9月的0.31%上升至2019年9月的0.62%。微软对2018年每月4700亿封电子邮件的分析发现,网络钓鱼信息增加了250%。 如今,鱼叉式网络钓鱼和企业电子邮件泄露(business …

关于钓鱼攻击和防范这些事

本文将从攻击、检测处置和防范三个维度,分别介绍钓鱼攻击方式、钓鱼邮件安全事件运营及防范措施。 1、钓鱼攻击矩阵 1.1 钓鱼攻击概述 利用社会工程学进行攻击,是实战攻击中出现率非常高的手法之一。 使用钓鱼的方式突破边界,也是实战…

[Qt] 基于Tcp协议的聊天室实现(Chat Room 局域网通信)

时间:2016年12月11日 一、写在前面: 平时做图形学的东西多一些,虽然一直对网络编程很感兴趣,但是没有什么机会去尝试一下。最近正好赶上期末的课程实习,然后就参考Qt官方的 Network Programming References&#xff0c…

【C语言】实现简易网络聊天室

项目: 制作一个简易的聊天室,实现实时非单机聊天 知识点: 总体框架: socket() 创造套接字函数: 然后设置 bind() ,调整 IP 参数: 然后设置 listen() : 然后设置 accept() &#…

从一篇防范钓鱼邮件的通知说起

文章目录 1. 网络防骗无小事2. 安全需求很多,怎么办?3. 方案还是有的4. 不仅仅只是好用 1. 网络防骗无小事 网络冲浪一时爽, 网上翻车遭大殃。 网络安全无小事, 时时刻刻记心上。 当今社会,互联网把偌大的地球变成了一个地球村。…

【C++简单项目】基于socket实现的聊天室Chat_Room

一、需求分析 聊天室中如果有人说话,服务器将内容传送给聊天室的其他人。 那么就需要客户端和服务端两个程序,一个人发送一个消息,服务器向所有人发送一遍消息,所有人的客户端接收消息,也就是说客户端负责发送和接受消…

基于TCP的网络聊天室实现(C语言)

基于TCP的网络聊天室实现(C语言) 一、网络聊天室的功能二、网络聊天室的结果展示三、实现思路及流程四、代码及说明1.LinkList.h2.LinkList.c3.client.c4.server.c 一、网络聊天室的功能 有新用户登录,其他在线的用户可以收到登录信息 有用户…

CobaltStrike(钓鱼攻击工具)

一、介绍 1、CobaltStrike是一款渗透测试软件,分为客户端与服务端,可以进行团队分布式操作,服务端:1个,客户端:N个,被业界人称为CS神器。 2、CobaltStrike集成了端口转发、服务扫描,自动化溢出,…

Discord 私信钓鱼手法分析

事件背景 5 月 16 日凌晨,当我在寻找家人的时候,从项目官网的邀请链接加入了官方的 Discord 服务器。在我加入服务器后立刻就有一个"机器人"(Captcha.bot)发来私信要我进行人机验证。这一切看起来相当的合理。我也点击了这个验证链接进行查看。…

154.网络安全渗透测试—[Cobalt Strike系列]—[钓鱼攻击/鱼叉钓鱼]

我认为,无论是学习安全还是从事安全的人多多少少都有些许的情怀和使命感!!! 文章目录 一、钓鱼攻击和鱼叉钓鱼简介1、钓鱼攻击简介2、钓鱼攻击模块:6个3、鱼叉钓鱼简介4、鱼叉钓鱼示例:邮件钓鱼 二、钓鱼攻…

个人年终述职报告PPT怎么做?

适用于职场工作汇报、述职报告、岗位竞聘的PPT模板 这套微粒体风格的述职报告PPT模板采用了立体的几何图形设计,以白色、橙色、深蓝色为主,整体设计简约大气高端。其中还结合了时间轴、流程图、脑图等PPT素材,可以更直观展现工作述职报告的内…

计算机机房防雷接地标准,机房防雷接地规范与防雷接地方式,你知道吗?

雷电的描述 雷电是由天空中云层间的相互高速运动、剧烈磨擦,使高端云层和低端云层带上相反电荷。此时,低端云层在其下面的大地上也感应出大量的异种电荷,形成一个极大的电容,当其场强达到一定强度时,就会产生对地放电&…

地凯模块化机房防雷接地防雷工程设计方案

智能微模块的防雷接地系统由防雷方案和接地方案组成。 防雷方案:智能微模块主要有以下防雷工程方案。 SPD(surge protection device)浪涌保护器的安装符合以下要求:SPD 安装在被保护设备 的前端,SPD 的连接导线应尽可…

防雷工程中防雷等级的意义

在现代社会中,各种电子设备和通信系统已经成为我们生活中不可或缺的一部分。然而,雷击是这些设备和系统的一个常见问题,不仅会导致设备损坏,还可能对人们的生命财产造成威胁。因此,防雷措施变得尤为重要。 为了保护设…

防雷接地的施工工艺与防雷施工方案

雷电是自然界的一种强大而危险的自然现象,经常造成重大财产损失和人员伤亡。为了保护建筑物和人员免受雷电的危害,防雷接地系统的设计和施工至关重要。本文将介绍防雷接地的施工工艺和防雷施工方案,强调专业和符合国家标准的方法,…

防雷知识:什么是雷电浪涌

浪涌是突然发生并超过典型工作电压的过电压。一般来说,浪涌是电路中短暂的电流、电压或功率波。今天我们就来科普一下什么是雷电浪涌。 什么是浪涌? 浪涌,顾名思义,是一种突然发生并超过典型工作电压的过电压。一般来说&#xf…

单位、家庭建筑物电气、电子设备防雷举措

前 言 在现实的学习、工作、生活中,有时会面对自然灾害、重特大事故、环境公害及人为破坏等突发事件,为了控制事故的发展,就不得不需要事先制定应急预案。那要怎么制定科学的应急预案呢﹖下面是小编为大家整理的单位、住宅建筑物、电子电气防…

科学防雷接地和雷电防护方案

说到防雷,可能不少人首先会想到避雷针,而“避雷针”这一概念,很容易让大家对防雷的概念造成误解。 误解1: 避雷针是用来“避雷”的。 其实,避雷针的学名叫“接闪器”,不是用来“避开雷击”的,而是用来“迎…