科技云报道:从数据到生成式AI,是该重新思考风险的时候了

科技云报道原创。

OpenAI“宫斗”大戏即将尘埃落定。

自首席执行官Sam Altman突然被董事会宣布遭解雇、董事长兼总裁Greg Brockman辞职;紧接着OpenAI员工以辞职威胁董事会要求Altman回归;再到OpenAI董事会更换成员、Altman回归OpenAI。

表面上看,这似乎是一场针对一家独领风骚的技术初创公司控制权的争夺战,但从种种迹象来看,此次“宫斗”的导火索,更多应源自对AI未来发展理念的分歧:一派扛着“加速主义”旗帜,希望AI在技术精英的带领下加速前进改造世界;另一边则是以利他主义理论为根基、力求让AI在人类控制下发展的保守派别。
在这里插入图片描述
从创造栩栩如生的艺术到如同真人般的精度模仿人类语言,生成式AI正在改写创新和自动化的规则。

AI大模型训练的高耗能、AI对语言情感和伦理道德的把握程度、AI对假消息和公众舆论的操纵、生成式AI在人类创新创造中的角色……在生成式AI加速奔跑的今天,有些问题依然值得我们细细思考。

AI大模型成下一个 安全新战场

今年三月,三星电子刚刚在企业内部引入ChatGPT服务不久,就发生了三起机密数据泄露事件。部分员工将涉及半导体生产的机密代码与内部会议信息输入ChatGPT端口,导致这些敏感资料被上传至美国服务器,极可能已经泄漏。事件发生后,三星迅速采取措施约束员工使用ChatGPT的场景和行为,也引发了行业对于这类大模型技术带来的数据隐私和安全问题的讨论。

客观而言,在互联网时代,任何向云端上传数据的行为都具有潜在的安全风险。云计算刚刚兴起的时代,就有很多企业担忧敏感数据被云服务商泄露,拒绝将其上传至云端。

时至今日,仍有大批企业在本地存储隐私数据来增强安全性,云服务商仍然没有完全赢得企业的信任。

而生成式AI的热潮则令这一问题雪上加霜。一方面,由于大模型训练、运营所需的成本极为高昂,极少有企业能够负担巨大的投资而在本地建设自有大模型服务。

另一方面,由云服务商提供的大模型服务在训练和交互时需要海量数据,尤其是特定领域的数据。大模型掌握的领域数据越多,特别是与企业研发、运营相关的数据越多,输出的效果往往越令人满意。

例如,企业开发人员使用AI代码辅助生成工具时,一般需要上传企业已有的代码库,使大模型给出更精准的代码预测结果;企业营销人员将过往的营销材料输入大模型,就可以自动生成高质量的营销内容,提升工作效率。

为此,企业和研究机构往往会收集包括用户生成内容的文本、图像等数据,这些原始训练数据中可能含有用户的敏感隐私信息。

如果数据采集不当、存在偏见或标签错误、数据被投毒,都有可能导致大模型产生错误输出、存在歧视或其他负面影响,同时数据在应用的过程中,也要面临数据泄露、隐私曝光等风险,这既存在法律风险,也会引发公众对AI的信任危机。

另外,提供大模型服务的云厂商一般会同时服务众多客户,而大模型在获得各个企业的数据后,如何将这些数据充分隔离在每个客户的服务范围之内,就成为了困扰云厂商与企业的一大难题。

一旦数据的隔离失败,从甲客户获得的数据就可能被用在对乙客户给出的交互回答中,造成数据泄露。

如果企业上传的大量隐私机密数据未能得到充分保护,恶意攻击者或者云厂商内部的恶意人士就可能利用软件漏洞或职权获取这些信息,攫取不当利益的同时,也对企业造成了无可估量的伤害。

考虑到大模型所需的训练和交互数据数量庞大,远远超过以往企业上传到云端的规模,这种风险相比过去也有数量级的增长。

目前,生成式AI已经展现前所未有的智能化水平,由此将占据企业的IT关键位置,而就此重要性带来的受攻击频度,也将使得生成式AI成为云计算、大数据、物联网、移动互联网之后的一个全新的安全战场。

与此同时,大模型技术也将会在多个方面帮助提升网络安全运维效率,在更深层次改变网络安全格局的基础。

有些人士还认为,生成式AI将进一步扩大贫困差距,加深数字鸿沟。生成式AI作为新兴的AI技术,需要基于大量的数据与巨大的计算能力,这就意味着生成式AI只能在技术先进的国家和地区普及开来,并被少数经济体所掌控。

数字贫困差距进一步扩大,科技弱势地区的话语权被忽视,其潜在的风险就是发达经济体的价值观广泛传播,数字鸿沟也会不可逆地加深。

用技术对抗技术用魔法打败魔法

随着大模型时代的到来,其强大能力也为安全防护技术的变革提供了新的思路。“用AI的力量来对抗AI”已经成为一个热点方向。

事实上,对抗攻防思路并不是模型安全的专属。早在上个十年,面对种种安全威胁,人工智能领域就逐步形成了“以攻测防——以攻促防——攻防一体化”的安全理念,通过模拟各类攻击场景,不断探索模型和系统的弱点,以此推动算法和工程端的防御能力加强。

只不过,以往安全防护主要依赖机器学习算法模型,这需要大量专业数据知识积累,且面临知识盲区和小样本冷启动不及时的问题。利用大模型技术,可以实现更智能化的安全防控。

当前,生成式AI面临的安全问题可以分为三级。初级问题是技术攻击问题,也就是网络攻击、漏洞攻击、数据攻击问题,特别是提供给大模型不好的数据或污染它的训练数据,可能会导致结果出错。这类问题相对比较好解决。

比较难解决的是中级问题,主要涉及内容安全。例如大模型可以成为人们很好的帮手,也能成为坏人的工具。它可以帮一个水平不怎么样的黑客写更好的攻击代码、诈骗邮件。

如何让它的内容更加可控?如何防止AI大模型不作恶?这已经超越了技术范畴。尽管现在有人为大模型做了内置的所谓“安全护栏”,但它很容易遭到注入攻击或算法攻击。

从高级问题来看,大模型可以把人类所有知识融会贯通,再来和人类做交流、做提示。但当AI的能力超越人类后,还能不能甘于做人类的工具,这些技术带来的挑战最终还要靠技术来解决,技术自身会不断进化,不能因为未来还没有发生的问题就不发展相关技术。

从产业界现状来看,AI安全与否如何评测,目前尚缺乏一套易用和标准化的评测工具和规则。

这也是大模型防御中能够补充的另一方面,通过大模型技术学习风险知识和标准规则来提升AI对于风险的认知理解能力,以实现用大模型对抗大模型来进行极速防御和快速冷启动的目的。

面对大模型下的网络安全挑战,需要企业、安全团队和监管机构等共同努力来应对。

首先,加强大模型的训练和管理。通过采用更加有效的数据增强和处理技术,减少大模型的过拟合和梯度爆炸等问题,提高模型的鲁棒性和可靠性。同时,对大模型的训练和管理也需要加强监管和审计,确保数据的隐私和安全。

其次,研发新型安全防御技术。针对大模型的攻击手段不断变化和更新,需要研发新型的安全防御技术来应对。例如,可以利用人工智能技术来检测和防御恶意代码和网络钓鱼攻击等。

以文本安全为例,大模型可以基于安全标准规则、风险领域知识和历史风险样本进行训练,提升模型对于风险标准和内容的理解力,从而实现对风险检测能力的提升。

也采用大模型生成能力结合安全知识图谱,来构造攻击样本持续迭代优化检测模型。

第三,强化数据安全保护。除了要关注大模型在互联网上的攻防对抗,大模型本身的安全和隐私问题同样引发了担忧。

针对大模型的训练和使用过程中可能存在的数据安全问题,需要采取一系列的隐私保护技术。例如,使用同态加密、差分隐私、安全多方计算、模型水印和指纹等多种技术来保护数据的隐私和安全。

第四,加强监管和法律保护。技术立法往往落后于技术发展的步伐,缺少法规和条例的引导和规制,越来越多使用生成式AI的公司发现其系统运行的安全性受到很大挑战。

面对大模型下的网络安全挑战,也需要监管机构和法律机构加强管理和监管。例如,政府监管机构要通过政策立法对生成式AI的设计、演进进行有效引导、统筹管理。

制定的政策框架需要与各国的立法和监管背景保持一致,并且要随AI技术更迭而更新,不断提高现有法规的适用度。在监管的同时给予AI创新的自由度,协同创造出更高质量的内容。

生成式AI是非常复杂的问题,伦理、数据、训练等领域的复杂度都是前所未有的,是一个新领域,也是摆在所有人面前的一个命题。

从科技企业的发展史看,在新技术发展的前期,不同路线、理念的参与者往往能够团结协作,共同为了科技普及而合作前进。

但当科技普及已经发生,关于商业化、实现路径的种种理念差异,却可能走上不同的道路。在AI普及和深度应用的前夜里,或许,关于未来技术应该如何普及、如何监管的理念与路径之争,才刚刚拉开帷幕。

面对未来的安全发展趋势和挑战,企业更应该携起手来,共同建立可度量的安全体系,为应对智能化时代的攻防新趋势,打造内在自适应的“安全免疫力”。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/218329.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenHarmony关于修改系统横屏导致启动视频显示不全问题解决

前言 OpenHarmony源码版本:4.0release 开发板:DAYU / rk3568 前段时间写的设置OpenHarmony启动视频,在竖屏状态下是正常的,但是横屏状态下显示不全。 链接直达:OpenHarmony 设备启动Logo和启动视频替换指南-CSDN博…

Java EE 多线程之线程安全的集合类

文章目录 1. 多线程环境使用 ArrayList1. 1 Collections.synchronizedList(new ArrayList)1.2 CopyOnWriteArrayList 2. 多线程环境使用队列2.1 ArrayBlockingQueue2.2 LinkedBlockingQueue2.3 PriorityBlockingQueue2.4 TransferQueue 3. 多线程环境使用哈希表3.1 Hashtable3.…

优雅玩转实验室服务器(一)登录服务器

这篇文章更加偏向于使用python程序进行研究的朋友们 原料 Windows主机实验室Linux服务器(可以访问互联网)一点点耐心 step.0 windows terminal is all you need 别跟我说什么putty,什么winscp,我就是单推Win11自带的软件——win…

深度学习在人体动作识别领域的应用:开源工具、数据集资源及趋动云GPU算力不可或缺

人体动作识别检测是一种通过使用计算机视觉和深度学习技术,对人体姿态和动作进行实时监测和分析的技术。该技术旨在从图像或视频中提取有关人体姿态、动作和行为的信息,以便更深入地识别和理解人的活动。 人体动作识别检测的基本步骤包括: 数…

[已解决】uniapp内置插件,editor富文本报错(附quill.min.js、image-resize.min.js文件)

在使用uni-app运行内置插件editor时,无法输入内容,控制台报错 原因:查看官网得知,需动态引入quill.min.js、image-resize.min.js文件 解决方法: 1.下载quill.min.js、image-resize.min.js到项目static/eidtor文件中 链…

2024生化仪器与实验室装备创新发展论坛将于3月6日济南召开

2024生化仪器与实验室装备创新发展论坛 2024年3月6日 | 山东国际会展中心 一、会议介绍 近年来,制药及生物制药行业的高速成长,生化仪器与实验室装备作为科学研究的重要组成部分,同时也在不断的更新和升级。伴随生物制药、CRO等下游行业的…

js 数组 slice() 浅拷贝与sort()数组的排序

slice() slice()方法将从数组中浅拷贝指定开始位置和结束位置之间的数组元素到一个新的数组,并返回新数组。 结束位置不在浅拷贝的范围 [1, 2, 3, 4, 5].slice(2,3); 结果时 3 从数组第二位开始拷贝 ,到第三位为止 注意返回内容是一个数…

超燃超欢乐!修仙喜剧动画《师兄啊师兄》第二季稳健开播

12月14日,备受瞩目的《师兄啊师兄》第二季终于稳健开播!首播两集连放,同时第一季全13集限免,不仅便于新观众丝滑入坑,老观众也可以二刷重温,可以说是非常良心了! 《师兄啊师兄》改编自人气网络小…

【云原生kubernets】Pod详解

一、Pod介绍 1.1.概念 Pod是kubernetes中最小的资源管理组件,Pod也是最小化运行容器化应用的资源对象。一个Pod代表着集群中运行的一个进程。kubernetes中其他大多数组件都是围绕着Pod来进行支撑和扩展Pod功能的,例如,用于管理Pod运行的State…

将 Github token 添加至远程仓库

将 Github token 添加至远程仓库后便于每次 push 重复输入的麻烦 首先,将已生成的 token 记录(注:生成后的 token 确认后便无法查看只能重新生成)并找到对应的项目 git 本地文件路径下 其次,将其与项目所关联,按如下格式配置即可 token 格式类似于 ghp_CAxxxxxxxxxxxxxxxxxGx5j…

【rabbitMQ】rabbitMQ控制台模拟收发消息

目录 1.新建队列 2.交换机绑定队列 3.查看消息是否到达队列 总结: 1.新建队列 2.交换机绑定队列 点击amq.fonout 3.查看消息是否到达队列 总结: 生产者(publisher)发送消息,先到达交换机,再到队列&…

微软Microsoft二面面试题分享通过总结(不是标准答案分享

误打误撞 我写的shitty代码 当年面试算法开发岗竟然通过了 Background 先说下背景,软件工程本科毕业之后,当年8月到北欧读两年制硕士。面试发生在当年的11月,微软哥本哈根,location在丹麦的哥本哈根lingby(是不是这么…

【JavaEE】锁的策略

作者主页:paper jie_博客 本文作者:大家好,我是paper jie,感谢你阅读本文,欢迎一建三连哦。 本文于《JavaEE》专栏,本专栏是针对于大学生,编程小白精心打造的。笔者用重金(时间和精力)打造&…

vue中哪些数组的方法可以做到响应式

Vue2 中为什么直接通过数组的索引修改元素是不会触发视图更新 vue2 为什么不直接监听数组 Vue2 对于数组提供了一些变异方法 重写数组方法源码分析 定义拦截器将拦截器挂载到数组上面收集依赖 扩展:理解Vue2如何解决数组和对象的响应式问题 对复杂对象的处理 复杂对…

基于JSP+Servlet+Mysql的建设工程监管信息

基于JSPServletMysql的建设工程监管信息 一、系统介绍二、功能展示1.企业信息列表2.录入项目信息3.项目信息列表 四、其它1.其他系统实现五.获取源码 一、系统介绍 项目名称:基于JSPServlet的建设工程监管信息 项目架构:B/S架构 开发语言:…

ubuntu pycharm 死机,如何重启

1. 找出pycharm 进程的id 进入命令行: ps -ef 是查看当前运行的进程 值输入 ps -ef 会返回所有当前执行的进程,太多了,过滤一下,找到 pycharm : ps -ef | grep pycharm 2. 使用 kill -s 9 来杀死进程 如图所是,…

HTML基础标签

但实际上无论声明为中文还是英文都可以写&#xff0c;中文/英文 主要是浏览器在进行调用翻译功能的时候&#xff0c;会按照声明的语言来进行翻译。 标签语义&#xff1a; 标签的属性一般都是在第一个标签中定义该标签效果所拥有的属性。 即标签的作用是什么 <>标签功能…

美食大赛的题解

目录 原题描述&#xff1a; 题目描述&#xff1a; 输入格式&#xff1a; 输出格式&#xff1a; 样例输入&#xff1a; 样例输出&#xff1a; 数据规模&#xff1a; 题目大意&#xff1a; 主要思路&#xff1a; 注&#xff1a; 代码&#xff1a; 原题描述&#xff1a…

C# WPF上位机开发(crc校验)

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 为了验证数据传输的过程中有没有发生翻转&#xff0c;我们在传输报文的同时一般还会添加一个crc校验。对于modbus协议也是一样&#xff0c;它在数据…

Unity中Shader URP最简Shader框架(整理总结篇)

文章目录 前言一、精简 ShaderGraph 所有冗余代码后的最简 URP Shader二、我们来对比一下 URP Shader 与 BuildInRP Shader 的对应关系 与 区别1、"RenderPipeline""UniversalPipeline"2、面片剔除、深度测试、深度写入、颜色混合 和 BRP 下一致3、必须引入…