科技云报道原创。

2023年，生成式AI技术破茧成蝶，引发了一场全球范围的数字革命。

从最初的聊天、下棋开始，到医疗、金融、制造、教育、科研等，生成式AI表现出了强大的创造力和无限潜力。据不完全统计，截至今年8月底，全国已经发布了逾百个行业AI大模型。

但与此伴生的对于数据保护、合规风险及隐私泄露的担忧，也让业界格外关注AI大模型部署过程中将带来的安全风险。

同时，生成式AI又是一把双刃剑，它既可以帮助企业解决实际问题，又面临着数据泄露等巨大风险。

今年年初，某大型全球化企业就在大模型训练过程中，泄露了企业数据库中的机密信息，给企业带来了巨大的负面影响。而此类事件依然层出不穷。

对于生成式AI带来的安全挑战，部分AI企业认为，生成式AI已经展现前所未有的智能化水平，由此将占据企业的IT关键位置，而就此重要性带来的受攻击频度，也将使得大模型成为云计算、大数据、物联网、移动互联网之后的一个全新的安全战场。

与此同时，生成式AI技术也将会在多个方面帮助提升网络安全运维效率，在更深层次改变网络安全格局的基础。

生成式AI的主流企业用例正在出现

生成式AI是一种利用深度学习技术生成高质量内容的人工智能，其基于深度学习技术的生成式算法、生成式函数和无模板调用。

在计算机视觉、自然语言处理、机器翻译等领域具有广泛的应用。随着深度学习技术的不断发展和应用场景的扩大，生成式AI将在未来获得更广泛的应用。目前，有三种企业用例正在成为行业主流。

首先，在客户支持方面，生成式AI包括GPT和其他大型学习模型，正在将对话式聊天机器人的能力转变为一种感觉自然、更加准确、能更好感知和应对语气和情绪的能力。

因此，产品支持聊天机器人中的对话式人工智能是我们在业界看到的第一批企业用例之一。这些聊天机器人可以搜索和查询现有的内部信息，并以类似人类的方式进行交流，为客户回答问题和解决常见问题。

对于已经使用某种形式的对话式人工智能的公司来说，GPT提高了响应质量和客户满意度。而对于希望将其人工呼叫中心转换为反应更迅速、永远在线且更有效的公司来说，GPT成为了一个极具吸引力的选择。

第二，围绕商业洞察力，数据科学最大的挑战之一是将商业用户与数据科学家分开。

前者最了解业务的细微差别和需要回答的问题，但只有后者才能真正用计算机语言编程来获得这些问题的答案。生成式AI现在允许商业用户用自然语言提出问题。

AI可以将这些问题转换为SQL查询，针对内部数据库运行，并以结构化的叙述方式返回答案，所有这些都在几分钟之内。这里的优势不仅仅是效率，它是决策的速度和业务用户更直接、更具交互性地询问数据的能力。

第三，在编程自动化方面，大型语言模型在多种语言中具有很高的准确性，包括计算机语言。

软件开发人员编写代码和相关文档的时间几乎减少了50%。例如，微软的Power Automate程序——一种机器人流程自动化的工具，现在可以使用自然语言编程，以更直观和用户友好的方式实现任务和工作流程的自动化。

这不仅比让大型的程序员和测试人员团队参与进来更有效率，而且还减少了自动化启动和运行的时间和迭代。

防范生成式AI风险已成企业必修课

我们需要看到，生成式AI技术是把“双刃剑”，其在推动社会进步的同时，也有可能带来技术、设计、算法以及数据等方面的安全风险。因此，必须做好前瞻研究，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德，在重视防范风险的同时，同步建立容错、纠错机制，努力实现规范与发展的动态平衡。

理解安全风险的来源，首先需明了其运转的特征和原理。生成式AI具有“大数据、大模型、大算力”三大技术特征，以及自然语言理解、知识工程方法、类脑交互决策等关键技术。

因此，这使得生成式人工智能具备社会价值、用户使用、数据合规，数据安全、数据质量五大风险，这些风险在金融、医疗、教育、电商、传媒等各领域和应用场景都已有所体现。

年初以来，我国相关部门已推进多项相关监管法案落地。其中，4月11日，国家网信办起草《生成式人工智能服务管理办法（征求意见稿）》（以下简称《办法》）并向社会公开征求意见。

该《办法》聚焦隐私安全、技术滥用、知识产权和他人权益三大问题，为AIGC的发展建立了防护机制。

像任何新兴技术一样，生成式AI的最大挑战之一是其相对不成熟。虽然生成式AI非常适合在个人使用中试验聊天机器人，但它在主流企业应用中仍处于早期。

部署它的组织不得不自己做很多繁重的工作，比如通过实验找到最佳的使用案例，在不断增加的、令人困惑的可用选项列表中进行筛选（例如在OpenAI的ChatGPT服务与微软Azure之间进行选择），或者将其整合到他们的业务流程中（通过将其充分整合到许多应用工作流中）。

结果是，随着技术的成熟，这其中的大部分都会消失，厂商会将更多技术以一种整合的方式纳入到他们的核心产品中。

第二，生成式AI的主要缺陷之一是可能产出不正确但明显令人信服的回答。由于GPT在自然语言处理方面取得了重大进展，因此存在一个相当大的风险，即它提供的答复听起来是正确的，但事实上是错误的。

在准确性至关重要的行业，如医疗保健或金融服务，这是不允许发生的事情。企业必须仔细选择正确的应用领域，然后建立治理和监督，以减轻这种风险。

第三，企业需要注意设置和管理企业准则，数据隐私以及维护受保护企业数据的机密性是企业成功的关键。因此，作为第一步，定义和设置适当的企业准则是至关重要的。

除了机密或个人身份识别或其他受保护数据丢失的风险外，用专有数据训练公开可用的语言模型的额外风险是，它可能导致知识产权的无意损失，特别是当基于训练的结果被提供给其他竞争对手时。

要有健全的政策和框架很难，因为它们必须一方面平衡创新的需要，另一方面平衡生成式AI的相关风险。

最后，在过度沉迷于被炒作的技术和专注于最高回报计划之间找到适当的平衡可能具有挑战性。组织需要确保他们为最紧迫的计划分配适当的资本和资源。

另一方面，那些坐等技术成熟太久的组织，可能会失去AI在行业主流化的机会，落后于可能对他们的业务产生重大影响的最新技术，并降低他们的持久竞争优势。

治理思路回归AI本源

在应对生成式AI安全风险的思路与策略上，AI技术本身具备的特性已经受到业界重视。通过传统的ICT网络安全模式已无法适应当前生成式AI带来的安全，而AI在逆向估算能力尤其是针对有些恶意软件的反逆向工程能力，效果非常突出。

目前业内普遍认同，AI的服务能力估算已能达到从业技术人员四到五年的水平，而通过AI算力提升防御数字化水平，再加上作为辅助的自动化运营，这使得在应对生成式AI风险方面具有先天优势。

这一背景，也使得以安全大模型来治理生成式AI的风险，成为行业共识。

这就需要从“场景牵引，技术驱动，生态协同”三个方面进行建设，应用AI实现安全行业工作范式重塑，通过大模型解决实战态势指挥调度、红蓝对抗辅助决策以及安全运营效能提升三大问题。

一方面，抓住生成式AI最根本的元素——数据和算法，以此为突破口，把控大数据源头治理，提前布局和构建系统性大数据防火墙，控制和防范数据泄密。

同时，应及时启动并优化国家级自主研发数据库系统和备份系统，抓紧布局和研发AI大数据控制系统、分级分层享用系统、网络风险防范系统以及由此产生的AI智能管控监督架构系统。

另一方面，采取多种举措推动生成式AI的技术发展与治理。鼓励生成式AI技术在各行业、各领域的创新应用，探索优化应用场景，构建应用生态体系。

支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式AI技术创新、数据资源建设、转化应用、风险防范等方面开展协作。推动生成式AI基础设施和公共训练数据资源平台建设。

促进算力资源协同共享，提升算力资源利用效能。推动公共数据分类分级有序开放，扩展高质量的公共训练数据资源。

如今，争夺“数据主权”已经成为全球数据安全发展新态势，随着各国纷纷出台数据战略，立法维护国家数据主权。

在此背景下，提升生成式AI的安全性将成为全球各国未来的产业重任之一，而我国安全企业已然迈出重要一步。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年，是前沿企业级IT领域Top10媒体。获工信部权威认可，可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。