生成式AI开发安全范围矩阵简介

生成式AI目前可以说是当下最热门的技术，吸引各大全球企业的关注，并在全球各行各业中带来浪潮般的编个。随时AI能力的飞跃，大语言模型LLM参数达到千亿级别，它和Transformer神经网络共同驱动了我们工作生产力、创意生成能力等生活中的方方面面。

随着越来越多的公司为员工和客户提供生成式AI服务，开发人员和网络安全从业者也必须快速了解和评估这种不断快速发展的技术所涉及的风险、治理和安全控制措施。作为与全球规模最大、最复杂的客户合作的亚马逊云科技安全团队，也经常被咨询问到关于生成式AI的最新趋势、最佳实践以及安全和隐私方面的挑战。在这个大背景下，小李哥也希望分享一些关键策略，帮助大家加速生成式AI开发以及AI安全体系的建立。

这篇文章是保护生成式AI应用开发系列的上篇，希望帮助大家能建立一种安全的思维模型，让大家能够根据所部署的生成式AI应用类型来分析潜在的风险和安全影响。接下来我们会重点介绍安全和开发人员在保护生成式AI应用时需要优先考虑的关键因素。在后续的文章中，我们也将深入探讨如何开发符合安全要求的生成式AI云端解决方案、如何对生成式AI应用进行威胁建模、如何评估合规性和隐私问题，并探索如何利用生成式AI来提升企业自身的网络安全能力和西戎安全姿态。

从哪里开始上手生成式AI开发安全？

与所有新兴技术一样，建立坚实的技术基础对于理解AI开发相关的安全范围、风险、合规和安全控制方案至关重要。要更深入了解生成式AI的基础知识，大家可以先学习生成式AI的基础知识、独特术语及其使用场景，并查看各行业如何利用它来推动创新。

如果大家刚开始探索或上手生成式AI，可能会认为新的AI技术需要全新的安全体系。虽然生成式AI 确实有一些其单独适用的独特的安全考虑，但它本质上仍然是一种数据驱动的计算推理，因此可以沿用许多成熟的安全框架。如果大家多年来一直在遵循云安全的最佳实践，并参考了亚马逊云科技的Well-Architected Framework的安全准则、Well-Architected机器学习白皮书等建议，那么恭喜大家已经走在正确的AI安全道路上了。

云端应用开发核心的安全领域，例如身份与访问管理（IAM）、数据保护、隐私与合规性、应用安全和威胁建模，在生成式AI应用中仍然至关重要。例如如果生成式AI应用需要访问数据库，大家需要明确数据库的数据分类、如何保护数据、如何检测潜在威胁以及如何精细化管理访问权限。但除了传统的安全要求，生成式AI还带来了一些新的风险和额外的需要大家注意的安全考虑，这篇文章将重点介绍需要关注的在AI应用开发中的安全因素。

确定安全范围

如果企业决定采用生成式 AI 解决方案，作为安全和开发团队该做什么？和所有安全工作一样，第一步是明确我们需要实施安全控制的范围。这取决于具体的使用场景，比如我们可能选择一个托管AI服务，由云服务商负责模型和基础设施的管理，或者选择自建、自训练服务和模型。

在亚马逊云科技上安全是最第一优先级，为客户提供合适的工具对其至关重要。例大家可以使用Amazon Bedrock，这是一个无服务器、API驱动的生成式AI模型管理平台，提供AI21 Labs、Anthropic、Cohere、Meta、Stability.ai和Amazon Nova等预训练基础模型。Amazon SageMaker JumpStart还提供了额外的灵活性，支持一键通过容器部署现有的预训练的大语言模型，帮助大家更安全地加速AI应用开发。此外大家还可以在Amazon SageMaker上构建和训练自己的模型。

不同的生成式AI解决方案涉及不同的基础设施、软件、访问权限和数据模型，因此会带来不同的安全考量。为了统一管理安全评估，我们制定了一套安全范围分类方法，称为生成式AI安全范围评估矩阵（Generative AI Security Scoping Matrix），如下图所示。

生成式AI应用安全类型

下面大家可以跟随小李哥一起开始对我们的生成式AI应用进行评估。评估的第一步是确定业务的使用场景属于哪个安全类型。我们将这些范围分为1–5 级，从最低的1级使用公开的AI网页服务（如deepseek、千问、豆包）到最高的5级自主训练和部署模型。以下就是目前主流的生成式AI应用5大类型。

直接使用现有生成式AI服务：

范围 1：消费级应用

我们直接使用公开的第三方生成式AI服务（免费或付费）。此时我们无法访问或修改模型或训练数据，只能按服务协议调用其API或使用其网页应用。

示例： 一名员工使用一个生成式AI聊天网页工具（如DeepSeek），为即将开展的营销活动生成创意。

范围 2：企业级应用

企业使用了集成生成式AI功能的第三方供应商的企业软件，并与供应商建立商业合作关系。

示例： 企业使用一款具备AI会议议程生成功能的第三方的利用AI进行日程管理软件。

自建生成式AI模型解决方案：

范围 3：预训练模型

我们使用现成的第三方预训练基础模型来构建自己的应用，并通过API直接集成到我们开发的业务系统。

示例： 企业基于DeepSeek模型，使用DeepSeek-R1 API自己开发构建客服聊天机器人。

范围 4：微调模型

企业基于第三方基础模型进行微调，使用自有数据优化模型以适配特定业务场景。

示例： 企业通过API访问基础模型，并通过预训练构建营销工具，使其能生成与企业品牌风格匹配的营销内容。

范围 5：自主训练模型

企业从零开始重头完整训练生成式AI模型，完全控制数据、算法和训练过程。

示例： 一家企业希望训练一个专门针对某个拥有行业知识的大型语言模型（LLM），然后将其授权给行业客户。

关键安全领域

在生成式AI安全评估范围矩阵中，我们定义了五个关键安全领域，不同的生成式AI解决方案对这些安全领域的要求也有所不同。通过确定各位开发者的业务所处的安全范围，安全团队可以快速聚焦需要评估的核心系统，并明确划分需要评估的安全领域范围。

1. 治理与合规 – 保障业务安全运行的政策、流程和合规报告。

2. 法律与隐私 – 生成式AI解决方案的法律、合规和隐私要求。

3. 风险管理 – 识别潜在安全威胁并制定应对响应方案、策略。

4. 安全控制 – 实施必要的安全控制措施以降低风险。

5. 系统韧性 – 保障生成式AI解决方案的可用性和SLA。

在后续的生成式AI应用安全系列文章中，小李哥将继续介绍生成式AI开发安全范围评估矩阵，帮助大家理解如何根据大家所划定的AI应用范围调整安全策略和实施方案。希望大家能在业务方案设计、开发、评估和安全架构规划过程中，采用并参考这套安全评估矩阵。欢迎大家持续关注小李哥的AI安全系列文章系列，不要错过更多国际前沿的云计算方案！