以 Serverless 低成本的⽅式 快速在亚马逊云科技上部署 DeepSeek

2025年春节,最令人瞩目的无疑是DeepSeek的惊艳亮相,它以颠覆性的创新迅速席卷全球,成为街谈巷议的热点。无论是在地铁车厢里,还是公司茶水间,DeepSeek都成了人们津津乐道的话题。社交平台上,网友们争相分享与DeepSeek的“互动瞬间”,从探讨未来科技趋势到交流生活小窍门,仿佛一切问题都能通过DeepSeek找到答案。

DeepSeek R1模型是DeepSeek研发的一款高效AI语言模型,能够以极低的成本提供媲美大规模基础模型的性能。它适用于各种AI任务,包括自然语言处理(NLP)、智能客服、知识问答等。

相比传统大规模AI模型,DeepSeek R1计算资源占用更低,推理速度更快,成本更可控。

 亚马逊云科技部署DeepSeek的优势 

北京时间1月31日,亚马逊宣布已经把DeepSeek - R1纳入其平台,DeepSeek-R1模型现在在亚马逊的云服务上可用。

现在集成了DeepSeek-R1,亚马逊云科技仅按基础设施使用时间收费,延续了亚马逊云科技一贯的弹性计费方式,降低了用户(尤其是中小企业和初创公司)的试错成本。为用户提供更高效、更经济的人工智能解决方案,强化了其作为全栈服务商的定位,有助于抵御竞争对手的AI生态攻势。

如何在亚马逊云科技部署DeepSeek

在亚马逊云科技部署 DeepSeek-R1 模型的路径包括:

1. Amazon Bedrock Marketplace 中的 DeepSeek-R1 模型

2. Amazon SageMaker JumpStart 中的 DeepSeek-R1 模型

3. 使⽤ AWS Trainium 和 AWS Inferentia 部署 DeepSeek-R1–Distill 模型

4. 使⽤ Amazon Bedrock ⾃定义模型导⼊功能部署 DeepSeek-R1–Distill 模型

上述路径中 ,1/2/3均需要使⽤⼀台亚马逊云科技GPU服务器作为基底部署,即使是对于7B的蒸馏版DeepSeek-R1,也⾄少需要⼀台 g6e.2xlarge服务器,每⽉费⽤为1636.72 美元。

因此本⽂着重介绍其中第四点 ,这是⼀种⽆服务器的部署⽅式,⽆需管理底层基础设施,模型单元⾃动扩展,按实际使⽤量计费。

定价⽰例:

在us-east-1区域导⼊⼀个8B参数的DeepSeek-R1 模型,序列⻓度为128K,并在1个⽉后删除该模型。这需要2个⾃定义模型单元,每分钟的价格为0.1570美元,每⽉的模型存储费⽤为3.90美元。

01 前期准备

Bedrock的⾃定义模型功能只⽀持以下两个区域,因此请确保当前亚马逊云科技控制台已切换⾄正确的区域:

  • 弗吉尼亚北部 us-east-1

  • 俄勒冈州 us-west-2

1. ⼀个S3存储桶⽤来存储从HuggingFace下载的DeepSeek模型包 ,⽅便导⼊ Bedrock。

2. ⼀个EC2角⾊⽤来允许EC2服务器读写S3桶 ,⽅便从HuggingFace下载了模型之 后 ,导⼊S3中。

3. ⼀台EC2服务器⽤来进⾏中转 ,从HuggingFace下载模型并上传⾄S3。该服务器 的存储空间建议为:8B模型⾄少50GB ,70B模型⾄少300GB。

02

模型导入

通过SSH⼯具登录刚才创建的EC2服务器,然后按照以下流程执⾏。

・更新Ubuntu系统的软件包列表,确保能获取最新的软件包信息

    sudo apt-get update

    ・安装Amazon CLI

      sudo apt-get install awscli

      ・安装Git Large File Storage (LFS) ,这是⼀个Git的扩展 ,⽤于处理⼤⽂件下载

        sudo apt-get install git-lfs

        ・检查Git LFS的版本 ,确认安装成功

          git lfs version

          ・初始化Git LFS

            git lfs install

            ・从HuggingFace仓库下载模型⽂件,使⽤Git LFS克隆8B参数的DeepSeek模型

              git lfs clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Ll ama-8B

              ・如果需要使⽤70B模型则使⽤这条命令

                git lfs clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Disti ll-Llama-70B

                ・检查下载的8B模型⽂件夹的总⼤⼩ ,8B模型⾄少17GB ,70B模型⾄少135GB

                  du -sh DeepSeek-R1-Distill-Llama-8B/

                  ・使⽤Amazon CLI将下载的8B模型⽂件上传到Amazon S3存储桶 命令中的<s3< span=""> URI>需要替换为模型存储位置的S3 URI

                    aws s3 cp ./DeepSeek-R1-Distill-Llama-8B/<s3< span=""> URI> --recursive

                    ・在S3中的⽂件列表应当如下图所⽰

                    03 在Bedrock倒入模型

                    ・导航⾄Bedrock控制台,找到“导⼊的模型ˮ → “导⼊模型ˮ

                    ・⾃定义⼀个模型名称

                    ・在“模型导⼊设置ˮ⾥填写模型存储的S3 URI。 或者使⽤ “浏览S3ˮ⼯具 ,可视化选 择路径

                    ・通常等到5-30分钟后 ,可以看到模型导⼊完成 请记录此处的模型ARN ,后续调⽤时会⽤到

                    04 调入导入的Bedrock自定义模型

                    ・通过发送InvokeModel或 InvokeModelWithResponseStream请求,可以通过 API 对导⼊的模型运⾏推理。请参考⽂档:

                    https://docs.aws.amazon.com/bedrock/latest/userguide/inference- invoke.html

                    ・Amazon CLI 调⽤ InvokeModel API ⽰例 ,请修改此处<model-arn>

                      aws bedrock-runtime invoke-model \ --model-id <model-arn> \--body '{"prompt": "\n\nHuman: 你好 ,你是谁\n\nAssistant:", "max_to kens_to_sample" : 1024}' \--cli-binary-format raw-in-base64-out \ invoke-model-output.txt

                      使⽤ InvokeModelWithResponseStream API 通过 Python ⽣成流式回复

                        import boto3 import jsonbrt = boto3.client(service_name='bedrock-runtime')body = json.dumps({'prompt': '\n\nHuman: 写⼀篇关于AI改变世界的⽂章\n\nAssistant:','max_tokens_to_sample': 4000 })response = brt.invoke_model_with_ response_stream( modelId='<model-arn>',body=body )stream = response.get('body') if stream:for event in stream:chunk = event.get('chunk') if chunk:print(json.loads(chunk.get('bytes').decode()))

                        本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/20005.html

                        如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

                        相关文章

                        win10 系统 自定义Ollama安装路径 及模型下载位置

                        win10 系统 自定义Ollama安装路径 及模型下载位置 由于Ollama的exe安装软件双击安装的时候默认是在C盘&#xff0c;以及后续的模型数据下载也在C盘&#xff0c;导致会占用C盘空间&#xff0c;所以这里单独写了一个自定义安装Ollama安装目录的教程。 Ollama官网地址&#xff1…

                        CAP与BASE:分布式系统设计的灵魂与妥协

                        CAP 理论 CAP理论起源于 2000 年&#xff0c;由加州大学伯克利分校的 Eric Brewer 教授在分布式计算原理研讨会&#xff08;PODC&#xff09;上提出&#xff0c;因此 CAP 定理又被称作 布鲁尔定理&#xff08;Brewer’s theorem&#xff09; 2 年后&#xff0c;麻省理工学院的 …

                        电动汽车电池监测平台系统设计(论文+源码+图纸)

                        1总体设计 本次基于单片机的电池监测平台系统设计&#xff0c;其整个系统架构如图2.1所示&#xff0c;其采用STC89C52单片机作为控制器&#xff0c;结合ACS712电流传感器、TLC1543模数转换器、LCD液晶、DS18B20温度传感器构成整个系统&#xff0c;在功能上可以实现电压、电流、…

                        docker下部署kong+consul+konga 报错问题处理

                        前言&#xff1a; 由于在docker下部署一些项目比较特殊&#xff0c;特别是网络这一块&#xff0c;如果没有搞清楚&#xff0c;是很容易出问题的。 先上docker-compose 编排 这里的docker-compose for kong可以在 kong-compose 获取代码 version: 3.9x-kong-config:&kong…

                        装饰器模式

                        参考 装饰者模式 【设计模式实战】装饰器模式 1. HistorySet的例子 HistorySet 可以在实现的Set的基础上&#xff0c;在remove时保留删除的元素。通过将方法委托给现有的Set&#xff0c;在remove时先保留被删除元素后委托给注入的set进行remove public class HistorySet<…

                        软件定义汽车时代的功能安全和信息安全

                        我是穿拖鞋的汉子&#xff0c;魔都中坚持长期主义的汽车电子工程师。 老规矩&#xff0c;分享一段喜欢的文字&#xff0c;避免自己成为高知识低文化的工程师&#xff1a; 简单&#xff0c;单纯&#xff0c;喜欢独处&#xff0c;独来独往&#xff0c;不易合同频过着接地气的生活…

                        【Golang】GC探秘/写屏障是什么?

                        之前写了 一篇【Golang】内存管理 &#xff0c;有了很多的阅读量&#xff0c;那么我就接着分享一下Golang的GC相关的学习。 由于Golang的GC机制一直在持续迭代&#xff0c;本文叙述的主要是Go1.9版本及以后的GC机制&#xff0c;该版本中Golang引入了 混合写屏障大幅度地优化了S…

                        docker 运行 芋道微服务

                        jar包打包命令 mvn clean install package -Dmaven.test.skiptrue创建文件夹 docker-ai 文件夹下放入需要jar包的文件夹及 docker-compose.yml 文件 docker-compose.yml 内容&#xff1a;我这里的是ai服务&#xff0c;所以将原先的文件内容做了变更&#xff0c;你们需要用到什…

                        【苍穹外卖】学习

                        软件开发整体介绍 作为一名软件开发工程师,我们需要了解在软件开发过程中的开发流程&#xff0c; 以及软件开发过程中涉及到的岗位角色&#xff0c;角色的分工、职责&#xff0c; 并了解软件开发中涉及到的三种软件环境。那么这一小节&#xff0c;我们将从 软件开发流程、角色…

                        网工项目理论1.7 设备选型

                        本专栏持续更新&#xff0c;整一个专栏为一个大型复杂网络工程项目。阅读本文章之前务必先看《本专栏必读》。 一.交换机选型要点 制式:盒式交换机/框式交换机。功能:二层交换机/三层交换机。端口密度:每交换机可以提供的端口数量。端口速率:百兆/千兆/万兆。交换容量:交换矩阵…

                        前端面试技巧与实践

                        在当今快速发展的互联网行业中&#xff0c;前端开发已经成为了一个至关重要的角色。随着技术的不断进步和用户需求的日益复杂&#xff0c;前端工程师的职责不再仅仅是实现页面的布局和交互&#xff0c;而是需要具备全方位的技术能力和工程思维。根据2023年Stack Overflow的开发…

                        项目2 数据可视化--- 第十五章 生成数据

                        数据分析是使用代码来探索数据内的规律和关联。 数据可视化是通过可视化表示来 探索和呈现数据集内的规律。 好的数据可视化&#xff0c;可以发现数据集中未知的规律和意义。 一个流行的工具是Matplotlib&#xff0c;他是一个数据绘图库&#xff1b; 还有Plotly包&#xff…

                        前端常见面试题-2025

                        vue4.0 Vue.js 4.0 是在 2021 年 9 月发布。Vue.js 4.0 是 Vue.js 的一个重要版本&#xff0c;引入了许多新特性和改进&#xff0c;旨在提升开发者的体验和性能。以下是一些关键的更新和新特性&#xff1a; Composition API 重构&#xff1a;Vue 3 引入了 Composition API 作为…

                        python学opencv|读取图像(六十八)使用cv2.Canny()函数实现图像边缘检测

                        【1】引言 前序学习进程中&#xff0c;在对图像进行边缘识别的基础上&#xff0c;先后进行了边缘轮廓绘制&#xff0c;矩形标注、圆形标注和凸包标注。相关文章包括且不限于&#xff1a; python学opencv|读取图像&#xff08;六十四&#xff09;使用cv2.findContours()函数cv…

                        C语言基础16:二维数组、字符数组

                        二维数组 定义 二维数组本质上是一个行列式的组合&#xff0c;也就是说二维数组由行和列两部分组成。属于多维数组&#xff0c;二维数组数据是通过行列进行解读。 二维数组可被视为一个特殊的一维数组&#xff0c;相当于二维数组又是一个一维数组&#xff0c;只不过它的元素…

                        小爱音箱连接电脑外放之后,浏览器网页视频暂停播放后,音箱整体没声音问题解决

                        背景 22年买的小爱音箱增强版play&#xff0c;小爱音箱连接电脑外放之后&#xff0c;浏览器网页视频暂停播放后&#xff0c;音箱整体没声音&#xff08;一边打着游戏&#xff0c;一边听歌&#xff0c;一边放视频&#xff0c;视频一暂停&#xff0c;什么声音都没了&#xff0c;…

                        【做一个微信小程序】校园地图页面实现

                        前言 上一个教程我们实现了小程序的一些的功能&#xff0c;有背景渐变色&#xff0c;发布功能有的呢&#xff0c;已支持图片上传功能&#xff0c;表情和投票功能开发中&#xff08;请期待&#xff09;。下面是一个更高级的微信小程序实现&#xff0c;包含以下功能&#xff1a;…

                        使用Navicat for MySQL工具连接本地虚拟机上的MySQL

                        昨天在虚拟机上装了MySQL数据库&#xff0c;今天打算用Navicat for MySQL工具连下&#xff0c;结果连接不上。 使用本地Navicat for MySQL工具连接虚拟机上的MySQL数据库&#xff1a; 1.Navicat连接mysql 解决方案 1、首先使用xshell工具连上虚拟机服务器&#xff0c;输入命令&…

                        算法笔记 02 —— 入门模拟

                        本系列为胡凡编著的算法笔记当中代码部分的精简版整理&#xff0c;笔者也在同时准备Leetcode刷题和实习面试&#xff0c;希望为有一定编码和数据结构基础的同学提供一份系统型的参考&#xff0c;以方便遗忘时的算法查阅、期末复习总览以及C学习参照。 目录 01 简单模拟 Ⅰ害…

                        unity学习38:导入角色和动画,实测用脚本控制trigger和动作状态的转换

                        目录 1 资源准备&#xff1a;先从unity的 Asset store下载一些free的资源 2 在project/Asset里找到角色模型和动画 2.1 在prefab里找到角色资源 2.2 找到动画资源&#xff0c;一般在Animation下的模型文件fbx下层 2.3 准备工作 2.4 拖拽模型文件里的动作到Animator 2.5 …