【开发心得】三步本地化部署llama3大模型

目录

第一步:启动ollama

第二步:启动dify

第三步:配置模型(截图)


最近llama3很火,本文追击热点,做一个本地化部署的尝试,结果还成功了!

当然也是站在别人的肩膀上,文章最后有具体的参考文章,由于他们都是单独讲各自的部署,这里进行了整合。也就是说,如果你想本地化部署llama3大模型,本文是一套完整的部署方案。

第一步:启动ollama

ollama是可以本地部署的模型,其他模型,大多需要key才能进行连接。并不能做到本地化部署,而ollama作为轻量级,可本地化部署的模型,就是我们当下最好的选择了。

安装ollama很简单,只要你安装了docker,一条命令就可以了。

docker pull ollama/ollamadocker run -d -v  $PWD/ollama:/root/.ollama -p 11434:11434 \--name ollama ollama/ollama docker exec -it ollama /bin/bashollama run llama3

安装成功并且run以后,就可以看到下面的提示符,说明模型已经部署成功了! 

需要注意的是:

如果已启动过,需要删除原有的容器,当你再次重启以后,这个容器是不会自动运行的,需要手动,如下代码。当然也可以采用docker compose的方式,这里就偷懒了。

docker restart ollamadocker exec -it ollama /bin/bashollama run llama3

还有一种方法就是把容器删除,重新启动,浪费时间就不推荐了。

docker rm 容器名称

第二步:启动dify

第一步完成以后,后面就是安装dify框架了,dify的介绍和功能,在下面的参考文章中都有,有兴趣可以去看看,这里就不多说了,直接上代码。

git clone https://github.com/langgenius/dify.gitcd /dify/dockerdocker-compose up -d

当dify安装成功以后,首先要进行管理员配置,傻瓜式操作。

需要注意的是,当你添加新用户的时候,是采用邀请的方式,并不能直接设定用户的密码,这一点与其他平台有点儿不同。 

第三步:配置模型(截图)

最后一步是在dify里配置ollama模型,如下图: 

如果能够保存成功,就大功告成了!

需要注意的是,本文采用的是纯CPU模式,如果要上生产,还是要用到GPU的,否则生成回答的时候,会很慢很卡。

 

参考文章:

58k+star!ollama快速部署llama3大模型 - 大模型知识库|大模型训练|开箱即用的企业大模型应用平台|智能体开发|53AI

内网穿透的应用-如何使用Docker本地部署Dify LLM结合内网穿透实现公网访问本地开发平台_difydocker部署-CSDN博客

接入 Ollama 部署的本地模型 | 中文 | Dify

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/345312.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

嘉立创面板制作不规则图案技巧

首先附上效果图展示: 所需软件:嘉立创EDA(专业版)、photoshop、Adobe Illustrator 嘉立创EDA(专业版): 嘉立创面板绘制很容易上手,只要了解这几个图层的作用便可以做出自己想要的面板。 材料边界层: 代表选⽤的材料…

验证码案例

目录 前言 一、Hutool工具介绍 1.1 Maven 1.2 介绍 1.3 实现类 二、验证码案例 2.1 需求 2.2 约定前后端交互接口 2.2.1 需求分析 2.2.2 接口定义 2.3 后端生成验证码 2.4 前端接收验证码图片 2.5 后端校验验证码 2.6 前端校验验证码 2.7 后端完整代码 前言…

EverWeb 强大的零基础Mac网页设计制作软件

搜索Mac软件之家下载EverWeb 强大的零基础Mac网页设计制作软件 EverWeb 4.2是非专业网页设计师的绝佳网页制作工具,无需编码即可创建美观、响应迅速的网站。只需拖放自己的图像、文本和其他任何html元素到网页布局的任何位置。 EverWeb的功能特性: 下…

《Brave New Words 》1.1 抛弃瓶子

Part I: Rise of the AI Tutor 第一部分:AI 导师的崛起 A great teacher can teach calculus with a paper clip and literature in an empty field. Technology is just another tool, not a destination. —Unknown 一位伟大的教师可以用回形针教微积分&#xff0…

R语言探索与分析18-基于时间序列的汇率预测

一、研究背景与意义 汇率是指两个国家之间的货币兑换比率,而且在国家与国家的经济交流有着举足轻重的作用。随着经济全球化的不断深入,在整个全球经济体中,汇率还是一个评估国家与国家之间的经济状况和发展水平的一个风向标。汇率的变动会对…

doris FE 在Windows环境下编译调试开发环境

前言: doris fe 在win下调试运行,和正常java项目有一些差异,主要是有与be(c)通信代码的生成 在win环境下不能直接生成,因此需要现在linux下生成之后,再拷贝到本地来,然后进行编译&a…

7天搞定Python必背500单词

必备必记-你的Python就牛掰了 每天只背100个就足够了 老话说的好基础不扎实,地动山摇,在学习Python的时候前期基础很重要. 下面是大家常用遇到的Python基础单词,帮助你更好地掌握Python语言: 1.变量 在Python中用来存储数值,文本或其他信息的名称. 2. 函数 用于执行特定…

什么是Docker ?

在软件开发的星辰大海中,有一个神奇的技术,它能够将应用程序及其依赖环境封装在一个轻量级的、可移植的容器中。这项技术就是Docker。它不仅简化了应用的部署流程,还让开发和运维之间的界限变得模糊,使得跨平台部署变得前所未有的…

kafka-消费者服务搭建配置简单消费(SpringBoot整合Kafka)

文章目录 1、使用efak 创建 主题 my_topic1 并建立6个分区并给每个分区建立3个副本2、创建生产者发送消息3、application.yml配置4、创建消费者监听器5、创建SpringBoot启动类6、屏蔽 kafka debug 日志 logback.xml7、引入spring-kafka依赖 1、使用efak 创建 主题 my_topic1 并…

cisco packet tracer 8.2.2 (思科模拟器) ospf路由协议

1 实验拓扑图 2 配置路由器和交换机 #sw1 en config t hostname sw1 ip routing int vlan 2 ip address 192.168.2.1 255.255.255.0 exit int vlan 3 ip address 192.168.3.1 255.255.255.0 exit int gigabitEthernet 1/0/1 switchport access vlan 2 exit int gigabitEthe…

每日5题Day19 - LeetCode 91 - 95

每一步向前都是向自己的梦想更近一步,坚持不懈,勇往直前! 第一题:91. 解码方法 - 力扣(LeetCode) class Solution {public int numDecodings(String s) {int n s.length();//注意我们dp的范围是n1int[] d…

记一次postgresql拼接函数string_agg() 和row_number() 使用

PG两个函数使用需求和简单介绍 需求背景介绍第一个需求背景是这样的需求升级一下接下来讲讲STRING_AGG()基本语法排序 然后我们再说说ROW_NUMBER()基本语法使用 row_number() over (partition by) 进行分组统计使用 row_num限定每组数量 需求背景介绍 第一个需求背景是这样的 …

Paper速读-[Visual Prompt Multi-Modal Tracking]-Dlut.edu-CVPR2023

文章目录 简介关于具体的思路问题描述算法细节 实验结果模型的潜力模型结果 论文链接:Visual Prompt Multi-Modal Tracking 开源代码:Official implementation of ViPT 简介 这篇文章说了个什么事情呢,来咱们先看简单的介绍图 简单来说&am…

整除及求余运算符、数字的提取、顺序结构程序

1.运算符 在有余数的除法运算中,如果要知道商和余数分别是多少,可以用/和%这两个运算符号来得到。 (1)/(整除),当被除数和除数均为整数时,结果也为整型,只取商的整数部分。 如:10/25 10/33 5/10 0 (2)%(求余)&…

NineData云原生智能数据管理平台新功能发布|2024年5月版

重点发布​ 数据库 DevOps - 表分组查询​ 在企业用户规模达到一定程度后,分库分表成为一种常见的数据库架构选择。在这种情况下,查询和维护数据需要高效的解决方案,以避免手动逐一查询、变更和汇总多个分库和分表的繁琐操作。 库分组变更…

电脑开机出现英文字母,如何解决这个常见问题?

电脑开机时出现英文字母的情况通常意味着系统在启动过程中遇到了问题。这些英文字母可能是错误信息、系统提示或BIOS设置问题。通过理解这些信息并采取适当的措施,您可以解决大多数启动问题。本文将介绍三种解决电脑开机出现英文字母问题的方法,帮助您恢…

C++笔试强训day42

目录 1.最大差值 2.兑换零钱 3.小红的子串 1.最大差值 链接https://www.nowcoder.com/practice/a01abbdc52ba4d5f8777fb5dae91b204?tpId182&tqId34396&rp1&ru/exam/company&qru/exam/company&sourceUrl%2Fexam%2Fcompany&difficulty2&judgeSta…

你还在纠结U盘怎么选吗?小白带你来看

前言 2024年的618活动已经开始了,这个活动买电子产品着实是比其他时间要便宜很多。 前几天小白的一个好朋友问我:U盘该怎么选? 呃,本来是想写“老朋友”的,结果她愣是要我改成“好朋友”。 行吧,那就好朋…

基于睡眠声音评估睡眠质量

随着健康意识的增强,人们越来越关注睡眠质量。确保获得充足的高质量睡眠对于维持身体健康和心理平衡至关重要。专业的睡眠状态测量主要通过多导睡眠图(PSG)进行。然而,PSG会给受试者带来显著的身体负担,并且在没有专业…

【ARM Cache 与 MMU 系列文章 7.6 -- ARMv8 MMU 配置 寄存器使用介绍】

请阅读【ARM Cache 及 MMU/MPU 系列文章专栏导读】 及【嵌入式开发学习必备专栏】 文章目录 MMU 转换控制寄存器 TCR_ELxTCR_ELx 概览TCR_ELx 寄存器字段详解TCR 使用示例Normal MemoryCacheableShareability MMU 内存属性寄存器 MAIR_ELxMAIR_ELx 寄存器结构内存属性字段Devic…