Llama3.1是AI界的Linux?先部署起来再说!

本文简介

前段时间,Meta 发布了 Llama 3.1,这次带来的中杯、大杯和超大杯3个版本。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

从纸面数据来看,Llama 3.1 超大杯已经能跟 GPT-4 OmniClaude 3.5 Sonnet 分庭抗礼了。

而中杯和大杯更是将同量级的对手摁在地上摩擦。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

要知道,Llama 的对手可是闭源模型啊工友们!

小扎同志说,开源AI会成为行业的标准,就像Linux一样!

不管怎么说,既然你开源了,那我就在本地部署起来吧。

本文使用 Ollama 在本地运行大语言模型,它不止能运行 Llama 3.1 ,还支持阿里的 qwen2 等开源模型。

同时借助 OpenWebUI 的帮助,让你可以在图形化界面里跟 Llama 3.1 聊天互动。

安装 Ollama

Ollama 是一个专门为在本地环境中运行和管理大型语言模型(LLM)而设计的开源工具。

打开 Ollama官网(https://ollama.com) 下载 Ollama

根据你的系统去下载对应的安装包即可。下载完就运行它,傻瓜式安装,一直点“下一步”就行了。安装完你就能看到一个客户端的图标。

下载并运行 Llama 3.1

回到 Ollama官网(https://ollama.com/library),进入 Models 页面,这里会列出很多热门的模型。你也可以在搜索框里搜索自己想要的模型。

这里我们选择 llama3.1

蓝框可以选择不同量级的 Llama 3.1 模型,红框是选中的这个模型的下载和运行命令。

405b的模型231个G,我电脑实在玩不起,硬盘的剩余空间都没这么大😭

我就拿8b的模型演示一下吧~

在终端输入这条命令就会开始下载 Llama 3.1 8b的这个模型,如果已经下载过了它会直接运行,不需要重复下载。

ollama run llama3.1

下载并运行成功后,你就可以在终端跟 Llama 3.1 这个模型对话了。

当然啦,如果你觉得 Llama 的中文不太强,可以试试阿里的 qwen2 ,在 Ollama官网(https://ollama.com/library) 搜 qwen2 选择指定版本,复制下载命令到终端执行即可。

搭建 Web 界面

在终端和大语言模型聊天实在太原始了,有套好看的 Web 界面会更容易在老板面前装杯。

本文要介绍的是 OpenWebUI(https://openwebui.com/),使用 docker 运行它会比较方便。

看到 docker 不要慌,很简单的。

打开 docker官网(https://www.docker.com/) ,根据你的系统下载对应版本的 docker 客户端。

接着继续傻瓜式安装即可。

安装完 docker 后,需要打开 docker 客户端。

接着我们打开 OpenWebUI 的文档(https://github.com/open-webui/open-webui),文档列出几种运行方式,如果在本地运行,复制红框的命令在终端运行即可。如果你电脑有N卡,可以用绿框那条命令。

执行完上面的命令后,在浏览器访问 http://localhost:3000/ 就能看到下面这个界面。

首次注册的用户是管理员账户,邮箱和密码都可以随便填,这些都是保存在你本地的数据。只要你记得自己注册的是什么邮箱和密码就行了。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

登录后就能看到上面这个界面,在聊天窗上方选择 llama3.1 模型就可以开始愉快的聊天了。


以上就是本文的全部内容啦,如果你觉得本文对你有帮助的话欢迎转发给更多朋友。

如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/393635.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

常见中间件漏洞(一、Tomcat合集)

目录 一.Tomcat Tomcat介绍 1.1 CVE-2017-12615 影响范围 环境搭建 漏洞复现 1.2 后台弱口令部署war包 漏洞原理 影响版本 环境搭建 1.3 CVE-2020-1938 漏洞原理 影响版本 环境搭建 漏洞复现 一.Tomcat Tomcat介绍 tomcat是一个开源而且…

Docker 环境下使用 Traefik v3 和 MinIO 快速搭建私有化对象存储服务

上一篇文章中,我们使用 Traefik 新版本完成了本地服务网关的搭建。接下来,来使用 Traefik 的能力,进行一系列相关的基础设施搭建吧。 本篇文章,聊聊 MinIO 的单独使用,以及结合 Traefik 完成私有化 S3 服务的基础搭建…

Spring Boot集成protobuf快速入门Demo

1.什么是protobuf? Protobuf(Protocol Buffers)是由 Google 开发的一种轻量级、高效的数据交换格式,它被用于结构化数据的序列化、反序列化和传输。相比于 XML 和 JSON 等文本格式,Protobuf 具有更小的数据体积、更快…

应急响应-主机安全之文件相关命令(Linux操作系统)

目录 概述常用命令file-探测给定文件的类型选项常用选项组合 stat-查看文件信息find-不止查找文件选项测试操作常用选项 locate-比find好用的查找命令选项常用选项组合 chmod-修改文件权限suidsbit chown、chgrp 修改文件所有者/所在组umask-显示或设置创建文件的权限掩码常用选…

大模型备案全网最详细流程说明【附附件】

本文要点:大模型备案最详细说明,大模型备案条件有哪些,《算法安全自评估报告》模板,大模型算法备案,大模型上线备案,生成式人工智能(大语言模型)安全评估要点,网信办大模型备案。 大模型备案安…

python的多线程

python的threading模块,它提供了丰富的接口来创建和管理线程。 定义一个函数print_numbers,这个函数将由线程执行。在这个函数中,我们使用一个循环来打印数字,并使用time.sleep(1)来模拟每个数字打印之间有1秒的延迟。 在 if __…

win7系统利用定时启动+脚本实现MySQL文件自动备份

前言 最近接到项目,数据量不大但对运行数据的安全性要求极高,为避免因不可抗拒因素导致的数据丢失,选择机械硬盘作为数据存储盘,并使用脚本方式对文件进行备份 一、脚本 下面为自动备份文件的 脚本,可根据自身情况进…

OpenSBI设备树

设备树 在前一启动阶段跳转OpenSBI时,可以将设备树的地址通过参数a1传递过来。 OpenSBI相关的配置(opensbi_config)也可以添加到设备树节点中,OpenSBI执行时会解析和使用这些配置,并在启动结束时删除该节点&#xff…

只强的Java学习之路8-5

一.搭建mybatis pom.xml文件 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.a…

部署Springboot + Vue 项目到远程服务器Windows10系统的详细配置

远程服务器操作系统为Windows系统&#xff0c;Java程序环境&#xff0c;Maven环境都安装有&#xff0c;Mysql ,Redis等都有的前提下 1. mysql数据库导入&#xff0c;非常简单很好操作&#xff0c;这里省略。。比如用HeidiSql 或者Navicat 工具导入数据库 2. 后端javaSpringb…

高职物联网智慧农业实训室建设方案

一、项目概述 随着物联网技术的迅猛发展及其在农业领域的广泛应用&#xff0c;智慧农业已经成为推动农业现代化的关键力量。近年来&#xff0c;国家高度重视物联网技术在农业领域的应用与发展&#xff0c;出台了一系列相关政策支持智慧农业建设。如《数字乡村发展战略纲要》明…

英语疑惑之在树上

在树上&#xff0c;on the tree&#xff0c;我想这个这个介词到底该用in&#xff0c;on or other prep。本来我以为跟on the roof差不多&#xff0c;就是在物体表面&#xff0c;可是百度了一下&#xff0c;可以有on the tree, in the tree, by the tree, at the tree, under th…

基于tcp,html,数据库的在线信息查询系统项目总结

1.项目背景 在线信息查询系统是一种可用于检索和展示各种信息的计算机程序或平台。主要特点包括&#xff1a; 用户接口&#xff1a;通常提供友好的界面&#xff0c;用户可以方便地输入查询条件。 数据存储&#xff1a;系统往往连接到数据库&#xff0c;存储大量信息&#xf…

自动化工具Selenium IDE基本使用——脚本录制

1 简介 Selenium相信大家都知道&#xff0c;在做自动化操作时&#xff0c;要使用浏览器驱动直接控制浏览器操作的时候&#xff0c;大多会结合Selenium框架使用。 但在对网页操作自动化的时候&#xff0c;实际上有一种更轻量的做法&#xff0c;那就是直接使用Selenium IDE&…

【LeetCode每日一题】2024年8月第二周(上)

2024.8.5 困难 链接&#xff1a;600. 不含连续1的非负整数 &#xff08;1&#xff09;题目描述&#xff1a; &#xff08;2&#xff09;示例 &#xff08;3&#xff09;分析 思路1&#xff1a; 题目要求的数值&#xff0c;是将数二进制转换后&#xff0c;不存在连续的1&#x…

SQL时间盲注

目录 1.时间盲注 2使用场景 3.步骤 3.1判断注入点 3.2爆数据库名 3.3爆表名 3.4爆字段名 3.5查询数据 1.时间盲注 时间盲注是指基于时间的盲注&#xff0c;也叫延时注入&#xff0c;根据页面的响应时间来判断是否存在注入。 2使用场景 页面没有回显位置&#xff08;…

安装Supervisor队列进程、管理 Laravel 队列进程

在 CentOS 上安装 Supervisor 并配置 Laravel 的步骤如下&#xff1a; 1.安装 Supervisor&#xff1a; 使用以下命令安装 Supervisor&#xff1a; sudo yum install epel-release sudo yum install supervisor 2.配置 Supervisor&#xff1a; 创建一个新的 Supervisor 配置文…

EasyBoss ERP订单分仓规则优化升级,帮助跨境卖家高效处理TikTok本土店订单

做TikTok本土小店不仅要上货快&#xff0c;订单处理效率也得快&#xff01;效率越高&#xff0c;赚钱的速度就比别人要快&#xff01; 想提高订单效率&#xff0c;少不了EasyBoss ERP的帮忙&#xff0c;最近EasyBoss订单处理模块又有新升级&#xff0c;让老板们体验“快到飞起…

给新手项目经理的几点建议

踏入项目管理的新领域&#xff0c;对于每一位新手项目经理而言&#xff0c;都是一次既激动又充满挑战的旅程。在这个过程中&#xff0c;不仅需要掌握扎实的理论知识&#xff0c;还需要在实践中不断积累经验&#xff0c;提升自我。以下是一些针对新手项目经理的实用建议&#xf…

Stable Diffusion绘画 | 图生图-上传重绘蒙版

上传重绘蒙版&#xff0c;可以弥补局部重绘的缺点&#xff0c;能够更精细的修改画面中的指定区域 使用PS制作的蒙版图片为耳朵下方区域&#xff0c;可以为图片中的女生带上不同款式的耳环。 参数配置&#xff1a; 调整提示词&#xff1a; 生成图片如下所示&#xff1a; 调整提…