牛!手机上轻松部署大模型全攻略!

当前AI革命中,大模型发挥关键角色,其理论基础在于Scaling Law。简单来说就是,随着数据、参数和计算能力的提升,模型能力增强,展现出小规模模型所不具备的“涌现能力”。众多AI企业推出开源大模型,规模按扩展定律实现指数增长。

然而不可忽视另一趋势,大模型体积正逐渐精简,为私有化部署提供可能性。 这在个人隐私保护要求高的场景中尤为重要。无需联网传输数据,直接在设备上运行的AI能增强用户信任。虽然云服务器上的AI可能性能更强,但安全性和可靠性令人担忧。

本文介绍几个适合私有化部署的最新大模型,并提供部署指导,手把手部署到电脑及手机。

一、开源大模型介绍

目前备受瞩目的大型模型,如ChatGPT和Bard,都是基于专有的闭源技术构建的。这无疑限制了它们的应用范围,同时也使技术信息的透明度变得模糊。

然而,开源AI大型模型(LLMs)正逐渐崭露头角,它们不仅增强了数据的安全性和隐私保护,还为用户节省了成本,降低了对外部依赖,实现了代码的透明性和模型的个性化定制。其中,**Meta推出的Llama 3和微软的Phi3是开源大模型中的佼佼者,被誉为“小而美”的模型,且部署起来极为便捷。**这些开源大模型的出现,让我们看到了AI技术更加开放、透明和灵活的未来。

1、Llama 3

Meta 重磅发布两款开源Llama 3 8B与Llama 3 70B模型,供外部开发者免费使用。Meta表示,Llama 3 8B和Llama 3 70B是目前同体量下,性能最好的开源模型。

LLaMA是顶尖的开源模型,众多国内大型模型都基于它构建。经过人类反馈的强化学习(RLHF)微调后,它可以作为聊天机器人,适应多种自然语言生成任务,包括编程。基准测试显示,Llama 3 400B+的实力与Claude超大杯和新版GPT-4 Turbo相近,证明它在顶尖大模型中占据重要地位。

模型链接:https://llama.meta.com/llama-downloads/``GitHub项目地址:https://github.com/meta-llama/llama3

2. Phi-3

Phi是微软AI研究院新推出的开源小型语言模型,适用于商业环境,其特点是小巧高效。Phi系列包括Mini、Small和Medium三种规模。尽管Phi-3-Mini只有3.8B参数,但在关键测试中表现出色,与大型模型如Mixtral 8x7B和GPT-3.5相当,更大的版本在扩展数据集下肯定表现更佳。

Phi-3 技术报告:《一个能跑在手机上的大模型》https://arxiv.org/abs/2404.14219

小结

经过基准测试,Llama 3 8B和Phi3 3.8B小模型均表现出色。尽管它们的规模较小,但它们所采用的优化方法却具有一定的相似性。

**对于大型模型的性能表现,关键因素在于框架、数据和参数。**鉴于参数规模较小,因此在如此小的参数下使用MOE框架并无实际意义。因此,这些模型主要在数据上投入大量精力,通过提高数据的数量或质量来优化小模型的性能。这为未来精简大型模型提供了重要的方向。

所有资料 ⚡️ ,朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》,扫码获取~

👉[CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)]()👈

二、电脑部署的流程

首先介绍下,大模型部署利器Ollama,支持Llama 3、Mistral、Gemma等大型语言模型。

部署大模型只需两步:下载并安装Ollama,然后运行大模型。以Windows为例,从官网或文末下载Ollama,一键安装即可。

官网下载链接 https://github.com/ollama/ollama

安装完Ollama后,然后打开命令行,运行命令【ollama run llama3】 ,就可以下载并运行llama3大模型了(其他模型的运行命令如上),初次下载模型的会比较慢,下载完就可以愉快地对话了。

Ollama还支持其他功能如,图片等多模态输入、传入提示词调教模型等,具体可以看下文档。

三、手机部署的流程

与电脑相比,手机部署大模型意义更大,因为手机与生活更紧密,且手机上有大量个人数据,便于后续交互。现在很多人都有闲置手机,如果性能足够,运行大模型很有吸引力。我的旧手机是小米8,性能还可以。

手机上部署麻烦一些,类似于电脑部署,需要安装配置Linux环境。虽然安卓底层基于Linux内核,但重装Linux很难。不过,我发现了一个神器:Termux,可以在Android设备上运行许多Linux命令和工具。你可以从F-Droid官网下载安装Termux。

官网下载链接:https://github.com/termux/termux-app/releases

安装后打开Termux如下图。(如有要打开多个Linux窗口,左上角右滑点击New session就可以。)

要在手机上部署大模型,使用Termux+Ollama就成了。

首先,通过Termux的proot-distro功能,可以方便地安装一个Linux系统,如Ubuntu、Debian或Arch Linux。这样,在Android设备上就能拥有完整的Linux环境,以安装和运行Linux软件包。

在这里插入图片描述

第二步,同电脑的流程,安装Ollama,下载及运行大模型。

在这里插入图片描述

第一次要下载安装软件及大模型会比较慢,弄个一小时是要的。安装完了,后面都可以直接使用。只要运行login debian系统、Ollama服务、运行大模型后就可以使用了。

在手机上编写代码有种独特的魅力。虽然简陋,但一行行输入代码,看着屏幕上的输出,感觉非常酷。安装远程软件如Tailscale或todesk,用电脑编写代码更有趣。但需要注意,如果算力受限,大模型回复较慢,同时手机也会更耗电。

四、本地大模型的体验

**模型表现:**大模型表现权威的数据可以看一些相关的测评,比如下图。

在此,我对手机本地部署的两个大型模型(llama3和Phi3)进行了简要的测试,并分享了我的个人体验。总体而言,llama3在各项表现中展现出更为稳定的特性,而Phi虽然有时会出现差错,但其响应速度却更胜一筹,使我在综合体验上觉得Phi更为出色。

响应速度,受限于手机或电脑的性能,如果电脑配备了GPU,响应可能会更为流畅。然而,在手机上的回复确实显得有些迟缓,有时甚至需要等待几分钟才能得到几个字的回应。值得注意的是,Phi3的回应速度明显快于llama3。尽管llama3的8B模型规模几乎是Phi3的3.8B模型规模的两倍。

**中文能力方面,**这些开源模型确实存在一定的短板。**当提问一些不常见的问题时,模型在回答过程中可能会突然转向英文。**此外,很多中文表达模糊不清,导致它们讲述的笑话内容也显得尴尬。**这主要是因为高质量的中文数据集远远无法与英文数据集相提并论,这一数据层面的差异在未来很可能会进一步凸显。**在中文任务方面,我觉得llama的表现会比Phi3更为出色。如果你有兴趣,还可以尝试llama的中文变种——llama3-Chinese。

llama3

phi3

**代码能力:**看着都有模有样的,但还是可以看出来Phi3有一些语法错误。

llama3

phi3

**数学推理:**看着都还不错,Phi3感觉更好些。

llama3

phi3

**安全性:**都有不错的合规意识

llama3

phi3

五、结语

尽管当前AI的落地应用尚显稀疏,但技术的成长毕竟需要时间,大型模型的高昂推理成本无疑是其普及的桎梏。

然而,**正是小模型如Llama 3和Phi3的崭露头角,让我们看到了大模型实用化的曙光。**虽然小模型的训练成本较高,但其低廉的推理成本却为整体经济带来显著的节省,特别是在为海量用户提供服务时,高性能的小模型更让AI挣脱了成本的束缚,灵活应用于各种场景。想象一下,能够根据自身需求在本地部署定制化的AI,其魅力不言而喻!

展望未来,相信随着模型优化和定制AI芯片等技术带来的算力提升,更多“小而美”的AI大模型将逐渐融入我们的日常生活,让我们感受AI带来的变革!

如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/393001.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

红黑树的概念和模拟实现[C++]

文章目录 红黑树的概念一、红黑树的性质红黑树原理二、红黑树的优势和比较 红黑树的模拟实现构建红黑树的数据结构定义节点的基本结构和初始化方式插入新节点插入新节点的颜色调整颜色和结构以满足红黑树性质 红黑树的应用场景 红黑树的概念 一、红黑树的性质 红黑树是一种自平…

Redis系列之Redis Sentinel

概述 Redis主从集群,一主多从模式,包括一个Master节点和多个Slave节点。Master负责数据的读写,Slave节点负责数据的查询。Master上收到的数据变更,会同步到Slave节点上实现数据的同步。通过这种架构实现可以Redis的读写分离&…

工具|阅读PDF时鼠标显示为小手中有向下箭头解决方法

由于工作中,会大量阅读PDF文档,如手册,规格书,各种图纸等,因此好用的PDF工具必不可少。我主要习惯用福昕阅读器,标注比较方便。 所以,本文主要以福昕阅读器为主,当然也适用于其他的阅…

Docker Volume(存储卷)

一、认识 1.1 概念 存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立绑定关系。这意味着,在容器中的这个目录下写入数据时,容器会将内容直接写入到宿主机上与此容器建立了绑定关系的目录 在宿主机上的这个…

实验8-1-6 在数组中查找指定元素

本题要求实现一个在数组中查找指定元素的简单函数。 函数接口定义: int search( int list[], int n, int x );其中list[]是用户传入的数组;n(≥0)是list[]中元素的个数;x是待查找的元素。如果找到 则函数search返回…

基于Golang实现Kubernetes边车模式

本文介绍了如何基于 Go 语言实现 Kubernetes Sidecar 模式,并通过实际示例演示创建 Golang 实现的微服务服务、Docker 容器化以及在 Kubernetes 上的部署和管理。原文: Sidecar Pattern with Kubernetes and Go[1] 在这篇文章中,我们会介绍 Sidecar 模式…

软件测试学习笔记

测试学习 1. 测试流程2. Bug的提出什么是bugbug 的描述bug 级别 3. 测试用例的设计什么是测试用例测试用例应如何设计基于需求的设计方法等价类边界值场景法正交表法判定表法错误猜测法 4. 自动化测试回归测试自动化分类 5. 安装 webdriver-manager 和 selenium第一个web自动化…

链表List

简介 STL中的List与顺序表vector类似,同样是一种序列式容器,其原型是带头节点的双向循环链表。 List的使用 list中的接口比较多,此处类似,只需要掌握如何正确的使用,然后再去深入研究背后的原理,已达到可…

基于R语言生物信息学大数据分析与绘图

随着高通量测序以及生物信息学的发展,R语言在生物大数据分析以及数据挖掘中发挥着越来越重要的作用。想要成为一名优秀的生物数据分析者与科研团队不可或缺的人才,除了掌握对生物大数据挖掘与分析技能之外,还要具备一定的统计分析能力与SCI论…

CSDN 僵尸粉 机器人

CSDN 僵尸粉 机器人 1. 前言 不知道什么时候开始每天创作2篇就有1500流量爆光,每次都能收获一些关注和收藏,感觉还是挻开心的感觉CSDN人气还是挻可以的以前各把月一个收藏和关注都没有写的动力了。 2. 正文 后面又连接做了2天的每日创建2篇任务&…

JVM(九)深入解析Java字节码技术与执行模型

这篇文章深入探讨了Java字节码技术,包括字节码的简介、获取字节码清单的方法、解读字节码清单、查看class文件中的常量池信息、查看方法信息、线程栈与字节码执行模型、方法体中的字节码解读、对象初始化指令、栈内存操作指令、局部变量表、流程控制指令、算术运算指…

简单的docker学习 第3章 docker镜像

第3章 Docker 镜像 3.1镜像基础 3.1.1 镜像简介 ​ 镜像是一种轻量级、可执行的独立软件包,也可以说是一个精简的操作系统。镜像中包含应用软件及应用软件的运行环境。具体来说镜像包含运行某个软件所需的所有内容,包括代码、库、环境变量和配置文件等…

加密软件中的RSA和ECC的主要区别是什么

在加密软件中,RSA(Rivest-Shamir-Adleman)和ECC(Elliptic Curve Cryptography,椭圆曲线密码学)是两种广泛使用的非对称加密算法,它们之间存在多个关键区别。 1. 算法基础 RSA:基于大…

汽车网络安全 -- MAC介绍:CMAC与CBC-MAC不能混为一谈

目录 1.什么是MAC 2.CMAC 3.HMAC 4.小结 1.什么是MAC MAC全称Message authentication code,是经过特定算法后产生的一小段数据信息,用于校验某数据的完整性和真实性。在数据传递过程中,可检查其内容是否被更改过,不管更改的原…

Webpack入门基础知识及案例

webpack相信大家都已经不陌生了,应用程序的静态模块打包工具。前面我们总结了vue,react入门基础知识,也分别做了vue3的实战小案例,react的实战案例,那么我们如何使用webpack对项目进行模块化打包呢? 话不多…

路由器IP互联无线对讲系统解决方案

一、项目概况 随着信息化的全面深入发展,各行各业的通信需求日益增长,传统的通信方式无法满足跨网络、跨系统、跨媒介的通信互联互通,打破信息孤岛、提高协同效率,成为当前各行业融合通信的首要任务。尤其大型企业、学校、医院等…

模型优化学习笔记—对比各种梯度下降算法

import mathimport numpy as np from opt_utils import * import matplotlib.pyplot as plt# 标准梯度下降 def update_parameters_with_gd(parameters, grads, learning_rate):L len(parameters) // 2for l in range(1, L 1):parameters[f"W{l}"] parameters[f&q…

自己动手实现scikit库中的fit和transform方法

文本分析第一步要解决的是如何将文本非结构化信息转化为结构化信息,其中最关键的是特征抽取,我们使用scikit-learn库fit和tranform方法实现了文本数据的特征抽取。 但是对于fit和transform,大家可能还是有点迷糊。最近又将《Applied Text An…

如何用一个以太网回环短接器激活以太网接口:以太网短接口制作

在非常特殊的情况下,我们需要在没有接以太网的情况下,使用本地的以太网(有些程序、代码必须上网才能运行)。这时候需要插上一个以太网短接口,骗系统已经插上网线。 制作以太网短接口 以太网短接口的制作非常简单&…

Linux OS:基于阻塞队列的生产者消费者模型

Linux OS:基于阻塞队列的生产者消费者模型 前言一、阻塞队列的大致框架二、生产者向阻塞队列中生产数据三、消费者获取阻塞队列中数据四、总体生产和消费思路及测试代码4.1 单生产单消费4.2 多生产多消费 五、所以代码 前言 阻塞队列是一种常用于实现生产者消费者模…