手机上运行AI大模型(Deepseek等)

最近deepseek的大火,让大家掀起新一波的本地部署运行大模型的热潮,特别是deepseek有蒸馏的小参数量版本,电脑上就相当方便了,直接ollama+open-webui这种类似的组合就可以轻松地实现,只要硬件,如显存,RAM足够,参数量合适,速度还可以接受。本地部署的意义在于,一是可以数据不上网,让一些私密的数据有所保障,二是可以实现一些在线限制的功能。

在手机上运行的意义,其实更多可能是玩玩,但是,随着LLM技术的发展,已经手机硬件正在赶超PC和服务器,或许在未来,手机上就可以实现电脑上同样的功能。小编收集了几种手机上部署运行的方法,分享给大家。

鸿蒙/安卓/IOS:使用MNN大模型App *** 多模态

有一说一,在大模型开源方面,阿里做得也是很棒地,在deepseek没有火爆之前,它应该是最棒的中国开源大模型公司,deepseek的蒸馏小模型,也用了qwen系列,为中国公司点赞!

安装就比较简单啦,直接下载App,然后下载模型运行即可,所说速度是比ollama要快一些,有阿里自已开发的架构。暂时发现只有安卓的编译好的下载地址:https://meta.alicdn.com/data/mnn/mnn_llm_app_debug_0_1.apk

安卓:MLC-MiniCPM *** 多模态

和下面的一样,但是,这个是国内公司的大模型,下载什么的更方便。MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列模型,前段时间曾经有斯坦福大学的人抄袭了这个公司的产品,也是让外国人重新认识了国内的技术水平。

下载地址:https://openbmb.oss-cn-hongkong.aliyuncs.com/model_center/mobile/android/MiniCPM-2.0.apk
## 安卓/IOS:MLCChat *

下载APK: https://ghfast.top/https://github.com/mlc-ai/binary-mlc-llm-libs/releases/download/Android-09262024/mlc-chat.apk

如果下载不成功,网络连接错误,可以先打开https://ghproxy.link/,替换https://ghfast.top/网址为可用的即可。另外从官网看,这个App是直接从抱抱脸官方下载模型的,可能会网络错误,当然国内有镜像站,https://hf-mirror.com/ 不确定如何替换。

IOS: fullmoon **

Fullmoon是一款专为iOS设备设计的应用程序,旨在提供与本地大语言模型进行私密聊天的功能。该应用优化了Apple Silicon,支持在iPhone、iPad和Mac上运行。用户的聊天记录会被本地保存,并且可以自定义应用的外观。Fullmoon利用了Apple的MLX Swift框架,这是一个用于在Apple Silicon上进行机器学习研究的数组框架。该应用支持多种语言模型,包括Llama 3.2 1B、Llama 3.2 3B和DeepSeek-R1-Distill-Qwen-1.5B-4bit。

安卓:termux + ollama * 门槛稍高

安装termux App

Termux 是用于安卓的终端模拟器,安卓6.0以上机型,应用商店搜“Termux”安装即可。手机一般选轻量版1.5b就差不多了(8G RAM),16G RAM的应该可以选大点的。

在termux中安装 Ollama

手机安装好 Termux 后输入 Ollama Termux 一键安装脚本的命令,如下:

先更新

pkg update && pkg upgrade

然后使用一键脚本命令安装ollama

wget https://github.com/Dev-ing-ing/ollama-termux/releases/download/v1.0.0/ollama-installer.sh && bash ollama-installer.sh

部署DeepSeek, 在 Termux 命令启动 Ollama 服务器:

ollama serve

最后,安装 DeepSeek 模型,手机端建议选择 1.5b 模型,输入如下命令:

ollama run deepseek-r1:1.5b

就可以在命令行愉快地玩耍啦!

img

你还知道哪些方法,欢迎分享沟通呀!

参考

  1. https://www.aisharenet.com/fullmoon/
  2. https://github.com/alibaba/MNN/
  3. https://mp.weixin.qq.com/s/EdWJqkRyvXW0Y_QOwcEtlQ
  4. https://mp.weixin.qq.com/s/sK_5oi0yHt48Y0kfmIQVZA
  5. https://github.com/OpenBMB/mlc-MiniCPM/blob/main/README-ZH.md

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/13117.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java进阶学习之路

Java进阶之路 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 目录 Java进阶之路前言一、Java入门 Java基础 1、Java概述 1.1 什…

SpringBoot使用 easy-captcha 实现验证码登录功能

文章目录 一、 环境准备1. 解决思路2. 接口文档3. redis下载 二、后端实现1. 引入依赖2. 添加配置3. 后端代码实现4. 前端代码实现 在前后端分离的项目中,登录功能是必不可少的。为了提高安全性,通常会加入验证码验证。 easy-captcha 是一个简单易用的验…

Android 常用命令和工具解析之Battery Historian

Batterystats是包含在 Android 框架中的一种工具,用于收集设备上的电池数据。您可以使用adb bugreport命令抓取日志,将收集的电池数据转储到开发机器,并生成可使用 Battery Historian 分析的报告。Battery Historian 会将报告从 Batterystats…

如何安装PHP依赖库 更新2025.2.3

要在PHP项目中安装依赖,首先需要确保你的系统已经安装了Composer。Composer是PHP的依赖管理工具,它允许你声明项目所需的库,并管理它们。以下是如何安装Composer和在PHP项目中安装依赖的步骤: 一. 安装Composer 对于Windows用户…

DeepSeek各版本说明与优缺点分析

DeepSeek各版本说明与优缺点分析 DeepSeek是最近人工智能领域备受瞩目的一个语言模型系列,其在不同版本的发布过程中,逐步加强了对多种任务的处理能力。本文将详细介绍DeepSeek的各版本,从版本的发布时间、特点、优势以及不足之处&#xff0…

【机器学习与数据挖掘实战】案例11:基于灰色预测和SVR的企业所得税预测分析

【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈机器学习与数据挖掘实战 ⌋ ⌋ ⌋ 机器学习是人工智能的一个分支,专注于让计算机系统通过数据学习和改进。它利用统计和计算方法,使模型能够从数据中自动提取特征并做出预测或决策。数据挖掘则是从大型数据集中发现模式、关联…

InnoDB和MyISAM的比较、水平切分和垂直切分、主从复制中涉及的三个线程、主从同步的延迟产生和解决

InnoDB和MyISAM的比较 事务支持: InnoDB支持:支持事务 (ACID 属性)。支持 Commit、Rollback 和 Savepoint 操作。适合需要事务处理的应用,例如银行系统。MyISAM:不支持事务。每次操作都是自动提交,不能回滚或中止。适合对事务要求…

【免费】2007-2019年各省科技支出占一般公共预算支出的比重数据

2007-2019年各省科技支出占一般公共预算支出的比重数据 1、时间:2007-2019年 2、来源:国家统计局、统计年鉴 3、指标:行政区划代码、地区名称、年份、科技支出占一般公共预算支出的比重 4、范围:31省 5、指标解释&#xff1a…

tkvue 入门,像写html一样写tkinter

介绍 没有官网&#xff0c;只有例子 安装 像写vue 一样写tkinter 代码 pip install tkvue作者博客 修改样式 import tkvue import tkinter.ttk as ttktkvue.configure_tk(theme"clam")class RootDialog(tkvue.Component):template """ <Top…

哪些专业跟FPGA有关?

FPGA产业作为近几年新兴的技术领域&#xff0c;薪资高、待遇好&#xff0c;吸引了大量的求职者。特别是对于毕业生&#xff0c;FPGA领域的岗位需求供不应求。那么&#xff0c;哪些专业和FPGA相关呢&#xff1f; 哪些专业跟FPGA有关&#xff1f; 微电子学与固体电子学、微电子科…

pytorch实现门控循环单元 (GRU)

人工智能例子汇总&#xff1a;AI常见的算法和例子-CSDN博客 特性GRULSTM计算效率更快&#xff0c;参数更少相对较慢&#xff0c;参数更多结构复杂度只有两个门&#xff08;更新门和重置门&#xff09;三个门&#xff08;输入门、遗忘门、输出门&#xff09;处理长时依赖一般适…

【大数据技术】搭建完全分布式高可用大数据集群(Hadoop+MapReduce+Yarn)

搭建完全分布式高可用大数据集群(Hadoop+MapReduce+Yarn) jdk-8u361-linux-x64.tarhadoop-3.3.6.tar.gz注:请在阅读本篇文章前,将以上资源下载下来。 写在前面 本文主要介绍搭建完全分布式高可用集群Hadoop+MapReduce+Yarn的详细步骤。 注意: 统一约定将软件安装包存放…

移动机器人规划控制入门与实践:基于navigation2 学习笔记(一)

课程实践: (1)手写A*代码并且调试,总结优缺点 (2)基于Gazebo仿真,完成给定机器人在给定地图中的导航调试 (3)使用Groot设计自己的导航行为树 掌握一门技术 规划控制概述 常见移动机器人

两种文件类型(pdf/图片)打印A4半张纸方法

环境:windows10、Adobe Reader XI v11.0.23 Pdf: 1.把内容由横排变为纵排&#xff1a; 2.点击打印按钮&#xff1a; 3.选择打印页范围和多页&#xff1a; 4.内容打印在纸张上部 图片&#xff1a; 1.右键图片点击打印&#xff1a; 2.选择打印类型&#xff1a; 3.打印配置&am…

JS-对象-BOM

BOM 概念:Browser Object Model 浏览器对象模型&#xff0c;允许|avaScript与浏览器对话&#xff0c;JavaScript 将浏览器的各个组成部分封装为对象 组成: Window : 浏览器窗口对象 Navigator : 浏览器对象 Screen : 屏幕对象 History : 历史…

Pytest+selenium UI自动化测试实战实例

今天来说说pytest吧&#xff0c;经过几周的时间学习&#xff0c;有收获也有疑惑&#xff0c;总之最后还是搞个小项目出来证明自己的努力不没有白费。 环境准备 1 确保您已经安装了python3.x 2 配置python3pycharmselenium2开发环境 3 安装pytest库pip install p…

Linux中的基本指令(二)

一、移动和重命名指令mv 1.1基本作用及使用规范 基本作用是进行文件的移动和重命名&#xff0c;使用规范如&#xff1a; mv src[目录/文件]dst[路径/文件] 回车 1.2三种不同的作用 通过在src部分和dst部分写入不同的内容&#xff0c;来实现文件的移动和重命名的等不同功能…

Redis背景介绍

⭐️前言⭐️ 本文主要做Redis相关背景介绍&#xff0c;包括核心能力、重要特性和使用场景。 &#x1f349;欢迎点赞 &#x1f44d; 收藏 ⭐留言评论 &#x1f349;博主将持续更新学习记录收获&#xff0c;友友们有任何问题可以在评论区留言 &#x1f349;博客中涉及源码及博主…

【高阶数据结构(一)】:LRU Cache

LRU Cache 一、LRU Cache概念二、LRU Cache的实现三、实现 一、LRU Cache概念 LRU&#xff08;Least Recently Used&#xff09;最近最少使用&#xff0c;是一种cache替换算法。Cache的容量是优先的&#xff0c;当容量达到上限时&#xff0c;如果还有新的数据需要插入&#xff…

R语言 | 使用 ComplexHeatmap 绘制热图,分区并给对角线分区加黑边框

目的&#xff1a;画热图&#xff0c;分区&#xff0c;给对角线分区添加黑色边框 建议直接看0和4。 0. 准备数据 # 安装并加载必要的包 #install.packages("ComplexHeatmap") # 如果尚未安装 library(ComplexHeatmap)# 使用 iris 数据集 #data(iris)# 选择数值列&a…