基础岛 - 8G显存验证书生·浦语大模型的Demo

因为以前用过LMDeploy，所以本章的内容相对熟悉。
另外，因为教程写的很详细保姆级，所以大多数情况直接复制执行命令即可。开发机的创建略过。

总体验证结论：

  • LMDeploy的模型加载有点慢，但推理速度快，符合预期
  • 新一代视觉-语言多模态大模型InternVL2-2B模型的能力出乎意料的好，作为2B参数模型相当出色
  • Streamlit和Gradio简单高效，配合LLM运用做原型开发很合适，LMDeploy内置支持Gradio

Python环境的准备

在 /root/share/pre_envs 中配置好了预置环境 icamp3_demo
可以通过如下指令进行激活：
conda activate /root/share/pre_envs/icamp3_demo

Cli Demo 部署 InternLM2-Chat-1.8B 模型

首先，创建一个目录，用于存放我们的代码。并创建一个 cli_demo.py。

mkdir -p /root/demo
touch /root/demo/cli_demo.py

然后，我们将下面的代码复制到 cli_demo.py 中。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLMmodel_name_or_path = "/root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""messages = [(system_prompt, '')]print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")while True:input_text = input("\nUser  >>> ")input_text = input_text.replace(' ', '')if input_text == "exit":breaklength = 0for response, _ in model.stream_chat(tokenizer, input_text, messages):if response is not None:print(response[length:], flush=True, end="")length = len(response)

接下来，我们便可以通过 python /root/demo/cli_demo.py 来启动我们的 Demo。
模型加载的的速度有点慢，大约60s后，可以看到输入提示符。

输入问题后，即可以看到回答。提问了如下问题：

  • “请介绍一下你自己”
  • “以乒乓球直拍横打为主题，生成一个300字的小故事”

总的来说，以1.8B参数的能力，还是中规中矩的。
详细如下图：
image.png

Streamlit Web Demo 部署 InternLM2-Chat-1.8B 模型

本章实际是在上一章的基础上，用Streamlit（为什么不用Gradio?）包裹了一层UI，来使用模型。
在模型的使用上没有本质的区别。
执行如下代码来把本教程仓库 clone 到本地，以执行后续的代码。

cd /root/demo
git clone https://github.com/InternLM/Tutorial.git

然后，执行如下代码来启动一个 Streamlit 服务。

cd /root/demo
streamlit run /root/demo/Tutorial/tools/streamlit_demo.py --server.address 127.0.0.1 --server.port 6006

接下来，将端口映射到本地。
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p <远程端口号>
在完成端口映射后，我们便可以通过浏览器访问 http://localhost:6006 来启动我们的 Demo。

把Temp调整到1.0，来激发最大的灵感，还是输入同样的两个问题，看看回答

  • “请介绍一下你自己”
  • “以乒乓球直拍横打为题，生成一个300字的小故事”

效果如下图所示：
image.png

LMDeploy 部署 InternLM-XComposer2-VL-1.8B 模型

InternLM-XComposer2 是一款基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解。其主要特点包括：

  • 自由形式的交错文本图像合成：InternLM-XComposer2 可以根据大纲、详细文本要求和参考图像等不同输入，生成连贯且上下文相关，具有交错图像和文本的文章，从而实现高度可定制的内容创建。
  • 准确的视觉语言问题解决：InternLM-XComposer2 基于自由形式的指令准确地处理多样化和具有挑战性的视觉语言问答任务，在识别，感知，详细标签，视觉推理等方面表现出色。
  • 令人惊叹的性能：基于 InternLM2-7B 的InternLM-XComposer2 在多个基准测试中位于开源多模态模型第一梯队，而且在部分基准测试中与 GPT-4V 和 Gemini Pro 相当甚至超过它们。

LMDeploy 是一个用于压缩、部署和服务 LLM 的工具包，由 MMRazor 和 MMDeploy 团队开发。它具有以下核心功能：

  • 高效的推理：LMDeploy 通过引入持久化批处理、块 KV 缓存、动态分割与融合、张量并行、高性能 CUDA 内核等关键技术，提供了比 vLLM 高 1.8 倍的推理性能。
  • 有效的量化：LMDeploy 支持仅权重量化和 k/v 量化，4bit 推理性能是 FP16 的 2.4 倍。量化后模型质量已通过 OpenCompass 评估确认。
  • 轻松的分发：利用请求分发服务，LMDeploy 可以在多台机器和设备上轻松高效地部署多模型服务。
  • 交互式推理模式：通过缓存多轮对话过程中注意力的 k/v，推理引擎记住对话历史，从而避免重复处理历史会话。
  • 优秀的兼容性：LMDeploy支持 KV Cache Quant，AWQ 和自动前缀缓存同时使用。

LMDeploy 已经支持了 InternLM-XComposer2 系列的部署，但值得注意的是 LMDeploy 仅支持了 InternLM-XComposer2 系列模型的视觉对话功能。
使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。（这次没用Streamlit）。

conda activate /root/share/pre_envs/icamp3_demo
lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1

在使用 Upload Image 上传图片后，我们输入 Instruction 后按下回车，便可以看到模型的输出。

原图为：
200612283440801.jpg

识别速度很快，输出是：

这张图片描绘了一座雄伟的高山，它的雪白山顶和周围白雪皑皑的景象，构成了一幅壮丽的雪景。山脚下有一片翠绿的草地，与山势形成鲜明的对比。
在山腰处，有一些树木和建筑物，它们与周围的环境融为一体，构成一幅宁静而美丽的自然风景。

嗯，第一句非常棒。后面只能说还是有点幻觉的。不过1.8B的模型不能要求太高。

实际的执行图：
image.png

LMDeploy 部署 InternVL2-2B 模型

InternVL2 是上海人工智能实验室推出的新一代视觉-语言多模态大模型，是首个综合性能媲美国际闭源商业模型的开源多模态大模型。InternVL2 系列从千亿大模型到端侧小模型全覆盖，通专融合，支持多种模态。
LMDeploy 也已经支持了 InternVL2 系列模型的部署，使用 LMDeploy 部署 InternVL2-2B 模型。
通过下面的命令来启动 InternVL2-2B 模型的 Gradio 服务。

conda activate /root/share/pre_envs/icamp3_demo
lmdeploy serve gradio /share/new_models/OpenGVLab/InternVL2-2B --cache-max-entry-count 0.1

在完成端口映射后，便可以通过浏览器访问 http://localhost:6006 来启动我们的 Demo。
在使用 Upload Image 上传图片后，我们输入 Instruction 后按下回车，便可以看到模型的输出。

上传了一章中同样的图片，这次的输出相比InternLM-XComposer2-VL-1.8B效果明显好很多。
试了两次，各个部分的细节内容描述非常准确，用语简洁明快。而且还能察觉出整体感（壮丽、雄伟）。
更强的是连右下角的水印都识别并分析出来了。相当厉害，出乎意料。

回答1：
这张图片展示了一座雄伟的山峰，山峰覆盖着厚厚的积雪，山顶呈现出尖锐的锥形。山峰的轮廓清晰，从画面底部延伸到顶部，显示出其高耸入云的气势。
背景是一片蓝天，天空中有些许云彩，云层稀疏，阳光照射在雪山上，使得雪面反射出明亮的光芒。山峰的底部有一些深色的岩石和山脉，
与白雪形成鲜明对比。图片的右下角有文字“WWW.THESI.COM”，表明这张图片可能来源于该网站。回答2：
这张图片展示了一座雄伟的山峰，山峰覆盖着厚厚的积雪，山顶尖锐而陡峭。山峰的轮廓清晰，从画面底部延伸到顶部，显示出其高耸入云的气势。
背景是一片蓝天，天空中有些许云彩，云层稀疏，阳光照射在雪山上，使得雪面反射出明亮的光芒。山峰的底部有一些深色的岩石和山脉，
与白雪形成鲜明对比。图片的右下角有文字“WWW.THESI.COM”，表明这张图片可能来源于该网站。整体画面给人一种壮丽和雄伟的感觉。

实际执行图：
image.png

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/394002.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

第三方软件检测机构服务类型

第三方软件检测机构服务类型

在信息技术飞速发展的今天&#xff0c;软件产品的质量已成为企业竞争力的重要组成部分。卓码软件测评这家第三方软件检测机构致力于提供一流的软件测试服务&#xff0c;帮助企业确保其软件产品的可靠性和安全性。 一、项目验收测试&#xff1a;确保交付质量 　　项目验收测试是…
阅读更多...
【Nuxt】配置

【Nuxt】配置

runtimeConfig 运行时配置 // https://nuxt.com/docs/api/configuration/nuxt-config export default defineNuxtConfig({compatibilityDate: 2024-04-03,devtools: {enabled: true},runtimeConfig: {appKey: process.env.APP_KEY,public: {baseUrl: process.env.BASE_URL,}} …
阅读更多...
suse SLE 12 SP3 安装 GeForce GT 730 显卡驱动

suse SLE 12 SP3 安装 GeForce GT 730 显卡驱动

文章目录 [toc]获取驱动安装显卡驱动验证显卡驱动 获取驱动 浏览器打开 NVIDIA Official Drivers &#xff0c;找到自己对应的驱动&#xff0c;然后查询和下载 安装显卡驱动 下载完成后&#xff0c;有一个 .run 文件&#xff0c;可以直接 bash 执行&#xff0c; bash NVIDIA-Li…
阅读更多...
Java每日一题———删除有序数组中的重复项

Java每日一题———删除有序数组中的重复项

这个问题可以通过使用双指针技术来解决。我们可以使用两个指针&#xff0c;一个慢指针 slowRunner 用于跟踪新数组的末尾&#xff0c;另一个快指针 fastRunner 用于遍历数组。每当 fastRunner 遇到一个新的唯一元素时&#xff0c;就将其复制到 slowRunner 指向的位置&#xff0…
阅读更多...
力扣——11.盛最多水的容器

力扣——11.盛最多水的容器

题目 暴力解 思路&#xff1a; 遍历每一个可能组成的容器&#xff0c;然后计算比较最大值。 代码&#xff1a; int maxArea(vector<int>& height) {int z1 0, z2 0;int len height.size();int val 0;for (z1; z1 < len - 1; z1) {for (z2 z1 1; z2 < l…
阅读更多...
将tsx引入vue

将tsx引入vue

按钮 vue <cl-batch-btn >新增批量</cl-batch-btn> import batch from "//modules/ad/components/ uploading/batch.vue" import ClBatchBtn from "/~/crud/src/components/batch-btn"; tsx
阅读更多...
ViT论文详解

ViT论文详解

文章目录 前言一、ViT理论二、模型结构三、实验结果总结 前言 ViT是谷歌团队在2021年3月发表的一篇论文&#xff0c;论文全称是《AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》一张图片分成16x16大小的区域&#xff1a;使用Transformer进行按比…
阅读更多...
Arch Linux - 2-安装中文输入法

Arch Linux - 2-安装中文输入法

文章目录 2 安装中文输入法2.0 准备2.0.1 前置条件2.0.2 建议 2.1 方案一&#xff1a;RimeIBus2.1.1 安装&配置2.1.2 添加输入法 2.2 方案二&#xff1a;IBusLibpinyin 2 安装中文输入法 2.0 准备 2.0.1 前置条件 预装gnome # 安装 pacman -S gnome# 设置开机自启动 sy…
阅读更多...
【博客22】缤果Android_USB串口调试助手V1.0(高级篇)

【博客22】缤果Android_USB串口调试助手V1.0(高级篇)

超级好用的Android_USB调试助手 ( Android Studio Java) 开发工具: android-studio-2022.2.1.20-windows.exe usb-serial-for-android 目录 一、软件概要&#xff1a; 二、软件界面&#xff1a; 1.App演示 2.其他扩展展示 2.1 USB枚举 2.2 波特率 2.3 自定义指令集 2.…
阅读更多...
8月6日Spring Boot学习笔记

8月6日Spring Boot学习笔记

MyBatis动态SQL 动态 SQL 大大减少了编写代码的工作量&#xff0c;更体现了 MyBatis 的灵活性、高度可配置性和可维护性。 if标签 <if test"判断条件">SQL语句</if> 当判断条件为 true 时&#xff0c;才会执行所包含的 SQL 语句。 choose、when和otherw…
阅读更多...
tomcat文件上传漏洞练习

tomcat文件上传漏洞练习

1、靶场账号注册 vulfocus 注册后邮箱中点击激活 2、首页选择并开启靶场 复制映射的ip和端口 在浏览器输入ip和端口 改成put并把1.jsp中内容复制进去 3打开哥斯拉&#xff0c;连接上面的网址
阅读更多...
【PyTorch】深度学习PyTorch环境配置及安装【详细清晰】

【PyTorch】深度学习PyTorch环境配置及安装【详细清晰】

文章目录 概要步骤Anaconda安装管理环境 安装PyTorchPyTorch环境使用JupyterJupyter简介安装Jupyter及使用 我的部分版本 概要 搭建PyTorch环境用于深度学习 步骤 Anaconda安装 安装详情&#xff1a;https://blog.csdn.net/Q20011102/article/details/127831950 我安装的是…
阅读更多...
书生大模型实战营-入门关卡-Python 基础知识

书生大模型实战营-入门关卡-Python 基础知识

任务&#xff1a; https://github.com/InternLM/Tutorial/blob/camp3/docs/L0/Python/task.md 完成&#xff1a; 任务1&#xff1a;Python实现wordcount import re from collections import defaultdictdef wordcount(text):# 转换为小写并使用正则表达式分割单词words re.…
阅读更多...
【简历】宜春某二本学院：Java简历指导，秋招简历通过率低

【简历】宜春某二本学院：Java简历指导，秋招简历通过率低

简历说明 这是一个25届的二本宜春某学院的这个Java简历&#xff0c;今天看了两个简历&#xff0c;包括前面个985的&#xff0c;也是12306&#xff0c;这个12306已经烂大街&#xff0c;是个人都知道这个项目了&#xff0c;所以不要放在简历上&#xff0c;你不管大厂中厂还是小公…
阅读更多...
【Redis进阶】Redis的持久化RDB和AOF

【Redis进阶】Redis的持久化RDB和AOF

目录 持久化 RDB持久化 概念 原理 RDB 持久化的详细工作流程 1触发持久化&#xff1a; 2创建子进程&#xff1a; 3数据写入 RDB 文件&#xff1a; 4替换旧文件&#xff1a; 5回收子进程&#xff1a; RDB持久化的触发方式 1.手动触发&#xff1a; 2.自动触发&#…
阅读更多...
FFmpeg推流

FFmpeg推流

目录 一. 环境准备 二. 安装FFmpeg 三. 给docker主机安装docker服务 四. 使用 FFmpeg 进行推流测试 FFmpeg是一个非常强大的多媒体处理工具&#xff0c;它可以用于视频和音频的录制、转换以及流处理。在流处理方面&#xff0c;FFmpeg可以用来推流&#xff0c;即将本地媒体…
阅读更多...
【第17章】Spring Cloud之Gateway服务调用

【第17章】Spring Cloud之Gateway服务调用

文章目录 前言一、用户服务二、网关服务1. 负载均衡2. 服务调用3. 登录拦截器 三、单元测试1. 启动服务2. 用户不存在3. 正常登录 总结 前言 在上一章我们使用JWT简单完成了用户认证&#xff0c;【第16章】Spring Cloud之Gateway全局过滤器(安全认证)&#xff0c;上一章内容已…
阅读更多...
端点区间影响

端点区间影响

前言&#xff1a;这一题本来想就是直接来一个前缀和来写&#xff0c;直接左边加一&#xff0c;右边减一&#xff0c;但是细想好像有问题&#xff0c;我们平时做的题目左边端点造成的影响会对这一段区间造成影响&#xff0c;但是这一题的话超过了左边端点就不会有影响了 那这一题…
阅读更多...
vue3-ts：husky + prettier / 代码格式化工具

vue3-ts：husky + prettier / 代码格式化工具

一、Prettier简介 Prettier是一个流行的代码格式化工具&#xff0c;它的主要作用是帮助开发者自动规范化代码的格式&#xff0c;提高代码的可读性和一致性。Prettier通过解析代码并使用自己的规则重新打印它&#xff0c;以确保代码风格的一致性和符合预设的格式化标准。 二、…
阅读更多...
WPF学习（8）- Button按钮

WPF学习（8）- Button按钮

1. 用法解析 Button因为继承了ButtonBase&#xff0c;而ButtonBase又继承了ContentControl&#xff0c;所以&#xff0c;Button可以通过设置Content属性来设置要显示的内容。例如 <Button Content"确定"/>我们使用Button的时机&#xff0c;通常是鼠标点击事件…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023