用TensorRT-LLM进行LLama的推理和部署

Deploy an AI Coding Assistant with NVIDIA TensorRT-LLM and NVIDIA Triton | NVIDIA Technical Blog
Quick Start Guide — tensorrt_llm documentation (nvidia.github.io)

使用TensorRT-LLM的源码，来下载docker并在docker里编译TensorRT-LLM；

模型格式先Huggingface转为FasterTransformer；再用TensorRT-LLM将其compile为TensorRT engine；然后可用TensorRT-LLM的C++ runtime来跑推理（或者模型放到Triton Repo上，并指定TensorRT-LLM为backend）

Input的Tokenizing和Output的De-Tokenizing，视作前处理、后处理，创建"Python Model"；整个流程用一个"Ensemble Model"来表示，包含以上两个"Model"以及真正的GPT-Model;

Best Practices for Tuning the Performance of TensorRT-LLM — tensorrt_llm documentation (nvidia.github.io)

LLama:

https://github.com/NVIDIA/TensorRT-LLM/blob/main/examples/llama/README.md

TensorRT-LLM支持很多常用模型；例如：baichuan、internlm、chatglm、qwen、bloom、gpt、gptneox、llama;

convert_checkpoint.py，是每种模型用自己的；run.py，是所有模型共享；

每种模型，支持的技术完善程度不同。

支持LLama的以下功能：

  • FP16
  • FP8
  • INT8 & INT4 Weight-Only
  • SmoothQuant
  • Groupwise quantization (AWQ/GPTQ)
  • FP8 KV CACHE
  • INT8 KV CACHE (+ AWQ/per-channel weight-only)
  • Tensor Parallel
  • STRONGLY TYPED

python convert_checkpoint.py

--tp_size 4   // Tensor-parallel

--pp_size 4  // Pipeline-parallel

Pipeline并行，在某一个GPU忙碌时，其他GPU是否在忙着处理别的batch?

量化相关：

Numerical Precision — tensorrt_llm documentation (nvidia.github.io)

9种量化，对每种模型只支持一部分：

Model

FP32

FP16

BF16

FP8

W8A8 SQ

W8A16

W4A16

W4A16 AWQ

W4A16 GPTQ

Baichuan

Y

Y

Y

Y

Y

Y

Y

Y

Y

BERT

Y

Y

Y

.

.

.

.

.

.

ChatGLM

Y

Y

Y

.

.

.

.

.

.

ChatGLM-v2

Y

Y

Y

.

.

.

.

.

.

ChatGLM-v3

Y

Y

Y

.

.

.

.

.

.

GPT

Y

Y

Y

Y

Y

Y

Y

.

.

GPT-NeMo

Y

Y

Y

.

.

.

.

.

.

GPT-NeoX

Y

Y

Y

.

.

.

.

.

Y

InternLM

Y

Y

Y

.

Y

Y

Y

.

.

LLaMA

Y

Y

Y

Y

Y

Y

Y

Y

Y

LLaMA-v2

Y

Y

Y

Y

Y

Y

Y

Y

Y

LLaMA-v3

Y

Y

Y

Y

Y

Y

Y

Y

Y

Qwen

Y

Y

Y

.

Y

Y

Y

Y

Y

W8A16、W4A16:

Activation都是FP16(或BF16); Weight是INT8、INT4，在计算前反量化为FP16(或BF16)，FP16*FP16-->FP16;

只是使显卡里塞入了size更大的模型；

并没有加快计算（反而因为dequantize weight从INT到FP16，变慢些）

SmoothQuant: (W8A8)

--smoothquant 0.5

惯例做法，是对Activation的行(Token)和Weight的列(Output channel)，进行量化；

观察到的现象：weights矩阵，没有尖刺；activation矩阵，某几列(channel)是尖刺，而且明显能区分尖刺列和非尖刺列，尖刺列所有行(token)的值都大，非尖刺列所有行的值都小；

如果按照Activation的列进行量化，Gemm矩阵乘法不支持；

解决方案：对Activation的“尖刺”列，缩小N倍，对Weight的相应行，增大N倍；二者仍分别用老的Per-Token、Per-Channel来量化；

--gemm_plugin int8 : 使用指定的dtype去计算矩阵乘法，用的是加速库；

--gpt_attention_plugin int8 (默认开启)： 优化key-value cache；"use of efficient CUDA kernels for computing attention scores and values, reducing computation and memory overhead compared to the standard implementation." 看不懂："It allows in-place update of the key-value (KV) cache used for attending to previous tokens, eliminating the need for explicit concatenation operations and further reducing memory consumption"

--remove_input_padding (默认开启)

input batch里，较短句子们，末尾的padding，在正常推理阶段被浪费了。

优化：使用别的句子（下一个batch的），填充这些padding；

--paged_kv_cache (默认开启)

把一部分放不下的keys、values，换出到CPU memory，用的时候再换入；

有选项可以配置kv-cache最大占用的GPU memory比例，建议设为0.95

--context_fmha (默认开启)

"Enabling the fused multi-head attention, during the context phase, will trigger a kernel that performs the MHA/MQA/GQA block using a single kernel"

LLM推理，分为context阶段和generate阶段；context阶段，用一个融合的kernel去执行MHA/MQA/GQA；

--use_fused_mlp

适用于Gated MLP层(将mlp-mixer跟门控机制结合起来。即将输入沿着特征维度分为两半，然后将其中一半传入mlp-mixer，作为另一半的gate)；原本是计算gate是一个矩阵乘法，MLP是一个矩阵乘法；这个优化把2个矩阵乘法融合为1个矩阵乘法；

--multi_block_mode

batch_size * heads_count，小于GPU Stream Multiprocessor数目的一半时，且context input tokens较长(>1000)，则使用这个，可以增加GPU SM的利用率。（似乎是每个SM负责解决1个sample和1个head的乘法，同时无法利用所有SM时，就把其他token的计算也并行？）

类似资料：Flash-Decoding for Long-Context Inference | Princeton NLP Group (princeton-nlp.github.io)

--use_paged_context_fmha

在"--context_fmha"的基础上，允许context kv-cache在GPU和CPU memory之间offload；适合长input context的推理；

Memory footprint计算：

Note that if engine is built with contiguous KV cache (i.e., without the flag --paged_kv_cache), you may need to reduce the max batch size (--max_batch_size) to fit the whole model and the KV cache in the GPU memory. The ballpark estimate for runtime memory consumption is given by

Total memory = (Model size + KV cache size + Activation memory) / Parallelism

where

  • The model size is the number of parameters * the size of data type.
  • The KV cache size is the total number of tokens * the size of KV cache data type * the number of layers * the KV hidden dimension
  • The activation memory is determined by TRT engine, which can be a few GBs regardless of the degree of parallelism used

For LLaMA v2 70B FP16 weights + FP8 KV cache, the model size is 70B parameters * 2 bytes = 140GB. The KV cache size is 32K tokens * 1 bytes * 80 layers * 2048 KV hidden dimension = 5GB per 32K tokens. We have 145GB spread across 8 GPUs. The end result is ~18GB per GPU plus some GBs of flat scratch/activation memory allocated by TRT engine and the TRT-LLM runtime.

Note that the KV hidden dimension is derived by the number of KV heads times hidden dimension of each head. LLaMA v2 70B has hidden dimension of 8192, and uses grouped-query attention where 8 key heads and 8 value heads are associated with 64 query heads. Each head has hidden dimension of 8192/64 = 128. So the hidden dimension for KV in total is 128 * 8 * 2 = 2048.

The total number of tokens is determined by beam width, batch size, and maximum sequence length.

LLama2-70B使用了Grouped Query Attention:

减少了显存占用量；从activation乘以变换矩阵，计算得到Key和Value，只计算N组，减少了计算量； 

--int8_kv_cache

KV cache使用INT8量化，来存放；节约显存；

会使用一部分输入数据，来试跑(calibrate the model)；从而得到Key、Value的取值范围，拿到Scaling factor；

For example, to build LLaMA 70B for 2 nodes with 8 GPUs per node, we can use 8-way tensor parallelism and 2-way pipeline parallelism:

python convert_checkpoint.py --model_dir ./tmp/llama/70B/hf/ \--output_dir ./tllm_checkpoint_16gpu_tp8_pp2 \--dtype float16 \--tp_size 8 \--pp_size 2trtllm-build --checkpoint_dir ./tllm_checkpoint_16gpu_tp8_pp2 \--output_dir ./tmp/llama/70B/trt_engines/fp16/16-gpu/ \--workers 8 \   #启动8个后台线程同时build--gemm_plugin auto

跑多个LoRA ckpt: (有编号，-1表示原始model，0表示luotuo那个，1表示Japanese那个）

git-lfs clone https://huggingface.co/qychen/luotuo-lora-7b-0.1
git-lfs clone https://huggingface.co/kunishou/Japanese-Alpaca-LoRA-7b-v0
BASE_LLAMA_MODEL=llama-7b-hf/python convert_checkpoint.py --model_dir ${BASE_LLAMA_MODEL} \--output_dir ./tllm_checkpoint_1gpu \--dtype float16
trtllm-build --checkpoint_dir ./tllm_checkpoint_1gpu \--output_dir /tmp/llama_7b_with_lora_qkv/trt_engines/fp16/1-gpu/ \--gemm_plugin auto \--lora_plugin auto \--max_batch_size 8 \--max_input_len 512 \--max_output_len 50 \--lora_dir  "luotuo-lora-7b-0.1/" "Japanese-Alpaca-LoRA-7b-v0/" \--max_lora_rank 8 \--lora_target_modules attn_q attn_k attn_vpython ../run.py --engine_dir "/tmp/llama_7b_with_lora_qkv/trt_engines/fp16/1-gpu/" \--max_output_len 10 \--tokenizer_dir ${BASE_LLAMA_MODEL} \--input_text "美国的首都在哪里? \n答案:" "美国的首都在哪里? \n答案:" "美国的首都在哪里? \n答案:" "アメリカ合衆国の首都はどこですか? \n答え:" "アメリカ合衆国の首都はどこですか? \n答え:" "アメリカ合衆国の首都はどこですか? \n答え:" \--lora_task_uids -1 0 1 -1 0 1 \--use_py_session --top_p 0.5 --top_k 0

Streaming LLM: (可以允许无限长度）

--streamingllm enable

--max_attention_window_size=2048

做多向前看多少个token的attention 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/357601.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Eureka 服务注册与发现

Eureka 服务注册与发现

目录 前言 注册中心 CAP 理论 常⻅的注册中心 CAP理论对比 Eureka 搭建 Eureka Server 引⼊ eureka-server 依赖 完善启动类 编写配置⽂件 启动服务 服务注册 引⼊ eureka-client 依赖 完善配置⽂件 启动服务 服务发现 引⼊依赖 完善配置⽂件 远程调⽤ 启动…
阅读更多...
江协科技51单片机学习- p16 矩阵键盘

江协科技51单片机学习- p16 矩阵键盘

🚀write in front🚀 🔎大家好，我是黄桃罐头，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流 🎁欢迎各位→点赞👍 收藏⭐️ 留言📝​…
阅读更多...
web安全渗透测试十大常规项（一）：web渗透测试之JAVA反序列化

web安全渗透测试十大常规项（一）：web渗透测试之JAVA反序列化

渗透测试之PHP反序列化 1. Java反序列化1.1 Java安全-反序列化-原生序列化类函数1.1.1 原生序列化类函数：1.2 Java安全-SpringBoot框架-泄漏&CVE1. Java反序列化 1、序列化与反序列化 序列化：将内存中的对象压缩成字节流 反序列化：将字节流转化成内存中的对象2、为什么…
阅读更多...
数据仓库和数据库有什么区别？

数据仓库和数据库有什么区别？

一、什么是数据仓库二、什么是数据库三、数据仓库和数据库有什么区别 一、什么是数据仓库 数据仓库（Data Warehouse）是一种专门用于存储和管理大量结构化数据的信息系统。它通过整合来自不同来源的数据，为企业提供统一、一致的数据视图&…
阅读更多...
SuiNS发布子名及新命名标准，推动Web3身份结构的进步

SuiNS发布子名及新命名标准，推动Web3身份结构的进步

SuiNS子名是Sui Name Service的强大扩展，最近与新命名标准一起发布。子名允许用户在一个主要的SuiNS名下创建额外的自定义身份，而无需额外费用。用户 gia 可以创建如 gaminggia 或 lendinggia 这样的子名，从而增强个人组织和支持群组与组织的…
阅读更多...
通过Socket通信实现局域网下Amov无人机连接与数据传输

通过Socket通信实现局域网下Amov无人机连接与数据传输

1.局域网下的通信 1.1 局域网 厂家提供的方式是通过Homer图数传工具(硬件)构建的amov局域网实现通信连接. 好处是通信距离足够长,支持150m;坏处是"局部",无法访问互联网. ［ＩＭＡＧＥ：…
阅读更多...
AGV机器人的调度开发分析（1）- 内核中的路线规划

AGV机器人的调度开发分析（1）- 内核中的路线规划

准备开始写一个系列，介绍下AGV机器人的调度的开发和应用。 按照openTCS的核心内容，国内多家广泛应用于AGV的调度。那么架构图如下： Kernel中有一个是Routing，这是路由规划模块，需要实现的细节功能包括如下&#xff1a…
阅读更多...
SpringBoo+vue3+vite整合讯飞星火3.5通过webscoket实现聊天功能（前端代码）附带展示效果

SpringBoo+vue3+vite整合讯飞星火3.5通过webscoket实现聊天功能（前端代码）附带展示效果

访问地址： 天梦星服务平台 (tmxkj.top)https://tmxkj.top/#/site 后端文档： SpringBoovue3整合讯飞星火3.5通过webscoket实现聊天功能（全网首发）附带展示效果_springboot websocket vue3-CSDN博客https://blog.csdn.net/qq_53722…
阅读更多...
2024 年值得推荐的 10 款 iPhone 数据恢复软件

2024 年值得推荐的 10 款 iPhone 数据恢复软件

iPhone 从来都不是一个简单的打电话电话。它就像一台微型电脑，让我们互相联系、拍照、拍视频、发邮件、看文档、看书。然而，随着它成为日常生活的必需品，我们总是容易因各种原因丢失数据，如删除、恢复出厂设置、iOS 错误、文件同步…
阅读更多...
Django之云存储（二）

Django之云存储（二）

一、Django使用云存储 建立项目 django-admin startproject project_demo创建子应用 python manage.py startapp app_name修改配置文件,设置模板视图路径 settings.py TEMPLATES = [{BACKEND: django.template.backends.django.DjangoTemplates,DIRS: [os.path.join(BASE_DIR,…
阅读更多...
【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【13】压力压测JMeter-性能监控jvisualvm

【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【13】压力压测JMeter-性能监控jvisualvm

持续学习&持续更新中… 守破离 【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【13】压力压测JMeter-性能监控jvisualvm 压力测试概述性能指标 JMeter基本使用添加线程组添加 HTTP 请求添加监听器启动压测&查看分析结果JMeter Address Already in use 错误解决 性…
阅读更多...
BFS：解决多源最短路问题

BFS：解决多源最短路问题

文章目录 什么是多源最短路问题？1.矩阵2.飞地的数量3.地图的最高点4.地图分析总结 什么是多源最短路问题？ 多源最短路问题（Multi-Source Shortest Path Problem，MSSP）是图论中的一个经典问题，它的目标是在…
阅读更多...
自动化办公04 使用pyecharts制图

自动化办公04 使用pyecharts制图

目录 一、柱状图 二、折线图 三、饼图 四、地图 1. 中国地图 2. 世界地图 3. 省会地图 五、词云 Pyecharts是一个用于数据可视化的Python库。它基于Echarts库，可以通过Python代码生成各种类型的图表，如折线图、柱状图、饼图、散点图等。 Pyecha…
阅读更多...
Spring-bean

Spring-bean

Spring 网站：spring.io 两个方面： 简化开发： IoCAOP 框架整合： MyBatis SpringFrameWork系统架构（上层依赖下层） 解决问题（代码耦合度高——模块与模块之间的依赖程度） 目标&am…
阅读更多...
HarmonyOS父子组件传递参数

HarmonyOS父子组件传递参数

HarmonyOS父子组件传递参数 1. 使用State和Prop进行父子组件传递———注意是单向同步 Prop装饰器：父子单向同步 注意：只支持单向同步，同时也只能支持string\number\boolean\enum比较简单的类型。 代码 // 使用 props 进行父子组件传值…
阅读更多...
java.io.eofexception:ssl peer shut down incorrectly

java.io.eofexception:ssl peer shut down incorrectly

可能是因为 1)https设置 2）超时设置 FeignConfig.java package zwf.service;import java.io.IOException; import java.io.InputStream; import java.security.KeyStore;import javax.net.ssl.SSLContext; import javax.net.ssl.SSLSocketFactory;import org.apac…
阅读更多...
玄机平台流量特征分析-蚁剑流量分析

玄机平台流量特征分析-蚁剑流量分析

前言 蚁剑的流量特征 (1)每个请求体都存在ini_set(“display_errors”, “0”);set_time_limit(0)开头。并且后面存在base64等字符 (2)响应包的结果返回格式为： 随机数 响应内容 随机数 看一下题目要求 步骤1.1 这里要求我们找到木马的连接密码，…
阅读更多...
如和完全免费快速访问外网？有亿点点不便利罢了

如和完全免费快速访问外网？有亿点点不便利罢了

很鸡肋，但是可以试试 这个手机是真的可以使用谷歌的 不得不说有点意思，但肯定没啥用 地址跳转
阅读更多...
每日签到页面模板组件，简单好用，用了会上瘾的那种

每日签到页面模板组件，简单好用，用了会上瘾的那种

uni-app 是一个使用 Vue.js 开发所有前端应用的框架，开发者编写一套代码，可发布到iOS、Android、Web（响应式）、以及各种小程序（微信/支付宝/百度/头条/飞书/QQ/快手/钉钉/淘宝）、快应用等多个平台。 今日给…
阅读更多...
消息队列MQ相关面试题

消息队列MQ相关面试题

消息队列MQ相关面试题 1 RabbitMQ 1.1 你们项目中哪里用到了RabbitMQ ? 难易程度：☆☆☆ 出现频率：☆☆☆☆ 我们项目中很多地方都使用了RabbitMQ , RabbitMQ 是我们项目中服务通信的主要方式之一 , 我们项目中服务通信主要有二种方式实现 : 通过Fei…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023