【大模型学习】私有大模型部署（基础知识）

私有大模型

优点

保护内部隐私

缺点

成本昂贵
难以共享
难以更新

大模型底座

基础知识点

知识库

知识库是什么？
知识库的作用是什么？

微调

增强大模型的推理能力

AI Agent

代理，与内部大模型进行交互

开源 and 闭源

是否可以查看源代码、二次开发

开源项目的优点
1、免费
2、高度定制化
3、社区支持
开源社区：Github、魔搭社区

开源项目的缺点
1、技术难度
2、没有官方支持

开源大模型（可商用）
1、GPT
2、LLAMA2
3、ChatGLM2

闭源项目的优点
1、易于使用
2、更少的技术问题

闭源项目的缺点
1、成本
2、不可定制性

两者的区别
1、可见与不可见
2、自由与不自动
3、社区与公司

提示词

大模型参数量大
提示词清洗和筛选优化反馈内容

作用
1、更精确的答案
2、多样性
3、控制输出风格

3个环节（浅层）
1、明确目标
2、优化提示
3、评估和迭代

两个核心技术
N-gram
深度学习

大模型是什么

LLM
使用大数据训练，拥有庞大参数量的深度学习模型。

提示词

Prompt
向模型提供的指令或问题，引导模型的输出。

提示词工程

测试、评估、更新、迭代

构建原则
1、清晰和明确的指令
2、给模型思考的时间（足够的上下文、情境）

提示词结构
1、上下文
2、命令
3、输入数据
4、输出格式

计算机基础知识

目录指的是文件夹

命令行工具：PowerShell、cmd

云服务器

通过网络连接一台功能强大的电脑。

云服务器厂商：阿里云、腾讯云、AutoDL

Ubuntu 22.04

Linux

基础操作

sudo （管理员权限）
sudo -i （切换管理员账号）
sudo apt update （更新软件包索引）
sudo apt upgarde （更新软件包）
sudo apt install 软件包名字（下载安装包）

ls （查看当前目录下文件）
ls -a （查看隐藏文件）

cd （切换当前目录下文件）
cd … （返回上一级目录）
cd ~ （返回根目录也就是root目录）

vi （vi编辑器）

rm （删除文件）
rm -r (删除目录里的所有文件)

mkdir （新建目录）

Git

Git是一个分布式版本控制系统，用于跟踪文件的变化和协作开发项目。它允许多人在同一项目上同时工作，轻松管理和合并代码更改，并记录每次代码变更的历史。 Git是由Linus Torvalds为了管理Linux内核开发而创建的，现在已经成为许多项目的标准版本控制工具。

git （git工具）
sudo apt install git （安装工具）
git clone 网址（克隆项目，也就是复制别人的代码）
git lfs pull （拉起大文件）
sudo apt-get install git-lfs (需要安装)
git lfs install （初始化lfs）
git lfs ls-files （检查文件完整性性）

conda & pip

Conda和pip都是Python包管理工具，但它们有一些不同之处。
Conda是Anaconda发行版中的包管理器，它不仅可以管理Python包，还可以管理其他语言的包和依赖项。Conda还可以创建和管理虚拟环境，使得在同一系统上可以轻松地管理不同版本的软件包。
pip是Python的官方包管理器，用于安装和管理Python包。pip主要用于管理Python包，不具备像Conda那样的环境管理功能，但可以结合虚拟环境工具（如virtualenv）一起使用来实现类似的功能。

conda （虚拟环境工具）
conda create -name xxx python= （创建虚拟环境）
conda init （初始化）
conda activate （激活环境）

pip （安装python依赖）
pip install
python（执行python脚本）
python3（执行脚本，用python3）

Docker

Docker是一个开源的平台，用于开发、交付和运行应用程序。它允许开发者将应用程序及其依赖项打包到一个称为容器的轻量级、可移植的容器中，从而实现快速部署和跨平台运行。
docker（docker工具）
docker ps （查看运行中的服务）
docker images （查看拉去好的服务，包含运行中的和未运行的）
docker-compose up -d （用docker-compose启动服务）
docker-compose down （停止服务）
docker-compose restart （重启服务）
docker restart （重启docker服务）
docker run （运行一个新的docker）
docker start （启动服务）
docker stop （停止服务）
docker --version，docker-compose --version（查看版本，也可以用来查看是否安装成功）
docker rm bisheng_rt_v001（删除服务）
docker restart $(docker ps -q）（重启所有服务）