IPEX-LLM 是一个为Intel XPU (包括CPU和GPU) 打造的轻量级大语言模型加速库，在Intel平台上具有广泛的模型支持、最低的延迟和最小的内存占用。
您可以使用 IPEX-LLM 运行任何 PyTorch 模型（例如 HuggingFace transformers 模型）。在运行过程中，IPEX-LLM利用了低比特优化技术、现代硬件加速技术，和一系列软件优化技术来自动加速LLM。
使用 IPEX-LLM 非常简单。只需更改一行代码，您就可以立即观察到显著的加速效果。
一、前期准备
1、Anaconda
下载网址：清华镜像站
可以安装到默认文件夹，也可以自定义路径。
安装时不要勾选“Add Anaconda to the system PATH environment variable.”，完成后手动新增环境变量PATH。
创建一个python3.9的环境
conda create -n py39_cpu python=3.9
2、pytorch
激活环境
conda activate py39_cpu
安装torch：pytorch官网
conda install pytorch torchvision torchaudio cpuonly -c pytorch // 这种就是直接从国外下载
conda install pytorch torchvision torchaudio cpuonly –c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main // 镜像加速版
也可以采用离线下载的方法：离线下载网址，下载完成后切换到文件所在目录，使用pip install xxx安装。
3、从Huggingface下载模型
可以参考我的另一篇博文
二、CPU
1、安装ipex-llm包
cpu上很简单，一句话搞定
pip install --pre --upgrade ipex-llm[all]
三、GPU
创建一个python3.10的环境
conda create -n py310_gpu python=3.10
激活环境
conda activate py310_gpu
1、安装gpu
这里的GPU是Intel公司出的产品，目前只支持pytorch2.1版本，下载地址
2、visual studio2022
安装visual studio2022“Desktop development with C++”模块
3、Intel® oneAPI Base Toolkit 2024.0
有两种安装方式
离线安装：oneAPI
pip安装
pip install dpcpp-cpp-rt==2024.0.2 mkl-dpcpp==2024.0.0 onednn==2024.0.0
gpu版本的ipex-llm
pip install intel_extension_for_pytorch-2.1.20+git4849f3b-cp310-cp310-win_amd64.whl
pip install torch-2.1.0a0+git7bcf7da-cp310-cp310-win_amd64.whl
pip install torchaudio-2.1.0+6ea1133-cp310-cp310-win_amd64.whl
pip install torchvision-0.16.0+fbb4cc5-cp310-cp310-win_amd64.whlpip install --pre --upgrade ipex-llm[xpu]
