今天部署本地版通义千问的时候遇到一个问题。
启动他的cli_demo.py调用的一直都是CPU模式的。
检查cuda已经正确安装，后面发现是torch即PyTorch的安装问题。

我安装torch的时候，用的是默认指令，没有增加别的参数。

检测一下，输出False即是错误的。

>>> import torch
>>> torch.cuda.is_available()
# False

根据网上说的，可以在网上下载cuda118的版本，cuda可以向下兼容

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
https://pytorch.org/get-started/locally/

安装成功后，pip list查看torch的版本后面多了个cu118

再试一下

>>> import torch
>>> torch.cuda.is_available()
# True