踩坑一:
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
(本人的服务器支持的 且python=3.8.20)
先nvidia-smi查看自己cuda支持的最高版本,然后去pytorch官网寻找对应的torch、torchaudio、torchvision
https://pytorch.org/get-started/previous-versions/
踩坑二:把从hugging face下载的transformers库重新命名为my_transformers,但是这个库的环境需要python3.9,本人dit环境是python3.8,于是直接在Dit环境里conda install python=3.9,悲催的发现torch全部升级到 了3.9,并且是cpu版本的
解决:
conda remove --name Dit --all 先删除环境
conda create --name py39 python=3.9
conda activate py39
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
单独下载torch包,终于理解先create环境并指定python版本,再安装torch的意义了。。。。
问题1:这个错误通常是由于 Conda 安装包冲突或文件损坏导致的。出现 ClobberError
和路径丢失的提示,可能与 Conda 在安装或更新过程中未能正确处理文件覆盖、文件锁定或缓存文件损坏有关。
尝试conda clean --all
清理内容包括:
Will remove 224 (4.49 GB) tarball(s). Proceed ([y]/n)? y
Will remove 1 index cache(s). Proceed ([y]/n)? y
Will remove 139 (5.99 GB) package(s). Proceed ([y]/n)?
- Tarball:这些是 Conda 在下载包时生成的临时文件,清理它们不会影响已安装的包。
- 索引缓存:这是 Conda 存储的索引信息缓存,用于加速包查找和安装。清理后下次运行 Conda 可能会稍慢,但可以解决一些索引错误。
- 包缓存:这是 Conda 下载的包安装文件缓存,占用了较多空间。清理后会释放大量存储空间,Conda 会在安装时重新下载所需的包。
成功解决,如图torch都是py3.9版本:
目前有两个环境,这两个只有py39可以用于开发transformers库。。。
py39 python=3.9没有下载transformers包
my_transformers python=3.8.20 没有下载transformers包