Linux 离线安装Ollama
前言
不知道为什么 在阿里云服务器上 执行curl -fsSL https://ollama.com/install.sh | sh
一键安装 非常慢
所以只能手动装了
1.到 https://ollama.com/install.sh 下载安装执行文件
修改其中 下载和安装部分代码
if curl -I --silent --fail --location "https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" >/dev/null ; thenstatus "Downloading Linux ${ARCH} bundle"curl --fail --show-error --location --progress-bar \"https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \$SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"BUNDLE=1if [ "$OLLAMA_INSTALL_DIR/bin/ollama" != "$BINDIR/ollama" ] ; thenstatus "Making ollama accessible in the PATH in $BINDIR"$SUDO ln -sf "$OLLAMA_INSTALL_DIR/ollama" "$BINDIR/ollama"fi
elsestatus "Downloading Linux ${ARCH} CLI"curl --fail --show-error --location --progress-bar -o "$TEMP_DIR/ollama"\"https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $OLLAMA_INSTALL_DIR/ollamaBUNDLE=0if [ "$OLLAMA_INSTALL_DIR/ollama" != "$BINDIR/ollama" ] ; thenstatus "Making ollama accessible in the PATH in $BINDIR"$SUDO ln -sf "$OLLAMA_INSTALL_DIR/ollama" "$BINDIR/ollama"fi
fi#将上面这段代码替换为下面这段:
LOCAL_OLLAMA_TGZ="./ollama-linux-${ARCH}.tgz${VER_PARAM}"
if [ -f "$LOCAL_OLLAMA_TGZ" ]; thenstatus "Installing from local file $LOCAL_OLLAMA_TGZ"$SUDO tar -xzf "$LOCAL_OLLAMA_TGZ" -C "$OLLAMA_INSTALL_DIR"BUNDLE=1if [ ! -e "$BINDIR/ollama" ]; thenstatus "Making ollama accessible in the PATH in $BINDIR"$SUDO ln -sf "$OLLAMA_INSTALL_DIR/ollama" "$BINDIR/ollama"fi
elseecho "Error: The local file $LOCAL_OLLAMA_TGZ does not exist."exit 1
fi
2.然后将修改后的install.sh文件上传至/home/Ollama文件夹中
3.到 https://github.com/ollama/ollama/releases/下载对应的包
具体需要什么型号的可通过 lscpu 命令 查看自己的cpu架构
x86_64 CPU 选择下载 ollama-linux-amd64.tgzaarch64|arm64 CPU 选择下载 ollama-linux-arm64.tgz
4.然后就可以执行了
# 执行installl.sh脚本,需要sudo 权限 chmod +x install.sh
./install.sh
# 如果报错误权限不足,执行
chmod +x install.sh
# 如果报错误: bash: ./build_android.sh:/bin/sh^M:解释器错误: 没有那个文件或目录,执行
sed -i 's/\r$//' install.sh
到这里就可以了 运行 ollama run qwen 就可以下载并运行大模型了
需要哪些模型可以到官网参考https://ollama.com/library
5.如果需要对外暴露可以访问 可按照下面操作修改
修改ollama.service配置
在ollama.service 文件中增加 Environment=“OLLAMA_HOST=0.0.0.0:11434”
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="PATH=/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"[Install]
WantedBy=default.target
还可以配置并发
Environment="OLLAMA_NUM_PARALLEL=4" #并行处理请求的数量
Environment="OLLAMA_MAX_LOADED_MODELS=4" #同时加载的模型数量
重新加载 并从新启动
sudo systemctl daemon-reload
sudo systemctl restart ollama
其他常用命令
判断我的模型是否已加载到 GPU 上
ollama ps监控显卡使用状况
watch -d nvidia-smi
参考:https://blog.csdn.net/u010197332/article/details/137604798