Windows + Msys 下编译 TensorFlow 2.14

安装基本工具

宁滥毋缺

pacman -S --noconfirm --needed base-devel vim tar wget unzip protobufpacman -S --noconfirm --needed \${MINGW_PACKAGE_PREFIX}-cmake \${MINGW_PACKAGE_PREFIX}-gcc \${MINGW_PACKAGE_PREFIX}-toolchain \${MINGW_PACKAGE_PREFIX}-boost \${MINGW_PACKAGE_PREFIX}-ccache \${MINGW_PACKAGE_PREFIX}-eigen3 \${MINGW_PACKAGE_PREFIX}-gcc-libgfortran \${MINGW_PACKAGE_PREFIX}-gtk3 \${MINGW_PACKAGE_PREFIX}-julia \${MINGW_PACKAGE_PREFIX}-ogre3d \${MINGW_PACKAGE_PREFIX}-python \${MINGW_PACKAGE_PREFIX}-python2 \${MINGW_PACKAGE_PREFIX}-python-pip \${MINGW_PACKAGE_PREFIX}-python-psutil \${MINGW_PACKAGE_PREFIX}-python-idna \${MINGW_PACKAGE_PREFIX}-vtk
pacman -S --noconfirm --needed \${MINGW_PACKAGE_PREFIX}-libpng \${MINGW_PACKAGE_PREFIX}-libjpeg \${MINGW_PACKAGE_PREFIX}-libtiff \${MINGW_PACKAGE_PREFIX}-libwebp \${MINGW_PACKAGE_PREFIX}-dlib \${MINGW_PACKAGE_PREFIX}-ffmpeg \${MINGW_PACKAGE_PREFIX}-harfbuzz \${MINGW_PACKAGE_PREFIX}-lapack \${MINGW_PACKAGE_PREFIX}-openblas \${MINGW_PACKAGE_PREFIX}-opencl-clhpp \${MINGW_PACKAGE_PREFIX}-opencl-headers \${MINGW_PACKAGE_PREFIX}-opencl-icd \${MINGW_PACKAGE_PREFIX}-openmpwget https://mirrors.tuna.tsinghua.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-numpy-1.23.5-1-any.pkg.tar.zst
pacman --noconfirm -U mingw-w64-x86_64-python-numpy-1.23.5-1-any.pkg.tar.zst

安装Bazel

不同tensorflow版本对应的Bazel版本是不同的，提前确定好。

对于 tensorflow 2.14.0，下载安装 Windows 版本 bazel 6.1.2，复制到 C:/Windows/system32 目录或 D:/msys64/mingw64/bin 目录下，改名为 bazel.exe

wget https://github.com/bazelbuild/bazel/releases/download/6.1.2/bazel-6.1.2-windows-x86_64.exe## 国内镜像
wget https://hub.nuaa.cf/bazelbuild/bazel/releases/download/6.1.2/bazel-6.1.2-windows-x86_64.execp bazel-6.1.2-windows-x86_64.exe  /mingw64/bin/bazel.exe

下载 tensorflow

git 克隆后切换到指定版本

git clone --recursive https://github.com/tensorflow/tensorflow.git
cd tensorflow
# switch to the branch you want to build
git checkout r2.14  # r1.9, r1.10, etc.

或下载源码包并解压

wget https://github.com/tensorflow/tensorflow/archive/refs/tags/v2.14.0.zip## 国内镜像
wget https://hub.nuaa.cf/tensorflow/tensorflow/archive/refs/tags/v2.14.0.zip## 解压
unzip v2.14.0.zip

进入tensorflow 目录，编译 & 安装

cd tensorflow-2.14.0./configure  ## 和执行 python configure.py 效果一样## tensorflow:libtensorflow_cc.so
bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package## build install python-package
bazel-bin/tensorflow/tools/pip_package/build_pip_package package/20230912## remove old version and install new package
pip uninstall  tensorflow
pip install package/20230912/tensorflow-*.whl

问题：

github下载超时

将bazel脚本中 github.com链接换成国内github 镜像，加速下载，这里我使用hub.yzuu.cf。

sed -i -e 's#https:\/\/github\.com#https://hub.yzuu.cf#g' \*/*.bzl  */*/*.bzl  */*/*/*.bzl  */*/*/*/*.bzl

但是部分 bazel 脚本会将 github URL 替换成镜像站 URL。

https://github.com/...........

--> https://storage.googleapis.com/mirror.tensorflow.org/github.com/..........

这会造成 https://hub.yzuu.cf/.......... 被转换成 https://storage.googleapis.com/mirror.tensorflow.org/hub.yzuu.cf/...........

所以，当发现这种错误引起的下载失败的话，再将 github镜像 url 转换回原url，继续编译。

sed -i -e 's#https\:\/\/hub\.yzuu\.cf#https://github.com#g' */*.bzl */*/*.bzl */*/*/*.bzl */*/*/*/*.bzl

pip下载超时

可以看看 pip有没有设置镜像URL，如果没有，设置到镜像站，我选用清华镜像站

pip config get global.index-url
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

报错：用户没有权限

执行 os.symlink(target, link_name)时，报告用户没有权限。我即使以管理员执行 msys2也无法解决这个问题。

最后直接用管理员账号登录，重新准备所有环境才解决

报错：Couldn't find undname.exe under。。。

一般是使用的 MSVC版本不合适，我安装 VS2019后这个问题被解决。

BAZEL_VC does not work when vs2019 and vs2022 exist on windows 11. · Issue #14232 · bazelbuild/bazel · GitHub

Auto-Configuration Error: Couldn't find undname.exe under C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\ · Issue #31608 · tensorflow/tensorflow · GitHubb

报错：fatal error C1007: 无法识别的标志“-ReducedOptimizeHugeFunctions”(在“p2”中)

VS2015，VS2017 还不支持这个选项，一定要安装 VS2019。

（VS2022 我没有成功，保留意见）。

参考 tensorflow源码根目录配置文件.bazelrc 的说明

为了保证进入 Msys2界面后 VS2019 编译环境正常，在~/.bashrc 中追加初始化指令，你需要修改为你机器的VS2019安装路径。

"D:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Auxiliary\Build\vcvars64.bat"

报错：ERROR: No matching distribution found for numpy==1.23.5

默认版本不兼容，安装指定版本的 python-numpy

wget https://mirrors.tuna.tsinghua.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-numpy-1.23.5-1-any.pkg.tar.zst
pacman -U mingw-w64-x86_64-python-numpy-1.23.5-1-any.pkg.tar.zst

指定安装包版本

wget https://mirrors.tuna.tsinghua.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-psutil-5.9.5-2-any.pkg.tar.zstwget https://mirrors.tuna.tsinghua.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-idna-3.4-2-any.pkg.tar.zst

报错 : fatal error C1060: 编译器的堆空间不足

限制 bazel 占用资源数。实际使用下来效果改善不大，只能反复编译个几十遍。

bazel build --config=opt \--local_ram_resources=HOST_RAM*.8 \--local_cpu_resources=HOST_CPUS-2  \//tensorflow/tools/pip_package:build_pip_package

写个脚本让bazel自己玩儿去

while true; do bazel  build  --config=opt //tensorflow/tools/pip_package:build_pip_package;ERR=$?[ $ERR -eq 0 ] && break;echo " >> ===========================================   << "echo "   errcode : $ERR";dateecho " >> ===========================================   << "sleep 10;
done