Windows 下编译 TensorFlow 2.9.1 CC库

     参考 Intel 的 tensorflow 编译指导,不过项目还是可以用 TF原本的,不是一定要选择Intel 的TF版本。

安装 MSVC 2019

安装 Intel OneDNN  OneMKL

似乎也可以不安装  ( @ & @ )

https://www.intel.cn/content/www/cn/zh/developer/articles/tool/oneapi-standalone-components.html#onednn

安装 Python 

    TensorFlow文档一般都是推荐安装Python3.8,但高一点版本也没关系,我用的是 Python 3.10.11 。

    安装 pip 和其他工具。 pip的安装不记得了,应该不难。    

python -m ensurepip --default-pip

    安装 numpy 等模块,numpy肯定需要,其他的也可以在编译错误提示的时候安装。

pip install idna
pip install numpy
pip install psutil

安装 Msys2 及 基本工具

    下载 MSYS2-x86_64-20231026.exe 并安装。

     安装开发有关的包,宁滥毋缺。其实 TF的编译不在 MSYS2环境中,就是利用 MSYS2提供的工具。

pacman -S --noconfirm --needed base-devel vim tar wget unzip protobufpacman -S --noconfirm --needed \${MINGW_PACKAGE_PREFIX}-cmake \${MINGW_PACKAGE_PREFIX}-gcc \${MINGW_PACKAGE_PREFIX}-toolchain \${MINGW_PACKAGE_PREFIX}-boost \${MINGW_PACKAGE_PREFIX}-ccache \${MINGW_PACKAGE_PREFIX}-eigen3 \${MINGW_PACKAGE_PREFIX}-gcc-libgfortran \${MINGW_PACKAGE_PREFIX}-grpc \${MINGW_PACKAGE_PREFIX}-gtk3 \${MINGW_PACKAGE_PREFIX}-julia \${MINGW_PACKAGE_PREFIX}-dlfcn \${MINGW_PACKAGE_PREFIX}-ogre3d \${MINGW_PACKAGE_PREFIX}-python \${MINGW_PACKAGE_PREFIX}-vtk
pacman -S --noconfirm --needed \${MINGW_PACKAGE_PREFIX}-libpng \${MINGW_PACKAGE_PREFIX}-libjpeg \${MINGW_PACKAGE_PREFIX}-libtiff \${MINGW_PACKAGE_PREFIX}-libwebp \${MINGW_PACKAGE_PREFIX}-dlib \${MINGW_PACKAGE_PREFIX}-ffmpeg \${MINGW_PACKAGE_PREFIX}-harfbuzz \${MINGW_PACKAGE_PREFIX}-lapack \${MINGW_PACKAGE_PREFIX}-openblas \${MINGW_PACKAGE_PREFIX}-opencl-clhpp \${MINGW_PACKAGE_PREFIX}-opencl-headers \${MINGW_PACKAGE_PREFIX}-opencl-icd \${MINGW_PACKAGE_PREFIX}-openmp

安装Bazel

    不同tensorflow版本对应的Bazel版本是不同的,提前确定好。

    对于 tensorflow 2.9.1,下载安装 Windows 版本 bazel 5.4.0,复制到 C:\Program Files\Bazel-5.4.0 或 D:\Bazel-5.4.0 目录,改名为 bazel.exe。

## 官方下载
wget https://github.com/bazelbuild/bazel/releases/download/5.4.0/bazel-5.4.0-windows-x86_64.exe
## 国内镜像
wget https://hub.nuaa.cf/bazelbuild/bazel/releases/download/5.4.0/bazel-5.4.0-windows-x86_64.exe

下载 tensorflow 

git 克隆后切换到指定版本

git clone --recursive https://github.com/tensorflow/tensorflow.git
cd tensorflow
# switch to the branch you want to build
git checkout r2.9.1  # r1.9, r1.10, etc. 

或下载源码包并解压

## 官网地址
wget https://github.com/tensorflow/tensorflow/archive/refs/tags/v2.9.1.zip## 国内镜像
wget https://hub.nuaa.cf/tensorflow/tensorflow/archive/refs/tags/v2.9.1.zip## 解压
unzip v2.9.1.zip

编译 TF 2.9.1 

     在开始菜单中点击“Developer Command Prompt for VS 2019” 进入 MSVC2019 命令行环境。

     进入tensorflow 目录,将下面脚本写入 build_TF2.9.1.bat 批处理文件 。

BAZEL_DIR:指向你的 bazel执行文件所在目录

OUT_DIR : 通过 bazel 参数 --output_base=指定的编译工作目录,不指定的话会指向 C:\Users\yourname\_bazel_compiler\<hashcode>,对C盘容量是巨大的挑战,特别是你同时编译几个版本的时候。

其他参数就看你实际的安装路径了。

set BAZEL_DIR=D:\Program Files\Bazel-5.4.0
set OUT_DIR=D:\TF2.9.1_OUTset MSYS64_BASPATH=D:\msys64set BAZEL_SH=%MSYS64_BASPATH%\usr\bin\bash.exe
set BAZEL_VS=D:\Program Files (x86)\Microsoft Visual Studio
set BAZEL_VC=D:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC
set TF_VC_VERSION=16.6set OneMKL_DIR=D:\Program Files (x86)\Intel\oneAPI\mkl\2023.2.0set PYTHON_3_10=C:\Users\Administrator\AppData\Local\Programs\Python\Python310set GIT_PATHS=D:\Program Files\Git\cmd;D:\Program Files\Git\usr\binset PATH=%PYTHON_3_10%;%PYTHON_3_10%\Scripts;%OneMKL_DIR%\;%BAZEL_DIR%;%MSYS64_PATHS%;%MSYS64_BASPATH%\usr\bin;%GIT_PATHS%;%PATH%python configure.pybazel --output_base=%OUT_DIR%  build --announce_rc --config=opt --config=mkl --define=no_tensorflow_py_deps=true --local_cpu_resources=5  //tensorflow:tensorflow_cc.dllbazel --output_base=%OUT_DIR%  build --announce_rc --config=opt --config=mkl --define=no_tensorflow_py_deps=true --local_cpu_resources=5  //tensorflow:tensorflow_framework.dll

    执行这个批处理文件就好了。生成路径如下图

问题:

github下载超时

 将bazel脚本中 github.com链接换成国内github 镜像,加速下载,这里我使用https://hub.nuaa.cf,你看到的时候这个镜像大概率不能用了,自己搜一个就好。

sed -i -e 's#https:\/\/github\.com#​​​​​​​​​​​​​​https://hub.nuaa.cf#g' \*/*.bzl */*/*.bzl */*/*/*.bzl */*/*/*/*.bzl \*/*.py  */*/*.py  */*/*/*.py  */*/*/*/*.py

但是部分 bazel 脚本会将 github  URL 替换成 镜像站 URL。

  https://github.com/...........

   -->  https://storage.googleapis.com/mirror.tensorflow.org/github.com/..........

这会造成  https://hub.yzuu.cf/.......... 被转换成  https://storage.googleapis.com/mirror.tensorflow.org/hub.yzuu.cf/...........

所以,当发现这种错误引起的下载失败的话,再将 github镜像 url 转换回原url,继续编译。

sed -i -e 's#​​​​​​​​​​​​​​https:\/\/hub\.nuaa\.cf#https://github.com#g' \*/*.bzl */*/*.bzl */*/*/*.bzl */*/*/*/*.bzl \*/*.py  */*/*.py  */*/*/*.py  */*/*/*/*.py

pip下载超时

可以看看 pip有没有设置镜像URL,如果没有,设置到镜像站,我选用清华镜像站

pip config get global.index-url
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

报错:用户没有权限

执行 os.symlink(target, link_name)时,报告用户没有权限。我即使以管理员执行 msys2也无法解决这个问题。

最后 直接用管理员账号登录,重新准备所有环境才解决

报错:Couldn't find undname.exe under。。。

一般是使用的 MSVC版本不合适,我安装 VS2019后这个问题被解决。

BAZEL_VC does not work when vs2019 and vs2022 exist on windows 11. · Issue #14232 · bazelbuild/bazel · GitHub

Auto-Configuration Error: Couldn't find undname.exe under C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\ · Issue #31608 · tensorflow/tensorflow · GitHubb

报错:fatal error C1007: 无法识别的标志“-ReducedOptimizeHugeFunctions”(在“p2”中)

 VS2015,VS2017 还不支持这个选项,一定要安装 VS2019。

(VS2022 我没有成功,保留意见)。

参考 tensorflow源码根目录配置文件.bazelrc 的说明

为了保证进入 Msys2界面后 VS2019 编译环境 正常,在~/.bashrc 中追加初始化指令,你需要修改为你机器的VS2019安装路径。

"D:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Auxiliary\Build\vcvars64.bat"

报错:ERROR: No matching distribution found for numpy==1.23.5

 默认版本不兼容,安装指定版本的 python-numpy

wget https://mirrors.tuna.tsinghua.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-numpy-1.23.5-1-any.pkg.tar.zst
pacman -U mingw-w64-x86_64-python-numpy-1.23.5-1-any.pkg.tar.zst

指定安装包版本

wget https://mirrors.tuna.tsinghua.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-psutil-5.9.5-2-any.pkg.tar.zstwget https://mirrors.tuna.tsinghua.edu.cn/msys2/mingw/x86_64/mingw-w64-x86_64-python-idna-3.4-2-any.pkg.tar.zst

报错 : fatal error C1060: 编译器的堆空间不足

限制 bazel 占用资源数。实际使用下来效果改善不大,只能反复编译个几十遍。

bazel build --config=opt \--local_ram_resources=HOST_RAM*.8 \--local_cpu_resources=HOST_CPUS-2  \//tensorflow/tools/pip_package:build_pip_package

 报错 :无法打开 legalize_tf_xla_call_module_to_stablehlo_pass.obj.params

 windows下 有MAX_PATH=260 的限制,--output_base 设置编译输出路径尽量短小就好。 

报错:“prefix_sum_shifted”: 未声明的标识符

tensorflow/compiler/tf2xla/kernels/where_op.cc(242): error C2065: “prefix_sum_shifted”: 未声明的标识符 

 解决方法:在 MSys2 命令行界面中对报错文件执行 unix2dos 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/184047.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux的常见指令(三)

目录 一、管道 | 二、find 三、which 四、grep 五、zip/unzip 六、alias 七、输出重定向与输入重定向 1、echo 2、输出重定向 3、输入重定向 八、tar 九、bc 十、uname -r 十一、热键 一、管道 | 我们首先创建一个下面这样的文件 前面我们知道了使用head和tail分…

【T690 之十二】基于方寸EVB2开发板(T690芯片)构建基于GMSSL的文件系统的方式

备注&#xff1a; 1&#xff0c;假设您已对方寸微电子的T690系列芯片的使用方式都有了一定的了解&#xff0c;然后需要构建基于GMSSL的文件系统&#xff0c;此文才对您有意义&#xff1b; 2&#xff0c;若您对方寸微电子的T690芯片不了解&#xff0c;但想进一步了解它&#xff…

YOLOv8-Cls推理详解及部署实现

目录 前言一、YOLOv8-Cls推理(Python)1. YOLOv8-Cls预测2. YOLOv8-Cls预处理3. YOLOv8-Cls推理 二、YOLOv8-Cls推理(C)1. ONNX导出2. YOLOv8-Cls预处理3. YOLOv8-Cls推理 三、YOLOv8-Cls部署1. 源码下载2. 环境配置2.1 配置CMakeLists.txt2.2 配置Makefile 3. ONNX导出4. 源码修…

GoLong的学习之路(二十一)进阶,语法之并发(go最重要的特点)(协程的主要用法)

并发编程在当前软件领域是一个非常重要的概念&#xff0c;随着CPU等硬件的发展&#xff0c;我们无一例外的想让我们的程序运行的快一点、再快一点。Go语言在语言层面天生支持并发&#xff0c;充分利用现代CPU的多核优势&#xff0c;这也是Go语言能够大范围流行的一个很重要的原…

云闪付支付接口的技术实现方式

&#xff08;一&#xff09;整体框架。      云闪付的整体架构如图 1 所示&#xff0c;总体与原有的支付清算体系相同&#xff0c;只是增加了云端支付平台、移动应用平台和移动应用。云端支付平台主要对移动应用端的限制密钥进行更新和管理&#xff0c;同时对云端支付账户进…

k8s存储卷

目录 1、emptyDir存储卷 2、hostPath存储卷 3、nfs共享存储卷 4、PVC 和 PV 4.1 PV和PVC之间的相互作用遵循这个生命周期&#xff1a; 4.2 PV的状态 4.3 一个PV从创建到销毁的具体流程如下&#xff1a; 静态PVC&#xff1a; 动态PVC 1、emptyDir存储卷 当Pod被分配给节…

把wpf的窗体保存为png图片

昨晚在stack overflow刷问题时看到有这个问题&#xff0c;今天早上刚好来尝试学习一下 stack overflow的链接如下&#xff1a; c# - How to render a WPF UserControl to a bitmap without creating a window - Stack Overflow 测试步骤如下&#xff1a; 1 新建.net frame…

Banana Pi BPI-M6开源硬件开发板介绍以及与 Raspberry Pi 5 的比较

Banana Pi BPI-M6 Banana Pi BPI-M6是Banana-Pi组织最新开发的一款类似于Raspberry Pi的单板计算机&#xff0c;具有相同的尺寸格式和相似的功能。 今天我想向您介绍这些功能&#xff0c;并将它们与新的 Raspberry 5 提供的功能进行一些比较。 Raspberry Pi是英国 Raspberry P…

黑马程序员项目-黑马点评

黑马点评1 短信登录 基于Session实现登录流程 发送验证码&#xff1a; 用户在提交手机号后&#xff0c;会校验手机号是否合法&#xff0c;如果不合法&#xff0c;则要求用户重新输入手机号 如果手机号合法&#xff0c;后台此时生成对应的验证码&#xff0c;同时将验证码进行…

计算机毕业设计java+springboot+vue的旅游攻略平台

项目介绍 本系统结合计算机系统的结构、概念、模型、原理、方法&#xff0c;在计算机各种优势的情况下&#xff0c;采用JAVA语言&#xff0c;结合SpringBoot框架与Vue框架以及MYSQL数据库设计并实现的。员工管理系统主要包括个人中心、用户管理、攻略管理、审核信息管理、积分…

群晖管家+内网穿透实现公网远程访问本地黑群晖

白嫖怪狂喜&#xff01;黑群晖也能使用群晖管家啦&#xff01; 文章目录 白嫖怪狂喜&#xff01;黑群晖也能使用群晖管家啦&#xff01;1.使用环境要求&#xff1a;2.下载安装群晖管家app3.随机地址登陆群晖管家app4.固定地址登陆群晖管家app 自己组装nas的白嫖怪们虽然也可以通…

3.JMeter高级使用-让你与众不同

目录 概述插件下载与安装插件下载配置插件 服务器硬件资源监控(精简版)配置服务端代理JMeter配置监控CPU监控网络 JMeter下载结束 概述 今日目标&#xff1a; 插件下载与安装Basic Graphs 主要点 Average Response Time 平均响应时间Active Threads 活动线程数Successful/Fai…

EOCR-3E420,3EZ,3DE电机保护器与变频器配合使用的方法

上海韩施电气自动化设备有限公司提供 在工业现场中&#xff0c;电动机的起动与运行很多时候需要变频器参与其中&#xff0c;以达到降低电机维护成本、增加电机寿命的目的。采用变频器运转时&#xff0c;随着电机的加速相应提高频率和电压&#xff0c;起动电流被限制在 150%额定…

C++编程案例讲解-使用类模板封装数组类

使用类模板封装数组类 案例描述&#xff1a;实现一个通用的数组类 可以对内置的数据类型以及自定义数据类型的数据进行存储将数组中的数据存储到堆区构造函数中可以传入数组的容量提供对应的拷贝函数以及operator防止浅拷贝问题提供尾插法和尾删法对数组中的数据进行增加和删除…

第12章 PyTorch图像分割代码框架-2

模型模块 本书的第5-9章重点介绍了各种2D和3D的语义分割和实例分割网络模型&#xff0c;所以在模型模块中&#xff0c;我们需要做的事情就是将要实验的分割网络写在该目录下。有时候我们可能想尝试不同的分割网络结构&#xff0c;所以在该目录下可以存在多个想要实验的网络模型…

Spring Cloud - 通过 Gateway webflux 编程实现网关异常处理

一、webflux 编程实现网关异常处理 我们知道在某一个服务中出现异常&#xff0c;可以通过 ControllerAdvice ExceptionHandler 来统一异常处理&#xff0c;即使是在微服务架构中&#xff0c;我们也可以将上述统一异常处理放入到公共的微服务中&#xff0c;这样哪一个微服务需要…

【Hadoop】YARN容量调度器详解

&#x1f984; 个人主页——&#x1f390;开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客 &#x1f390;✨&#x1f341; &#x1fa81;&#x1f341;&#x1fa81;&#x1f341;&#x1fa81;&#x1f341;&#x1fa81;&#x1f341; &#x1fa81;&#x1f341;&am…

【Vue.js】Vue3全局配置Axios并解决跨域请求问题

系列文章目录 文章目录 系列文章目录背景一、部署Axios1. npm 安装 axios2. 创建 request.js&#xff0c;创建axios实例3. 在main.js中全局注册axios4. 在页面中使用axios 二、后端解决跨域请求问题方法一 解决单Contoller跨域访问方法二 全局解决跨域问题 背景 对于前后端分离…

[架构之路-254/创业之路-85]:目标系统 - 横向管理 - 源头:信息系统战略规划的常用方法论,为软件工程的实施指明方向!!!

目录 总论&#xff1a; 一、数据处理阶段的方法论 1.1 企业信息系统规划法BSP 1.1.1 概述 1.1.2 原则 1.2 关键成功因素法CSF 1.2.1 概述 1.2.2 常见的企业成功的关键因素 1.3 战略集合转化法SST&#xff1a;把战略目标转化成信息的集合 二、管理信息系统阶段的方法论…

『MySQL快速上手』-④-表的操作

文章目录 1.创建表2.查看表结构3.修改表4.删除表 1.创建表 语法格式如下&#xff1a; CREATE TABLE table_name ( field1 datatype, field2 datatype, field3 datatype ) character set 字符集 collate 校验规则 engine 存储引擎;说明&#xff1a; field 表示列名&#xff1…