GPU池化技术在油气勘探开发中的应用

01 背景介绍

国内某研究院为实现石油勘探开发专业软件资源的统一管理、统一监控、统一共享和统一计量,自主研发了勘探云管理平台(EPCP)和科研工作业务协同平台。该研究院通过两个平台实现了数十种专业勘探开发软件的共享,种类包括地震资料处理和解释,地质建模,油藏数模,动态分析,采油工程,钻录测试等。

随着科研装备建设项目的完成,新的科研装备正式投产使用,为满足科研人员对地质建模和油藏数值模拟大网格数项目作业的需求,研究院搭建了数值模拟集群,集成了当下主流数值模拟软件包括Petrel RE、Eclipse、Intersect及t-Navigator。新的集群搭建对该院目前现有的GPU集群作业要求大大提高。同时结合以往地震处理软件调用的GPU集群运行结果来看,还存在以下问题:

  • 传统服务器及主机的CPU处理器与GPU卡的强耦合导致地震处理软件及数值模拟软件运行中出现GPU卡资源被闲置。
  • 较为大型的地震处理作业在调用GPU集群资源的过程中会出现服务器GPU资源利用率较低的情况。
  • 大规模的GPU集群设备缺少监控手段,难以统计整个GPU设备集群、单个GPU设备的利用率的情况。

02 原理解释

针对目前某研究院主流的地震处理及油藏数值模拟软件,如何实现算力的按需调度是核心。虽然目前研究院服务器集群中CPU与GPU搭配的计算组合已实现高性能并行计算,但针对对GPU卡运行要求高的Omega及t-Navigator等软件,均是通过物理形式直接调用GPU,GPU并没有像云场景中计算、存储、网络虚拟化一样实现资源池化,GPU的利用率相比于CPU较低。

趋动科技OrionX AI算力池化方案的出现,允许研究院以现有GPU集群为基础建设GPU算力池,从而实现集群内GPU资源的高效灵活调度、减少未来硬件采购成本、节约能耗支出、提升人效物效,且能帮助人工智能技术在石油勘探开发领域的应用落地。

趋动科技OrionX GPU池化方案,通过在物理服务器集群上部署OrionX软件,实现GPU资源池化,可以在个人电脑上通过图形化管理界面或者命令行方式统一灵活调度整个数据中心中的GPU资源。方案具体功能包括:

  • GPU资源池建设,将业务与GPU服务器解耦,统一管理调度不同型号的GPU卡,形成企业级GPU资源池。
  • CPU和GPU解耦,实现通过CPU服务器调用GPU资源池内的GPU资源运行地震处理或数值模拟软件实现“隔空取物”。
  • 动态挂载/释放GPU资源,针对已入池的GPU卡,可以实现业务在运行时从GPU池中动态调用GPU卡资源,业务结束运行后,GPU资源动态释放到GPU资源池。
  • GUI监控界面,通过已高度开发的网页版调度管理器界面进行统一控制,或根据业务特点在服务器节点上通过命令行进行控制。

03 池化方案在石油石化行业的初步应用

依托某研究院科研中心机房较为先进的叶脊架构网络,团队搭建的计算集群实现了GPU池化方案在石油石化行业的初次落地应用。

某研究院机房叶脊网络架构示意图

GPU资源池化方案落地应用集群构成

趋动科技OrionX允许不同品牌、不同操作系统、不同GPU型号参数的低软硬件限制要求,选取m台无GPU卡的超聚变服务器、n台含英伟达A100显卡的浪潮GPU服务器、n台含英伟达V100的联想GPU服务器、以及n台含英伟达K80的曙光GPU服务器搭建集群。在某研究院科研中心叶脊架构网络的支持下,集群内单服务器之间已实现25Gbe网络互通,延迟率非常低。

以某研究院主流的勘探开发业务为目标,分别选取t-Navigator油藏数值模拟软件,Omega2019地震处理软件为运行主体。

· t-Navigator数值模拟

采用某油田demo数模工区内的地质模型,在命令行界面直接启动软件并调用GPU池内的资源。

通过无GPU显卡的服务器,成功调用两块英伟达V100S显卡资源。

· Omega2019时间偏移

使用demo工区内的测试数据体,进行叠前时间偏移作业。

使用一台超聚变服务器,调用两台含有英伟达K80显卡的曙光GPU服务器进行Omega作业。

通过对某研究院主流业务运行的Omega地震资料处理软件,t-Navigator油藏数值模拟软件在部署OrionX的服务器上调用OrionX vGPU资源,成功验证了OrionX池化方案在石油石化行业勘探开发高性能计算的落地应用可行性。

04 解决的问题

在某研究院已有的CPU+GPU服务器计算集群的基础上,将GPU资源池化共享与院方针对勘探开发专业软件的共享方案不谋而合。OrionX的落地应用成功,意味着科研人员无需再对服务器按有无显卡进行区分,大大降低了申请服务器集群资源的门槛,使更多的勘探开发软件有使用集群算力的可能,有助于某研究院有高算力需求科研生产项目的快速实施。

· 通过GPU池的建设来提升GPU资源的综合利用率

GPU卡作为一个附加在计算机当中的设备,本应就是按需调用,动态挂载的形式,用多少挂载多少,不用时释放。但是目前的GPU使用形式多为独占式使用模式,一个业务或者应用会长时间独占一个或多个物理GPU卡,缺乏动态释放机制,缺乏粒度分配能力,致使GPU资源使用率很低,通过OrionX池化后的GPU资源利用率将极大地提升。

· 通过GPU池的建设实现用户GPU业务与GPU物理服务器的解耦

对于一些时间偏移、地质建模、油藏数值模拟等勘探开发专业软件作业运行任务,需要采用多CPU+GPU的方式进行,CPU做大量数据预处理,GPU做并行计算加速。而通常的服务器都是两颗CPU配置一至多块GPU卡,CPU很容易被占满,占满后成为瓶颈,GPU业务往往只能使用多卡中的1到2块,剩余GPU全部闲置,并且业务在调用单块GPU的过程中也是短暂调用,不会长时间利用卡资源。因此,CPU与GPU也应该要解耦,GPU作为一个高速运行的设备,应该拥有更弹性更广阔的调度空间,以便能够在整个数据中心范围内支撑更多的CPU节点。

· 通过GPU池的建设来探索数据中心异构算力资源的管理、调度新模式

石油行业作为国家重点行业,时刻面临着高端芯片“卡脖子”风险,虽然目前英伟达显卡的市场占有率比较高,各种勘探开发专业软件运行也依托于英伟达显卡,国内外大部分生产测试环境中都是不同类型的英伟达显卡。但是随着国产算力芯片厂家的持续发展,可选择的芯片厂商不再局限于英伟达、AMD、英特尔等国外品牌,国产厂家芯片譬如寒武纪MLU、海光DCU均成为可选项。因此,进行基于多种基础架构环境、多种GPU卡类型、多种操作系统的异构环境下GPU池化的探索,实现算力中心复杂的异构环境下的GPU算力的管理、调度新模式,为业务运行带来新的价值

05 结 论

趋动科技OrionX是具有部署方便,兼容性强,可统一调度的优秀GPU池化方案。在油气勘探开发领域可以支撑包括但不限于地震资料处理、地质建模、油藏模拟专业软件高效运行。在英伟达显卡受外国政策限制价格飞涨,库存量急剧下降后,可大幅度提升某研究院现有的显卡资源的使用率和利用率,为研究院未来服务器相关科研装备国产化做出铺垫,节约未来GPU显卡的投资预算。无论是生产效果还是经济规划,在石油石化行业内都将示范和引领作用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/406945.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

汽车冷却液温度传感器

1、冷却液温度传感器的功能 发动机冷却液温度传感器,也称为ECT,是帮助保护发动机,提高发动机工作效率以及帮助发动机稳定运行的非常重要的传感器之一。 发动机冷却液温度 (ECT) 传感器用于测量发动机的冷却液温度&…

【Lecture1】清华大学大模型公开课——大模型绪论

#清华大模型公开课第二季 #OpenBMB 目录 1. The Evolution of Artificial Intelligence --History 人工智能的演变--历史 1.1 Definition of AI --定义 1.2 Conceptualization of AI -- 概念 1.3 Birth of AI as a Discipline 1.4 Development of AI 1.4.1 Symbolic Int…

有哪些好用的AI工具?这些AI工具让工作学习更高效!

大家好!今天我要给大家介绍一些非常酷的AI工具,它们可以帮助你在不同领域发挥创意和提高效率。让我们一起来探索吧! 我们有AI绘画工具。想象一下,你只需要描述一下你想要的画面,AI就能帮你生成各种风格的艺术作品。无论…

Prometheus 服务发现

目录 1.基于文件的服务发现 2.基于 Consul 的服务发现 3.基于 Kubernetes API 的服务发现 1.基于文件的服务发现 基于文件的服务发现是仅仅略优于静态配置的服务发现方式,它不依赖于任何平台或第三方服务,因而也是最为简单和通用的实现方式。 Prometh…

8月21日笔记

Frp Frp(Fast e Reverse ) Proxy) 是一款简单,好用,稳定的隧道工具。Frp 使用 Go语言开发,支持跨平台,仅需下载对应平台的二进制文件即可执行,没有额外依赖。它是一款高性能的反向代理应用,可以轻松地进行…

解决k8s分布式集群,子节点加入到主节点失败的问题

1.问题情况 Master主节点在 使用 kubeadm init 成功进行初始化后,如下所示 Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:mkdir -p $HOME/.kubesudo cp -i /etc/k…

CMakeLists.txt模板

#设置编译该CMakeLists.txt文件所需要的最低cmake版本 CMAKE_MINIMUM_REQUIRED(VERSION 最低版本号)# 该项目名称 PROJECT(项目名称)SET(CMAKE_CXX_STANDARD 11)SET(CMAKE_C_STANDARD 11)# 此行可以理解为将路径下所有的文件装载到自定义集合filelist中 FILE(GLOB filelist &q…

黑神话·悟空修改器免费下载

《黑神话:悟空》是一款备受期待的动作角色扮演游戏,由中国独立游戏开发团队Game Science(游戏科学)开发。 一、修改器下载地址 通过百度网盘分享的文件:黑神话悟空修改器.zip 链接:https://pan.baidu.com/s…

IO进程(7)

目录 1.信号 1.1信号函数 1.1.1信号处理函数 信号的处理过程 2.共享内存 2.1概念 2.2特点 ​​​​​​​​​​​​​​2.3步骤 ​​​​​​​2.4函数接口创建 2.4.1key值 ​​​​​​​​​​​​​​2.4.2创建或打开共享内存 ​​​​​​​​​​​​​​2.4.3映射共享内…

pat1074 k个一组反转链表

是我的错觉吗 直接把%d赋值给数组小标,不能把值副进去? 可是这样可以? 乱套了这 同样的代码 所以暂时将你眼睛闭了起来 所以还是好好老实两次赋值 。。。 写糊了已经 注意这句话 链表中部翻转: 不带dummy真的好麻烦且头…

用Python解决预测问题_多元线性回归模板

多元线性回归是一种统计学方法,用于分析两个或多个自变量(解释变量)与一个因变量(响应变量)之间的关系。在最简单的线性回归模型中,只有一个自变量和一个因变量,它们之间的关系可以用一条直线来…

绿色能源的应用与节约,低碳生活方式指南

在这个全球化的时代,环境问题越来越严重,大家都关注的绿色能源和节约成了热门话题。怎样在日常生活中用好绿色能源,实现低碳生活,是每个环保人士都需要了解的关键问题。这篇文章会详细告诉你绿色能源的使用、优点、节约方法以及低…

msxml*.dll 错误 ‘80072f7d‘ 安全频道支持出错 解决方案

诡异的 msxml6.dll错误 80072f7d安全频道支持出错,用 SSLTools.exe 修复的方法无效!!! ’--------------------------------------------------------------- 有如下简要 ASP 代码,用于获取网页链接返回内容&#xf…

window系统开代理在Conda环境中导致pip安装python包出现timeout

文章目录 1: 临时性配置 pip 代理文件2. 永久性配置 pip 代理文件 在使用 Conda 时,如果你设置了代理,但 pip 仍然无法工作,可能需要确保代理配置正确并适用于 pip。以下是几种可能的解决方法,先看一下报错 WARNING: Retrying (Re…

物联网设备字符串转串口指令-SAAS本地化及未来之窗行业应用跨平台架构

一、指令转换作用 现在服务器一般采用json数据格式 但是终端底层都是二进制指令 直接从服务器传输的指令就无法执行,因此需要转换 二、转换源码 void StringToHandleCommand(byte *byteArray, const char *hexString) {bool oddLength strlen(hexString) &…

【威锋网-注册安全分析报告-无验证方式导致安全隐患】

前言 由于网站注册入口容易被黑客攻击,存在如下安全问题: 1. 暴力破解密码,造成用户信息泄露 2. 短信盗刷的安全问题,影响业务及导致用户投诉 3. 带来经济损失,尤其是后付费客户,风险巨大,造…

实战Kubernetes之快速部署 K8s 集群 v1.28.0

文章目录 一、前言二、主机准备三、系统配置3.1. 关闭防火墙及相关配置3.2. 修改主机名3.3. 主机名DNS解析3.4. 时间同步3.5. 配置网络3.6. 重启服务器 四、安装软件4.1. 安装 Docker4.2. 安装 cri-dockerd4.3. 添加国内YUM源4.4. 安装 kubeadm、kubelet 和 kubectl 五、Master…

jmreport积木报表实战中的设计要点(实时更新)

目录 前言1. 配置数据源2. 数据字典3. excel设计4. 带参数查询 前言 以下为文章记录,主要记录报表工具的使用法则 更加详细的要点推荐阅读: 《数据分析-JiMuReport》积木报表详细入门教程积木报表操作手册 以下为实战中主要的总结要点 1. 配置数据源…

记录一次搭建uniapp-vue3的基础项目

1.使用 HBuilder X 创建uniapp vue3的基础项目 2.安装 自动导包插件 unplugin-auto-import npm install unplugin-auto-import或者 pnpm install unplugin-auto-import2.1 根目录下创建 vite.config.js 复制粘贴以下内容 import { defineConfig } from vite import uni fro…

【握奇数据招聘(北森)-注册/登录安全分析报告】

前言 由于网站注册入口容易被黑客攻击,存在如下安全问题: 1. 暴力破解密码,造成用户信息泄露 2. 短信盗刷的安全问题,影响业务及导致用户投诉 3. 带来经济损失,尤其是后付费客户,风险巨大,造…