PBS 脚本及 运行

PBS 脚本命令的调度

  • PBS 脚本
  • 运行命令
      • **如何跑?**
      • 准备 PBS 脚本?
  • 成品

本文涉及:

  • PBS 命令
  • Shell 命令
  • Python 命令

使用命令行运行作业,需要在 HPC 中放好 PBS 脚本。 如何写一个 PBS 脚本,下面以自己的 PBS 脚本为例。

PBS 脚本

PBS 基本命令

笔记:指定作业名(最大15个字符)

#PBS -N Test

笔记:指定 PBS 系统运行程序的节点名和节点数(如:1 个节点,1 个核心)

#PBS -l nodes=1:ppn=24

笔记:指定 PBS 系统运行 30 小时

#PBS -l walltime=30:00:00

笔记:指定作业的队列为 batch 队列

#PBS -q batch

笔记:设置作业的优先级,范围在-1024 ~ +1023,越大优先级越高

#PBS -p 1022

笔记:该参数指定标准错误输出的位置,缺省的情况下,PBS 系统把标准输出和标准错误输出放在用户qsub 命令提交作业的目录下。

#PBS -o /home/physics/output
#PBS -e /home/physics/output_err

笔记:进入工作目录 $PBS_O_WORKDIR

cd $PBS_O_WORKDIR

笔记:打印作业被 PBS 系统指定的作业号,脚本在执行时的作业名,作业队列信息

echo This jobs is $PBS_JOBID@PBS_JOBNAME@$PBS_QUEUE

笔记:逐行打印作业名字到 Test_01.txt 文件中

echo my job id is $PBS_JOBID | tee Test_01.txt

笔记:逐行打印运行的节点

echo run nodes is followomg: | tee -a Test_01.txt

笔记:将 PBS 系统指定的作业运行的节点名写入到 Test_01.txt

cat $PBS_NPDEFILE | tee -a Test_01.txt

笔记:打印运行的开始时间写入 Test_01.txt

echo begin time is 'date' | tee -a Test_01.txt
id='echo $PBS_JOBID|awk -F. '{print $1}' '

笔记:对使用的核心数进行统计

NP='cat $PBS_NODEFILE|wc -l' 

笔记:export 到本作业的环境变量,使用 ScienceTools 环境

export FERMI_DIR=/public/home/yitingfeng/ScienceTools-v11r5p3-fssc-20180124-x86_64-unknown-linux-gnu-libc2.17/x86_64-unknown-linux-gnu-libc2.17

笔记:找到 FERMI_DIR 下的 fermi-init.sh,使 fermi-init 库生效

source $FERMI_DIR/fermi-init.sh

笔记:运行程序

python gtlike-sourceone-530.py 

笔记:打印结束时间

echo end time is 'date' | tee -a Test_01.txt

运行命令

首先登录 Xshell ,已经登录成功界面:
在这里插入图片描述

以跑易老师的程序为例:
易老师超算中心目录
在这里插入图片描述
在这里插入图片描述

如何跑?

在这里插入图片描述

使用 2 步切换到运行程序目录

cd ~/DCF
cd ./3FGLJ0303.4-2407

提交作业

qsub <PBS作业脚本>

qsub gtlike-fat-532.pbs

生成一个作业号(运行成功的标志)

4309.admin1

查看作业状态

qstat 4309.admin1 (或者 qstat 4309)

取消作业

qdel 4309.admin1

更改作业队列

qmove high 4309.admin1

更改预计的运行时间

qalter -l walltime=50:00:00 4309.admin1

准备 PBS 脚本?


查看服务器所有提交作业状态

qstat

在这里插入图片描述

Job IdnameUserTime UseSQueue
作业标识符 PBS 自动指定作业名用户名作业已经运行的时间作业状态队列名

列出正在运行作业的作业号,作业名,用户,运行时间,队列名信息:

qstat -t

在这里插入图片描述

S作业状态
E退出
Q排队
H挂起
R运行
C结束

交换作业顺序

qorder 4299.admin1 4309.admin1

使用下面的命令查看所有节点运行状态

pestat

在这里插入图片描述

nodestateLoadRhymemncpusAllmemResiusrsTasksJoblist
节点名节点状态节点负载物理内存数 MBcpu / 核心数分配内存数寄存器数用户数作业数作业列表
state表示的具体情况:
excel所有 CPU 资源已经被占用;
busyCPU 已经接近满负荷运行(次选节点);
free全部或部分 CPU 空闲(首选节点);
offl已离线(管理员手动指定离线,谁都用不了)。

查看队列信息:

qstat -q

在这里插入图片描述

Queue说明
middle中间
high高的
batch批量
low低的
defaultAp默认应用程序

列出队列的一些隐藏信息

qstat -Q

在这里插入图片描述


列出 PBS 服务器相关信息:

qstat -B

在这里插入图片描述
只有一个管理员,服务器上有 3 个作业,2 个挂起,1 个正在运行。


成品

#PBS -N Test
#PBS -l nodes=1:ppn=24
#PBS -l walltime=30:00:00
#PBS -q batch
#PBS -p 1022
#PBS -o /home/physics/output
#PBS -e /home/physics/output_err
cd $PBS_O_WORKDIR
echo This jobs is $PBS_JOBID@PBS_JOBNAME@$PBS_QUEUE
echo my job id is $PBS_JOBID | tee Test_01.txt
echo run nodes is followomg: | tee -a Test_01.txt
cat $PBS_NPDEFILE | tee -a Test_01.txt
echo begin time is 'date' | tee -a Test_01.txt
id='echo $PBS_JOBID|awk -F. '{print $1}' '
NP='cat $PBS_NODEFILE|wc -l' 
export FERMI_DIR=/public/home/yitingfeng/ScienceTools-v11r5p3-fssc-20180124-x86_64-unknown-linux-gnu-libc2.17/x86_64-unknown-linux-gnu-libc2.17
source $FERMI_DIR/fermi-init.sh
python gtlike-sourceone-530.py 
echo end time is 'date' | tee -a Test_01.txt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/34293.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Cloud LoadBalancer 原理与实践

背景 当前我们的微服务架构基于Spring Cloud Alibaba体系&#xff0c;通过定制NacosRule实现了跨集群访问和灰度发布功能。但随着Spring Cloud与Nacos版本升级&#xff0c;官方已弃用Ribbon转向LoadBalancer&#xff0c;这要求我们完成以下技术升级&#xff1a; 负载均衡机制…

TMS320F28P550SJ9学习笔记13: 软件I2C_驱动AT24Cxx存储芯片

今日尝试配置软件I2C通信&#xff0c;我的目标通信芯片是AT24C64&#xff0c;相较于AT24C02这样的8位寻址&#xff0c;它是16位寻址的&#xff0c;所以有些不同 文章提供测试代码讲解、完整工程下载、测试效果图 目录 软件I2C引脚初始化&#xff1a; C内联函数改变SCL与SDA的输…

电子电气架构 --- 分布到集中的动カ系统及基于域控制器的架构

我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 所有人的看法和评价都是暂时的,只有自己的经历是伴随一生的,几乎所有的担忧和畏惧,都是来源于自己的想象,只有你真的去做了,才会发现有多快乐。…

1216走迷宫

1216走迷宫 ⭐️难度&#xff1a;简单 &#x1f31f;考点&#xff1a;bfs &#x1f4d6; &#x1f4da; import java.util.Arrays; import java.util.LinkedList; import java.util.Queue; import java.util.Scanner;public class Main {public static void main(String[] …

【TMS570LC4357】之相关问题及解决

背景&#xff1a; 第一次接触TI的芯片&#xff0c;对其中遇见的问题或者不清楚的地方做个记录。 问题及解决方法 1.头文件未包含 添加对应头文件 解决方法 2. error #10008-D: cannot find file “C:/ti/Hercules/SafeTI Diagnostic Library/2.4.0/libs/SafeTILib_TMS570LC…

Vue 中 this 使用指南与注意事项

文章目录 1. this 的基本概念1.1 Vue 实例中的 this1.2 this 指向问题 2. 常见问题与解决方案2.1 生命周期钩子中的 this2.2 方法中的 this2.3 回调函数中的 this 3. 高级用法与技巧3.1 使用箭头函数3.2 绑定 this3.3 使用闭包 4. 性能优化与调试4.1 性能优化策略4.2 调试技巧 …

odbus TCP转Modbus RTU网关快速配置案例

Modbus TCP 转Modbus RTU网关快速配置案例 在工业自动化领域&#xff0c;Modbus 协议以其简洁和高效而著称&#xff0c;成为众多设备通信的首选。 随着技术的发展和应用场景的变化&#xff0c;Modbus 协议也发展出了不同的版本&#xff0c;其中 Modbus TCP 和 Modbus RTU 是两种…

共享内存通信效率碾压管道?System V IPC原理与性能实测

个人主页&#xff1a;敲上瘾-CSDN博客 进程通信&#xff1a; 匿名管道&#xff1a;进程池的制作&#xff08;linux进程间通信&#xff0c;匿名管道... ...&#xff09;-CSDN博客命名管道&#xff1a;命名管道——进程间通信-CSDN博客 目录 一、共享内存的原理 二、信道的建立 …

【net1】tcp,route,iptables,macvlan

文章目录 1.局域网:CSMA/CD2.互联网:ARP,NAT,路由表比映射表复杂3.tcp协议:telnet,tcpdump,syn/accept队列4.linux的route指令:route add4.1 案例:从ubuntu机器ping 199.199.199.199,配置路由使能通5.防火墙iptables:(ip+tables)对网络上数据包通过表的形式进行规…

如何用Deepseek制作流程图?

使用Deepseek制作流程图&#xff0c;本质上是让AI根据你的需求&#xff0c;生成相关流程图的代码&#xff0c;然后在流程图编辑器中渲染&#xff0c;类似于Python一样&#xff0c;ChatGPT可以生成代码&#xff0c;但仍需在IDE中执行。 你知道绘制流程图最高效的工具是什么吗&a…

基于PySide6与CATIA Automation的批量截图处理系统开发实践

引言 本文完整实现了基于PySide6 GUI框架与CATIA Automation技术的批量截图处理系统。系统支持对CATIA文件&#xff08;.CATPart/.CATProduct&#xff09;的自动化截图、图像优化及批量导出&#xff0c;通过模块化架构设计实现了超过200%的效率提升。本文将从技术架构、核心算…

【PyQt5】【Visual Studio】环境配置

前言 最近爱上搞软件编程&#xff0c;今天我就来教学如何进行Python软件编程PyQt5 下载工具 编程环境配置 Visual Studio Python下载最新版本就行 下载完之后呢&#xff0c;简单配置一下环境&#xff0c;Visual Studio的Python环境配置教程有很多可以自己在网上找 我这有Py…

uniapp+vue实现购物车的左滑删除功能

左滑删除 删除功能利用透明的改变在显示删除按钮实现思路代码效果展示 利用scroll滑动容器来实现代码实现效果展示 我们在移动端的电商平台中&#xff0c;一般都是左滑后然后删除按钮出现&#xff0c;用户可以点击删除按钮来进行该商品的删除&#xff0c;这里我分享两种方法来达…

CSSHTML新特性

HTML5 新特性探秘 在 Web 开发的不断演进中&#xff0c;HTML5 带来了一系列令人振奋的新特性&#xff0c;极大地提升了网页的功能和用户体验。今天&#xff0c;我们就来深入探究一下这些新特性。 语义化标签&#xff1a;让网页结构更清晰 语义化标签是 HTML5 的一大亮点。在…

网络爬虫【简介】

我叫补三补四&#xff0c;很高兴见到大家&#xff0c;欢迎一起学习交流和进步 今天来讲一讲爬虫 一、网络爬虫的定义 网络爬虫&#xff08;Web Crawler&#xff09;&#xff0c;又称为网络蜘蛛、网络机器人等&#xff0c;是一种按照一定规则自动抓取互联网信息的程序或脚本。它…

数字隔离器,如何提升储能系统的安全与效能?

随着全球对光伏、风电等可再生能源需求的持续增长&#xff0c;在全球能源转型的浪潮中&#xff0c;储能技术凭借着可平衡能源供需、提高能源利用效率等优势&#xff0c;已成为实现 “双碳” 目标的核心支撑。据国家能源局公布数据显示&#xff0c;截至2024年底&#xff0c;我国…

AI玩Flappy Bird || 基于Q-Learning和DQN的机器学习

一、游戏介绍 Flappy Bird 游戏需要玩家控制一只小鸟越过管道障碍物。玩家只可以进行“跳跃”或者“不操作”两种操作&#xff0c;即点或不点。点则让小鸟上升一段距离&#xff0c;不点小鸟继续下降。若小鸟碰到障碍物或地面&#xff0c;则游戏失败。 本项目目的是开发一个深层…

【Linux内核系列】:文件系统收尾以及软硬链接详解

&#x1f525; 本文专栏&#xff1a;Linux &#x1f338;作者主页&#xff1a;努力努力再努力wz &#x1f4aa; 今日博客励志语录&#xff1a; 世界上只有一种个人英雄主义&#xff0c;那么就是面对生活的种种失败却依然热爱着生活 内容回顾 那么在之前的学习中&#xff0c;我们…

【eNSP实战】三层交换机使用ACL实现网络安全

拓图 要求&#xff1a; vlan1可以访问Internetvlan2和vlan3不能访问Internet和vlan1vlan2和vlan3之间可以互相访问PC配置如图所示&#xff0c;这里不展示 LSW1接口vlan配置 vlan batch 10 20 30 # interface Vlanif1ip address 192.168.40.2 255.255.255.0 # interface Vla…

Trae与Builder模式初体验

说明 下载的国际版&#xff1a;https://www.trae.ai/ 建议 要选新模型 效果 还是挺不错的&#xff0c;遇到问题反馈一下&#xff0c;AI就帮忙解决了&#xff0c;真是动动嘴&#xff08;打打字就行了&#xff09;&#xff0c;做些小的原型效果或演示Demo很方便呀&#xff…