shell中的正则表达式、编程-grep、编程-SED、以及编程-AWK

正则表达式RE

用来处理文本

正则表达式(Regular Expression, RE)是一种字符模式, 用于在查找过程中匹配指定的字符. 在大多数程序里, 正则表达式都被置于两个正斜杠之间;
例如/l[oO]ve/就是由正斜杠界定的正则表达式, 它将匹配被查找的行中任何位置出现的相同模式. 在正则表达式中,元 字符是最重要的概念
元字符使正则表达式具有处理能力。所谓元字符就是指ß那些在正则表达式中具有特殊意义的专用字符,可以用来规定 其前导字符(即位于元字符前面的字符)在目标对象中的出现模式。

正则表达式基本元字符

基本正则表达式元字符
元字符
示例                                 功能
^                                      行首定位符
^love(匹配以love开头)

$                                      行尾定位符
love$(匹配以love结尾)

.                                       匹配单个字符
l..e  (匹配以中间为任何字符且l开头e结尾)

*                                       匹配前导符0到多次       全部匹配    grep "o*" /etc/passwd
ab*love(匹配ab开头love结尾)

.*                                      匹配任意多个字符  (贪婪匹配

[ ]                                      匹配方括号中任意一个字符
[lL]ove(匹配love或Love)

[ - ]                                    匹配指定范围内的一个字符
[a-z0-9]ove            

[^]                                     匹配不在指定组里的字符
[^a-z0-9]ove

\                                       用来转义元字符
love\.                  

\<                                      词首定位符 #由数字或字母组成的
\<love
​        
\>                                      词尾定位符
love\>

正则表达式拓展元字符

= 等于 != 不等于  =~  匹配
扩展正则表达式元字符
+                                        匹配一个或多个前导字符
[a-z]+ove

?                                        匹配零个或一个前导字符
lo?ve
"r.*t"                                  贪婪匹配
-P "r.*?"                            非贪婪匹配

a|b                                     匹配a或b
love|hate

()                                        组字符loveable|rs
love(able|rs) ov+ ov+ (ov)+
(oo)+                                  两个oo出现一次或者多个

(..)(..)\1\2                            标签匹配字符  #
(love)able\1er

x{m}                                   字符x重复m次
o{5}
o{,3}                                   字符最多出现3次
x{m,}                                  字符x重复至少m次
o{5,}                                   字符最少出现5次

x{m,n}                                字符x重复m到n次
o{5,10}                               字符o重复5到10次

shell 编程-grep

常见参数
egrep 支持正则表达式的拓展元字符 (或grep  -E)
grep -v  除它

配合正则练习

例:
编辑文件lianxi.txt内容如下
Two roads diverged in a yellow wood,

And sorry I could not travel both

And be one traveler, long I stood

And looked down one as far as I could

To where it bent in the undergrowth;

Then took the other, as just as fair,

And having perhaps the better claim,

Because it was grassy and wanted wear;

Though as for that the passing there

Had worn them really about the same,

And both that morning equally lay

In leaves no step had trodden black.

Oh, I kept the first for another day!

Yet knowing how way leads on to way,

I doubted if I should ever come back.

I shall be telling this with a sigh

Somewhere ages and ages hence:

Two roads diverged in a wood,and I—

I took the one less traveled by,

And that has made all the difference.

1、从文本中查找包含字符串"yellow"的行
grep  "yellow" lianxi.txt

2、从文本中查找包含字符串"travel"或"traveler"的行
egrep  'travel|traveler'   lianxi.txt

3、从文本中查找以字母"T"开头的行
grep "^T" lianxi.txt

4、从文本中查找以字母";"结尾的行
grep ";$" lianxi.txt

5、从文本中查找包含单词"fair"的行
grep   "<fair"   lianxi.txt

6、从文本中查找以字母"i"和字母'e'结尾的行
grep "[ie]$" lianxi.txt

7、从文本中查找包含两个字母"o"的行
egrep  "o{2}"  lianxi.txt

8、从文本中查找包含三个或更多连续字母"o"的行
egrep   "o{3,}"   lianxi.txt

9、从文本中查找以大写字母开头的单词的行
grep  "^[A-Z]" lianxi.txt

10、从文本中查找以小写字母开头的单词,但不包含大写字母的单词的行

egrep "^[a-z]" lianxi.txt | egrep -v [A-Z]

11、从文本中查找至少包含一个数字的行
grep "[0-9]" lianxi.txt

12、从文本中查找所有"n"的前导字符不是"i"和"k"的所有内容
egrep "[^ki]n" lianxi.txt

shell 编程-SED(流文本编辑器)


非交互式编辑器,一次处理一行内容。


sed "参数"  '模式'

常用参数  
-f 指定一个规则文件
-n 阻止输入行输出
-r 扩展正则

常用模式
s 替换  
g 整行(也可以是数字,替换第几个)
d 删除
p 打印
a 追加
i 是插入
#sed 's/新值/旧值/' 文件名

使用多重指令时用;隔开:
# sed 's/新值/旧值/; s/新值/旧值/' 文件名

使用脚本文件:
脚本:namestate
-f<script文件>或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
$ sed -f namestate 文件名
保存输出:
$ sed -f namestate 文件名 > 对文件脚本后生成的新文件名
阻止输入行自动显示:
$ sed -n 's/MA/Massachusetts/p' file1.txt

sed流编辑器用法及解析

sed: stream editor(流编辑器)的缩写. 它们最常见的用法是进行文本的替换.
实用案例:

删除文件的第1行
#sed '1d'  文件名

删除文件的第1到2行
#sed '1,2d'   文件名

删除第2行到最后一行
#sed '2,$d'   文件名

匹配到root,删除此行
#sed '/root/d' 文件名

匹配到root行,到某一行
#sed '/root/,2d' 文件名

删除奇数行
#sed '1~2d'  文件名

删除偶数行
#sed '0~2d' 文件名

运用正则配合练习

拷贝/etc/passwd 文件到/opt下练习
cat -n /etc/passwd >> /opt/passwd
cd /opt/

1. 显示passwd文件的3-9行:
   sed -n "3,9p" passwd

2. 显示包含oo字符串的行到包含gin字符串的行:
sed '/oo/,/gin/p' passwd

3. 在文件第一行添加haha,文件结尾添加yesyes:
    sed -i '1i\haha' passwd
    sed -i '$a\yesyes' passwd

4. 用hahaha替换oo,打印前20行:
    sed -i 's/oo/hahaha/g' passwd
   sed -n '1,20p' passwd

5. 删除空行和以#开头的行:
 sed -i '/^$/d;/^#/d' passwd

6. 取出一个文件路径的目录名称:
    echo $( cd $( dirname $0 ) ; pwd)

7. 在第8行下面插入hahaha第10行上面插入lalala:
    sed -i '8a\hahaha;' passwd
    sed -i '10i\lalala' passwd

8. 删除10到20行最后一个字符:
    sed -i '10,20s/.$//g' passwd
9. 文件中出现所有sbin都被替换成hahaha,只有发生变化的行才被打印:
    sed -i "s/sbin/hahaha/gp" passwd

10. 解除文件注释,并删除4-6行:
    sed -i 's/^#//g' passwd
    sed -i '4,6d' passwd
11. 删除1-3行并用root替换sbin:
    sed -i '1,3d' passwd
    sed -i 's/sbin/root/g' passwd

12. 删除1-8行并打印1-20行:
    sed -i '1,8d' passwd -e sed -n '1,20p' passwd

13. 删除所有包含var的行:
    sed -i '/var/d' passwd

14. 把10行以后的末尾加上cloud:
    sed -i '10,$ s/$/cloud/g' passwd
15. 打印第1到10行,删除5行后面所有的行:
    sed -n '1,10p' passwd && sed -i '5,$d' passwd 
16. 将字符串/var替换成/hahaha,打印10,20行:
    sed -i 's/var/hahaha/g' passwd && sed -n "10p;20p" passwd

shell 编程-AWK

awk是行处理器: 相比较屏幕处理的优点,在处理庞大文件时不会出现内存溢出或是处理缓慢的问题,通常用来格式化文本信息

awk处理过程: 依次对每一行进行处理,然后输出 默认分隔符是空格或者tab键

awk 参数 'BEGIN{处理之前要做的} {处理内容} END{处理之后的内容}
BEGIN{}
行处理前
{处理内容}
END{}
行处理 行处理后

awk工作原理
awk -F":" '{print $1,$3}' /etc/passwd
(1)awk使用一行作为输入,并将这一行赋给变量$0,每一行可称作为一个记录,以换行符结束

(2)然后,行被:分解成字段,每个字段存储在已编号的变量中,从$1开始

(3)awk如何知道空格来分隔字段的呢?因为有一个内部变量FS来确定字段分隔符,初始时,FS赋为空格或者是tab

(4)awk打印字段时,将以设置的方法,使用print函数打印,awk在打印的字段间加上空格,因为$1,$3间有一个,逗号。逗 号比较特殊,映射为另一个变量,成为输出字段分隔符OFS,OFS默认为空格

(5)awk打印字段时,将从文件中获取每一行,并将其存储在$0中,覆盖原来的内容,然后将新的字符串分隔成字段并进行处理。该过程持续到处理文件结束。

默认分隔符是空格或者tab键


awk中的特殊变量:
常用:
- NR: 表示记录编号, 当awk将行为记录时, 该变量相当于当前行号
- NF: 表示字段数量, 当awk将行为记录时, 该变量相当于当前列号

难理解:
FS(输入字段分隔符)   # 以什么符号去分割
OFS(输出字段分隔符)  # 以什么分隔符显示
NR(Number of record)行数  
FNR按不同的文件分开
RS(输入记录分隔符)
ORS(输出记录分隔符)
NF 字段个数

AWK实用理解案例

拷贝/etc/passwd 文件到/opt下练习
cat -n /etc/passwd >> /opt/passwd
cd /opt/

1. 打印文件中的第2列和第3列

awk '{ print $2, $3}' passwd

2. 打印3行指定列的第7列字符

 awk -F":" 'NR==3{ print $7 }'  passwd

3. 统计文件的行数

 awk '{ print NR}' passwd

4. 在脚本中, 传递变量到awk中
var=1000
echo | awk -v VARIABLE=$var '{ print VARIABLE }'

5.  指定字段分隔符-F或在BEGIN{ FS=":" }
$ awk -F: '{ print $2, $3 }' passwd
$ awk 'BEGIN{ FS=":" }{ print $2, $3 }' passwd

6.  在awk中使用for循环 (了解)
每行打印两次

# awk -F: '{for(i=1;i<=2;i++) {print $0}}' passwd
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

分别打印每行每列
# awk -F: '{ for(i=1;i<=NF;i++) {print $i}}' passwd

7.  在awk中使用if条件判断 (了解)
显示管理员用户名
awk -F: '{if($3==0) {print $1 " is administrator."}}'passwd

统计系统用户
awk -F":" '{if($3>0 && $3<1000){i++}} END{print i}' /passwd

感谢观看!希望能够帮助到大家!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/236433.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

react antd EditableProTable - 可编辑表格

与编辑表格外的内容联动 value 同 dataSource&#xff0c;传入一个数组,是 table 渲染的元数据 T[] undefined onChange dataSource 修改时触发&#xff0c;删除和修改都会触发,如果设置了 value&#xff0c;Table 会成为一个受控组件。 (value:T[])>void undefined recordC…

[易语言]使用易语言部署工业级人脸检测模型

【框架地址】 https://github.com/ShiqiYu/libfacedetection 【算法介绍】 Libfacedetection是一个开源的计算机视觉库&#xff0c;主要用于实时的人脸检测。它利用深度学习技术&#xff0c;特别是卷积神经网络&#xff08;CNN&#xff09;&#xff0c;实现了高精度的脸部定位…

GlusterFS

一. 概念 1. 介绍 gluster是一个横向扩展的分布式文件系统&#xff0c;可将来自多个服务器的磁盘存储资源整合到一个全局名称空间中&#xff0c;可以根据存储消耗需求快速调配额外的存储。它将自动故障转移作为主要功能. 分布式存储系统.集群式NAS存储.无集中式元数据服务,采…

ChatGLM2-6B 大语言模型本地搭建

ChatGLM模型介绍&#xff1a; ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型&#xff0c;它具备了强大的问答和对话功能。拥有最大32K上下文&#xff0c;并且在授权后可免费商用&#xff01; ChatGLM2-6B的6B代表了训练参数量为60亿&#xff0c;同时运用了模型…

Python笔记08-面向对象

文章目录 类和对象构造方法内置方法封装继承类型注解多态 类只是一种程序内的“设计图纸”&#xff0c;需要基于图纸生产实体&#xff08;对象&#xff09;&#xff0c;才能正常工作 这种套路&#xff0c;称之为&#xff1a;面向对象编程 类和对象 定义类的语法如下&#xff…

K8S集群重新初始化--详细过程

K8S集群重新初始化 0、当前环境1、master节点1.1、在master节点执行下面reset命令&#xff1a;1.2、手动清除配置信息&#xff0c;这一步很关键&#xff1a;1.3、重新引导集群1.4、创建配置目录&#xff0c;并复制权限配置文件到用户目录下&#xff1a;1.5 查看集群状态1.6 安装…

提升测试效率,轻松并行运行测试——探秘Pytest插件pytest-xdist

在软件开发中&#xff0c;测试是确保代码质量的重要一环。然而&#xff0c;随着项目规模的增大&#xff0c;测试用例的数量也随之增多&#xff0c;测试的执行时间可能成为一个瓶颈。为了解决这个问题&#xff0c;Pytest提供了丰富的插件生态系统&#xff0c;其中 pytest-xdist …

从vue小白到高手,从一个内容管理网站开始实战开发第八天,登录功能后台功能设计--业务逻辑层基础接口和基础服务实现

上一篇我们介绍了项目后续要使用到的工具类,关于工具类的创建可以查看 从vue小白到高手,从一个内容管理网站开始实战开发第七天,登录功能后台功能设计--通用分页、枚举以及相关工具类-CSDN博客文章浏览阅读2次。本次内容主要介绍了项目后续用到的部分工具类,这些工具类,在…

基于博弈树的开源五子棋AI教程[3 极大极小搜索]

基于博弈树的开源五子棋AI教程[3 极大极小搜索] 引子极大极小搜索原理alpha-beta剪枝负极大搜索尾记 引子 极大极小搜索是博弈树搜索中最常用的算法&#xff0c;广泛应用于各类零和游戏中&#xff0c;例如象棋&#xff0c;围棋等棋类游戏。算法思想也是合乎人类的思考逻辑的&a…

物理机搭建hive

一、修改Hadoop配置 修改core-site.xml 配置yarn-site.xml 分发文件&#xff0c;然后重启集群 二、 Hive解压安装 上传文件 添加hive环境便量&#xff0c;source生效 启动高可用集群&#xff0c;启动hive 三、配置mysql元数据库 检查当前系统是否安装过Mysql&#xf…

开启Android学习之旅-5-Activity全屏

Android 两种方式设置全屏&#xff1a; 1. 第一行代码中的方法 通过 getWindow().getDecorView()方法拿到当前Activity的DecorView,再调用 setSystemUiVisibility() 方法来改变系统UI的显示&#xff0c;这里传入了 View.SYSTEM_UI_FLAG_LAYOUT_FULLSCREEN 和 View.SYSTEM_UI_…

服务器部署项目,访问验证码出现Handler dispatch failed....InvocationTargeException

场景&#xff1a; 部署ruoyi-vue的jar。访问验证码接口时&#xff0c;出现异常。本地测试没有问题&#xff0c;起初使用的jdk8&#xff0c;怀疑jdk版本问题&#xff0c;但是本地使用11.0.15版本也没问题&#xff0c;后面也就没管&#xff0c;初步排除jdk版本的问题。之前项目也…

软考高级选择考哪个好?

&#x1f4d2;软考高级总共5个科目&#xff0c;同样是高级证书&#xff0c;认可度也有区别! 大家一般在「信息系统项目管理师」✔️和「系统架构设计师」✔️二选一 1️⃣信息系统项目管理师 ❤️信息系统项目管理师也叫「高项」&#xff0c;考试内容主要是「项目管理」相关&am…

el-tree多个树进行节点同步联动(完整版)

2024.1.11今天我学习了如何对多个el-tree树进行相同节点的联动效果&#xff0c;如图&#xff1a; 这边有两棵树&#xff0c;我们发现第一个树和第二个树之间会有重复的指标&#xff0c;当我们选中第一个树的指标&#xff0c;我们希望第二个树如果也有重复的指标也能进行勾选上&…

这6个免费素材网站,设计师们一定要知道!

设计师找素材就上这6个网站&#xff0c;免费下载&#xff0c;还可以商用&#xff0c;建议收藏好了~ 1、菜鸟图库 https://www.sucai999.com/?vNTYwNDUx 菜鸟图库是我推荐过很多次的网站&#xff0c;主要是站内素材多&#xff0c;像平面、UI、电商等超多设计素材都能找到&…

PLECS如何下载第三方库并导入MOSFET 的xml文件,xml库路径添加方法及相关问题

1. 首先xml库的下载&#xff0c;PLECS提供了一个跳转的链接。 https://www.plexim.com/download/thermal_models 2. 下载一个库&#xff08;以最后一个Wolfspeed为例&#xff0c;属于CREE的SiC MOSFET&#xff09; 下载这个就行&#xff0c;都包含了。不信自己可以试试再下载…

Win10子系统Ubuntu实战(一)

在 Windows 10 中安装 Ubuntu 子系统&#xff08;Windows Subsystem for Linux&#xff0c;简称 WSL&#xff09;有几个主要的用途和好处&#xff1a;Linux 环境的支持、跨平台开发、命令行工具、测试和验证、教育用途。总体而言&#xff0c;WSL 提供了一种将 Windows 和 Linux…

【Linux】Linux系统编程——ls命令

【Linux】Linux 系统编程——ls 命令 1.命令概述 ls 命令是 Linux 和其他类 Unix 操作系统中最常用的命令之一。ls 命令是英文单词 list 的缩写&#xff0c;正如 list 的意思&#xff0c;ls 命令用于列出文件系统中的文件和目录。使用此命令&#xff0c;用户可以查看目录中的…

刚买的助听器就弄丢了,不想白配,快来看看这8大助听器防丢小技巧

我们知道助听器可以让听损人士重新听到美妙的声音和享受沟通的乐趣。但是&#xff0c;助听器也是一种很贵的物品&#xff0c;如果不小心弄丢了&#xff0c;就会让人心痛不已。 更有甚者&#xff0c;有些人因为害怕丢失助听器&#xff0c;而不敢佩戴助听器&#xff0c;错过了听力…

实现线程同步的几种方式

线程同步 1. 线程同步概念 线程同步是指多个线程协调它们的执行顺序&#xff0c;以确保它们正确、安全地访问共享资源。在并发编程中&#xff0c;当多个线程同时访问共享数据或资源时&#xff0c;可能会导致竞争条件&#xff08;Race Condition&#xff09;和其他并发问题 所…