Linux文本处理三剑客（详解）

一、文本三剑客是什么？

1. 对于接触过Linux操作系统的人来说，应该都听过说Linux中的文本三剑客吧，即awk、grep、sed，也是必须要掌握的Linux命令之一，三者都是用来处理文本的，但侧重点各不相同，awk功能最强大，但也最复杂。

二、文本三剑客介绍 

1. grep

 特点

  • 使用正则表达式搜索文本
  • 匹配到的文本会显示出来并标红
  • 使用权限是所有用户

工作方式 

  • grep可以在一个或多个文件中检索，如果条件中包含了空格，需要使用双引号引起

工作结果

  • 如果搜索成功则返回为0的状态码 ，否则为1的状态码

格式

grep -参数 条件 文件名参数：-i		忽略大小写
-c		统计匹配的行数
-v		取反，不显示匹配的行-i	
-w		匹配单词
-E		等价于egrep，即启用扩展正则表达式
-n		显示行号
-rl		将指定目录内的文件打印
-A数字		匹配行及以下n行
-B数字		匹配行及以上n行
-c数字		匹配行及上下n行
-q		静默模式，没有任何内容输出，使用$?来判断是否执行成功
-o		只显示匹配的内容
示例
操作对象文件：/etc/passwd作用:  记录账户的信息，共分为7段，使用冒号分割
意义:  账户名:密码代号x: UID:GID: 注释:家目录:登录的Shell
注意:  最后一段/sbin/nologin表述不允许登录# 搜索/etc/passwd 含有root的字符串并显示行号
[root@server ~]# grep -n "root" /etc/passwd 
1:root:x:0:0:root:/root:/bin/bash
10:operator:x:11:0:operator:/root:/sbin/nologin# 搜索/etc/passwd 含有sshd的字符串并显示行号
[root@server ~]# grep -n "sshd" /etc/passwd 
32:sshd:x:74:74:Privilege-separated SSH:/usr/share/empty.sshd:/sbin/nologin# 匹配/bin/bash的行数，显示行号
[root@server ~]# grep  "/bin/bash" /etc/passwd  | wc -l
22# 匹配不是/sbin/nologin的行，并显示行号
[root@server ~]# grep -nv "/sbin/nologin" /etc/passwd # -n显示行号 -i忽略大小写
[root@server ~]# grep -ni "d" /etc/passwd # 匹配含有ftp行及以上3行内容
[root@server ~]# grep -nB3 "ftp" /etc/passwd
9-mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10-operator:x:11:0:operator:/root:/sbin/nologin
11-games:x:12:100:games:/usr/games:/sbin/nologin
12:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

2.sed

介绍

sed命令是将一系列的编辑命令应用于批处理文本的理想工具。sed命令拥有非交互式和高效的特点，可以为用户节约大量的时间。本节将介绍sed命令的基础知识。

sed命令是一个非交互式的文本编辑器，它可以对来自文本文件以及标准输出的行进行编辑。其中，标准输出可以是来自键盘、文件重定向、字符串、变量或者是管道的文本。

sed命令会从文件或者标准输入中一次读取一行数据，将其复制到缓冲区，然后读取命令行或者脚本的编辑子命令，对缓冲区中的文本行进行编辑。重复此过程，一直到所有的文本行都处理完毕。

工作原理

  • 模式空间pattern space:sed在内存里开辟模式空间，处理文件的每个输入行，最多8192字节

  • 保留空间holding space:sed在内存里开辟保留空间，保存已经处理过的输入行，最多8192字节

原理:sed 的工作流程主要包括读取、执行和显示三个过程

  • 1.读取:sed 从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间，pattern space)

  • 2. 执行:默认情况下，所有的sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed 命令 将会在所有的行上依次执行

  • 3.显示:发送修改后的内容到输出流。在发送数据后，模式空间将会被清空

  • 重复上述过程，直到将文件中所有数据处理完毕

基本语法

sed -参数	'[定址符]'  '[操作]'  文件名参数：
-n，--quiet，--silent:安静模式，不输出模式空间中的内容，在一般sed的用法中，所有来自STDIN的数据一般都会被列出到屏幕上，但如果加上-n参数后，则只有经过sed特殊处理的那一行才会被列出来
-i:  直接编辑原文件，而不是由屏幕输出，默认不对原文件进行操作
-e:  直接在命令行模式上进行sed的动作编辑，多个子命令之间也可以用分号隔开，如:sed -e command1; command2......filename  或者  sed -e 'command1'  -e 'command2'......filename
-r：使用扩展正则表达式F
-f:  直接将sed的动作写在一个文件内，-f filename则可以执行filename内的sed动作--help:显示帮助--version:显示版本-{}:  可组合多个命令，以分好隔开
定址符

  • 用于使用数字指定处理行区间，或者使用正则进行过滤

  • 表示方法

地址定界

作用
1,5对文件的1-5行进行处理
2,$对文件的2-最后一行进行处理
1,+3对文件第一行以及以后的第三行内容进行处理
1~2对文件的1,3,5,7，......的行进行处理
/正则表达式/对任何能够被正则表达式匹配带的行进行处理
操作
S: 替换，普换指定字符，一般搭配正则表达式
d: 删除，删除选定的行。
p: 打印，如果同时指定行，表示打印指定行:如果不指定行，则表示打印所有内容:如果有非打印字符，则以 ASCII 码输出。其通常与“-n” 选项一起使用。
=: 打印行号。
a: 增加，a的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)
i: 插入，i的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)
C: 行替换，指定行中的所有内容，普换成该选项后面的字符串。
y: 字符转换，转换前后的字符长度必须相同。
l(小写):打印数据流中的文本和不可打印的ASCII字符(比如结束符$、制表符\t)
!: 对指定行以外的所有行应用命令
&: 代表匹配到的内容
详细示例
### 切记多加练习！！！
[root@server ~]# vim sed1.txt[root@server ~]# sed -n 'p' sed1.txt  #打印全文[root@server ~]# sed -n '=;p' sed1.txt # 打印全文并显示行号[root@server ~]# sed -n -e '=' -e  'p' sed1.txt [root@server ~]# sed -n 'l' sed1.txt  #打印控制字符[root@server ~]# sed -n '1p' sed1.txt  # 打印第一行[root@server ~]# sed -n '1p' sed1.txt # 不加-n会显示全部，加-n只显示处理行
[root@server ~]# 
[root@server ~]# sed -n '4,6p' sed1.txt  #打印4-6行
four
five
six[root@server ~]# sed -n '7,$p' sed1.txt # 打印7到最后一行
seven
eight
nine
ten[root@server ~]# sed -n '$p' sed1.txt #打印最后一行
ten[root@server ~]# sed -n '1~2p' sed1.txt #打印基数行
one
three
five
seven
nine[root@server ~]# sed -n '2~2p' sed1.txt  #打印偶数行
two
four
six
eight
ten
[root@server ~]# sed -n '4p;6p;8p' sed1.txt #打印4,6 8行
four
six
eight[root@server ~]# sed -n -e '4p' -e '6p' -e '8p' sed1.txt 
four
six
eight[root@server ~]# sed -n '1!p' sed1.txt #打印非第一行内容
two
three
four
five
six
seven
eight
nine
ten[root@server ~]# sed -n '1,+5p' sed1.txt  #打印第一行后的5行
one
two
three
four
five
six[root@server ~]# sed -n '/^f/p' sed1.txt  #打印f开头的行
four
five[root@server ~]# sed -n '/t/p' sed1.txt  #检索包含t的行
two
three
eight
ten[root@server ~]# sed -n '/^f/p;/t/p' sed1.txt  #检索f开头行或者包含t的行
two
three
four
five
eight
ten[root@server ~]# sed -n '2,/five/p' sed1.txt #检索第二行到five所在行
two
three
four
five[root@server ~]# sed -n '/n$/p' sed1.txt #检索n结尾的行
seven
ten[root@server ~]# sed -n 'n;p' sed1.txt #打印偶数行
two
four
six
eight
ten[root@server ~]# sed -n 'p;n' sed1.txt #打印奇数行
one
three
five
seven
nine[root@server ~]# sed -n '$=' sed1.txt #打印行数
10

文本替换

范例文件

[root@server ~]# cp /etc/passwd ~/ps
[root@server ~]# ls
公共  视频  文档  音乐  anaconda-ks.cfg  ps
模板  图片  下载  桌面  passwd           sed1.txt
格式
sed '行范围s/旧字符串/新字符串/替换标记'  处理文件名

  • 行范围：使用数字表示，即对第几行到第几行进行替换管理处理，若省略则表示进行全文处理

  • s：替换动作

  • 替换标记

1.数字: 使用1-512之间的数字，表示指定需要替换的字符串出现第几次才进行替换

2.g: 对数据中所有匹配到的内容进行替换，若省略g则只会对第一次匹配的内容进行替换

3.p：替换成功立刻打印，一般与-n一起使用D:

4.w ：文件名:将缓冲区的内容写入到指定文件中

5. &: 使用正则表达式匹配的内容进行替换

6.\: 转义符，若有特殊符号或路径则需要转义

示例
# 替换root为boot
[root@server ~]# sed  's/root/boot/g' ps#将每一行的第一个root替换为admin
[root@server ~]# sed -n  's/root/admin/p' ps
admin:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/admin:/sbin/nologin#将本行第二次出现的root进行替换admin
[root@server ~]# sed -n 's/root/admin/2p' ps
root:x:0:0:admin:/root:/bin/bash#将全文所有root进行替换admin并打印
[root@server ~]# sed -n 's/root/admin/gp' ps
admin:x:0:0:admin:/admin:/bin/bash
operator:x:11:0:operator:/admin:/sbin/nologin#将第四行的adm替换为root
[root@server ~]# sed -n '4s/adm/root/p' ps #替换第一个
root:x:3:4:adm:/var/adm:/sbin/nologin
[root@server ~]# sed -n '4s/adm/root/gp' ps #加g，全行替换
root:x:3:4:root:/var/root:/sbin/nologin#将行尾的/sbin/nologin替换为/bin/bash  注意：/需要转义
[root@server ~]# sed -n 's/\/sbin\/nologin/\/bin\/bash/p' ps#注意:上例中替换内容包含路径符号/,可以使用#暂时替代sed命令中的/，可改为
[root@server ~]# sed 's#/sbin/nologin#bin/bash#p'  ps#将最后一行的:替换为@
[root@server ~]# sed -n '$s/:/@/gp' ps
fox_6@x@1000@1000@fox_6@/home/fox_6@/bin/bash#全文注释
[root@server ~]# sed  's/^/#&/p' ps #指定位置处左侧添加#
[root@server ~]# sed  's/^/#/p' ps#检索ssh行在其单词左侧添加一个#
[root@server ~]# sed -n  's/SSH/#&/gp' ps
sshd:x:74:74:Privilege-separated #SSH:/usr/share/empty.sshd:/sbin/nologin
#右侧添加#
[root@server ~]# sed -n  's/SSH/&#/gp' ps
sshd:x:74:74:Privilege-separated SSH#:/usr/share/empty.sshd:/sbin/nologin#所有的行首添加@及行尾添加@
[root@server ~]# sed -e  's/^/@&/' -e ' s/$/&@/' ps#在第一行之前插入空白行
[root@server ~]# sed  '1s/^/\n/' ps#最后一行之后插入空白行
[root@server ~]# sed  '$s/$/\n/' ps#所有小写改为大写，\u表示大写  &：启用正则
[root@server ~]# sed 's/[a-z]/\u&/g' ps#所有大写改小写，\l(小写l)：表示小写字母
[root@server ~]# sed -i  's/[A-Z]/\l&/g'  ps#单词第一个字母大写 \b:表示分匹配单词的边界
[root@server ~]# sed 's/\b[a-z]/\u&/g' ps
#实战1：关闭或者打开selinux
[root@server ~]# sed -i '22s/disabled/enforcing/' /etc/selinux/config #实战2：apache的网页目录修改
[root@server ~]# yum install httpd -y
[root@server ~]# sed -i -e  '124s/\/var\/www.html/\/zy/' -e '129s/\/var\/www/\/zy/' /etc/httpd/conf/httpd.conf 
[root@server ~]# vim /etc/httpd/conf/httpd.conf 
#利用替换实现删除#将全文的root删除
[root@server ~]# sed -n 's/root//gp' ps#删除每一行的第一个字符
[root@server ~]# sed -n  's/^.//p' ps 		#.代表任意#删除每一行的最后字符
[root@server ~]# sed -n 's/.$//p' ps#删除注释符#
[root@server ~]# sed -n 's/^#//p' /etc/sos/sos.conf #删除5-10行的所有数字
[root@server ~]# sed '5,10s/[0-9]//g' ps#删除特殊字符（出来数字字母），即将结果写入到t1.txt中
[root@server ~]# sed 's/[^(0-9)(a-z)(A-Z)]//gw t1.txt' ps

文本删除

注意：d操作用于删除文本的特定航，会删除指定的所有内容，则使用该命令必须特别小心，若忘记指定处理行的话会删除所有内容，也不会任何输出

示例 
示例文件
[root@server ~]# cp /etc/sos/sos.conf ~/#删除第一行
[root@server ~]# sed '1d' sos.conf #删除2-5行
[root@server ~]# sed '2,5d' sos.conf #删除8-最后一行
[root@server ~]# sed '8,$d' sos.conf #删除最后一行
[root@server ~]# sed '$d' sos.conf #使用变量最为行号
[root@server ~]# num_line=1
[root@server ~]# sed "${num_line}d" sos.conf #注意双引号#删除空白行
[root@server ~]# sed '/^$/d' sos.conf #删除带[]
[root@server ~]# sed '/\[/d' sos.conf [root@server ~]# sed '/root/d' ps

插入文本

注意：使用a动作在文本最后追加一行，使用i动作在指定行前添加一行，俩者格式相同

 格式
sed '行范围a(或i)\新文本' 文件名
示例
[root@server ~]# sed -i '$a\192.168.228.133 www.openlab.com' /etc/hosts[root@server ~]# sed -i '3i\192.168.228.132 www.openlab.com' /etc/hosts[root@server ~]# sed -i '/132/i\192.168.228.131 www.openlab.com' /etc/hosts#注意：sed是基于数据流处理的命令，若文本无内容则无法处理，座椅空文件无法插入内容
[root@server ~]# touch t2.txt
[root@server ~]# sed -i '$a\xaio ming 19,98.5' t2.txt 
[root@server ~]# cat t2.txt

3.awk

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/335120.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

kubeadm引导欧拉系统高可用的K8S1.28.X

kubeadm引导欧拉系统高可用的K8S1.28.X

文章目录 一. 核心组件架构二. 有状态与无状态应用三. 资源对象3.1 规约与状态3.2 资源的分类-元数据,集群,命名空间3.2.1 元数据3.2.2 集群资源 3.3 命名空间级3.3.1 pod3.3.2 pod-副本集3.3.3 pod-控制器 四. Kubeadm安装k8s集群4.1 初始操作4.2 ~~所有节点安装Docker&#x…
阅读更多...
Java基础：基本语法（一）

Java基础：基本语法（一）

Java基础：基本语法（一） 文章目录 Java基础：基本语法（一）1. 前言2. 开发环境搭建2.1 Java开发工具包下载2.2 环境变量配置2.3 Java程序的运行过程 3. 数据类型3.1 基本数据类型3.2 引用数据类型 4. 常量与变…
阅读更多...
maven部署到私服

maven部署到私服

方法一:网页上传 1、账号登录 用户名/密码 2、地址 http://自己的ip:自己的端口/nexus 3、查看Repositories列表，选择Public Repositories，确定待上传jar包不在私服中 4、选择3rd party仓库，点击Artifact Upload页签 5、GAV Definition选…
阅读更多...
SQL面试题练习 —— 连续登录超过N天用户(一）

SQL面试题练习 —— 连续登录超过N天用户(一）

题目 现有用户登录日志表 t_login_log,包含用户ID(user_id),登录日期(login_date)。数据已经按照用户日期去重，请查出连续登录超过4天的用户ID。 样例数据 样例输出 建表语句 CREATE TABLE t_login_log (user_id VARCHAR(255) COMMENT 用户ID,login_date DATE CO…
阅读更多...
08.tomcat多实例

08.tomcat多实例

在加两个tomcat实例 [rootweb01 ~]# ll apache-tomcat-8.0.27.tar.gz -rw-r--r-- 1 root root 9128610 10月 5 2015 apache-tomcat-8.0.27.tar.gz [rootweb01 ~]# tar xf apache-tomcat-8.0.27.tar.gz [rootweb01 ~]# cp -a apache-tomcat-8.0.27 tomcat_8081 [rootweb01 ~…
阅读更多...
大模型中的Tokenizer

大模型中的Tokenizer

在使用GPT 、BERT模型输入词语常常会先进行tokenize 。 tokenize的目标是把输入的文本流，切分成一个个子串，每个子串相对有完整的语义，便于学习embedding表达和后续模型的使用。 一、粒度 三种粒度：word/subword/char word词&a…
阅读更多...
qt把虚拟键盘部署到arm开发板上（imx6ull）

qt把虚拟键盘部署到arm开发板上（imx6ull）

分为了qt官方配置的虚拟键盘以及各路大神自己开源的第三方键盘，我本来想尝试利用官方键盘结果一直失败，最后放弃了，后面我用的第三方键盘参考了如下文章： https://blog.csdn.net/2301_76250105/article/details/136441243 https…
阅读更多...
代码随想录——找树左下角的值（Leetcode513）

代码随想录——找树左下角的值（Leetcode513）

题目链接 层序遍历 思路：使用层序遍历，记录每一行 i 0 的元素，就可以找到树左下角的值 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}*…
阅读更多...
深入理解深度学习中的激活层：Sigmoid和Softmax作为非终结层的应用

深入理解深度学习中的激活层：Sigmoid和Softmax作为非终结层的应用

深入理解深度学习中的激活层：Sigmoid和Softmax作为非终结层的应用Sigmoid 和 Softmax 激活函数简介Sigmoid函数Softmax函数 Sigmoid 和 Softmax 作为非终结层多任务学习特征变换增加网络的非线性实际案例 注意事项结论 深入理解深度学习中的激活层：Sigmo…
阅读更多...
使用Ollama和Open WebUI管理本地开源大模型的完整指南

使用Ollama和Open WebUI管理本地开源大模型的完整指南

🏡作者主页：点击！ 🤖AI大模型部署与应用专栏：点击！ ⏰️创作时间：2024年5月27日12点20分 🀄️文章质量：96分 目录 ✨️Open-WebUI介绍 优点 💥部署教程…
阅读更多...
软件需求分析和软件原型开发是一会事情吗？

软件需求分析和软件原型开发是一会事情吗？

软件需求分析和软件原型开发是软件开发过程中的两个重要环节，它们各自承担着不同的任务，但又紧密相连，共同影响着软件项目的成功。下面将详细解释这两个环节的定义、目的以及它们之间的关系。 一、软件需求分析 定义：软件需求分析…
阅读更多...
JAVA系列：NIO

JAVA系列：NIO

NIO学习 一、前言 先来看一下NIO的工作流程图： NIO三大核心组件，channel（通道）、Buffer（缓冲区）、selector（选择器）。NIO利用的是多路复用模型，一个线程处理多个IO的读…
阅读更多...
学习笔记——STM32F103的V3版本——3*3矩阵键盘控制数码管

学习笔记——STM32F103的V3版本——3*3矩阵键盘控制数码管

一.硬件 1.数码管 2.3*3的矩阵键盘（自己做的模块（手残党一枚）） 3.总体连接 二.在Keil5中的部分软代码 test.c中： #include "sys.h" #include "usart.h" #include "delay.h" #include …
阅读更多...
面试问题小结

面试问题小结

说说你的项目，从里面学到啥了（随便说） CAS 线程池 的各个方面 线程咋创建（4种方式） 说一下聚集索引和非聚集索引 50w男 50w女 ，在B树中咋存储的（类似下面的图，变通一下就行了&a…
阅读更多...
DOS学习-目录与文件应用操作经典案例-type

DOS学习-目录与文件应用操作经典案例-type

新书上架~👇全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我👆，收藏下次不迷路┗|｀O′|┛ 嗷~~ 目录 一.前言 二.使用 三.案例 1. 查看文本文件内容 2. 同时查看多个文本文件内容 3. 合并文…
阅读更多...
股票量化交易上手，一个特别简单却长期可用的交易策略，官方接口

股票量化交易上手，一个特别简单却长期可用的交易策略，官方接口

股票实现程序化自动化交易的三个基础：获取数据、执行交易、查询账户。 以后说到策略示例的时候就不介绍接口的基础使用方法了，随便一个策略把过程写出来都会很啰嗦，尽量压缩内容吧，这些内容是面向新手的，大佬们忽略细节…
阅读更多...
为WPF的Grid添加网格边框线

为WPF的Grid添加网格边框线

在WPF中使用Grid绘制表格的时候，如果元素较多、排列复杂的话，界面会看起来很糟糕，没有层次，这时用网格或边框线分割各元素（标签或单元格）将会是页面看起来整齐有条理。 默认没有边框线的如下图所示&#xf…
阅读更多...
Rviz 复选框插件

Rviz 复选框插件

Rviz 复选框插件 0.引言1.实现效果 0.引言 参考1参考2参考3参考4 我想做的插件是类似于 pangolin 侧面的复选框，动态传递 bool 值给程序内部使用。查了一下只能是通过插件的方式进行实现。但是Display 的参数在编译阶段就写死了，我想要在运行期给定参数…
阅读更多...
hadoop hdfs优势和缺点

hadoop hdfs优势和缺点

hdfs优点 高容错性适合处理大数据可构建再廉价的机器上 hdfs缺点 不适合做低延迟数据访问 毫秒级的存储数据做不到 无法高效的对大量小文件进行存储不支持并发写入 文件随机修改 一个文件只能有一个writer 不允许多个线程同时写仅支持数据追加 不支持文件的随机修改 hdf…
阅读更多...
四川汇聚荣聚荣科技有限公司好不好？

四川汇聚荣聚荣科技有限公司好不好？

在当今科技飞速发展的时代，企业要想在激烈的市场竞争中脱颖而出，必须具备强大的技术实力和良好的市场口碑。那么，作为一家专注于科技创新的公司，四川汇聚荣聚荣科技有限公司究竟如何呢?接下来，我们将从四个方面进行详…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023