该系列是基于牛客Shell题库，针对具体题目进行查漏补缺，学习相应的命令。

刷题链接：牛客题霸-Shell篇。

该系列文章都放到专栏下，专栏链接为：《专栏：Linux》。欢迎关注专栏~

本文知识预告：

首先学习了批量字符转换、压缩、删除的文本工具 tr 命令相关的知识；
然后结合之前学习的命令给出六种题目的解决方案。

题目：SHELL6 去掉空行

写一个 bash脚本以去掉一个文本文件nowcoder.txt中的空行。假设nowcoder.txt 内容如下：

abc

567


aaa
bbb



ccc

相关命令学习

`sed` ：批量编辑文本文件

sed

命令来自于英文词组“stream editor”的缩写，其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。

sed

命令最初由贝尔实验室开发，后被众多Linux系统接纳集成，能够通过正则表达式对文件进行批量编辑，让需要重复的工作不再浪费时间。

sed

是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。

sed

编辑器逐行处理文件（或输入），并将结果发送到屏幕。

sed

命令行格式为：

sed [-nefri] ‘command’ 输入文本

常用选项：

-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过 sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在指令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的 sed 动作；
-r ： sed 的动作支援的是延伸型正规表示法的语法。（预设是基础正规表示法语法）
-i ：直接修改读取的档案内容，而不是由萤幕输出。

常用命令：

a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g！
g ：是行内进行全局替换

常用参数：

参数	功能
`-e`	以指定的脚本来处理输入的文本文件
`-f<script文件>`	以指定的脚本文件来处理输入的文本文件
`-h`	显示帮助
`-n`	仅显示 `script` 处理后的结果
`-V`	显示版本信息

参考实例

查找指定文件中带有某个关键词的行：

[email protected]:~/shell$ sed -n '/main/p' nowcoder.txt
int main()

替换指定文件中某个关键词成大写形式：

[email protected]:~/shell$ sed 's/int/INT/g' nowcoder.txt
#include <iostream>
using namespace std;
INT main()
{
    INT a = 10;
    INT b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

有点巧，这和前面学的Vim里面的替换基本一样。

读取指定文件，删除所有带有某个关键词的行：

[email protected]:~/shell$ sed '/int/d' nowcoder.txt
#include <iostream>
using namespace std;
{
    cout << "a + b:" << a + b << endl;
    return 0;
}

读取指定文件，在第4行后插入一行新内容：

[email protected]:~/shell$ sed -e '4a\    cout << "hello world" << end;' nowcoder.
txt
#include <iostream>
using namespace std;
int main()
{
    cout << "hello world" << end;
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

读取指定文件，在第4行后插入多行新内容：

[email protected]:~/shell$ cat nowcoder.txt | sed -e '4a\    cout << "hello world"
 << endl; \n    cout << "hello aha" << endl;'
#include <iostream>
using namespace std;
int main()
{
    cout << "hello world" << endl;
    cout << "hello aha" << endl;
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

读取指定文件，删除第2-5行的内容：

[email protected]:~/shell$ cat -n nowcoder.txt | sed '2,5d'
     1  #include <iostream>
     6      int b = 100;
     7      cout << "a + b:" << a + b << endl;
     8      return 0;
     9  }

读取指定文件，替换第2-5行的内容：

[email protected]:~/shell$ sed '2,5c cout << "gaga" << endl;' nowcoder.txt
#include <iostream>
cout << "gaga" << endl;
    int b = 100;
    cout << "a + b:" << a + b << endl;
    return 0;
}

指定读取某个文件的第3-7行：

[email protected]:~/shell$ sed -n '3,7p' nowcoder.txt
int main()
{
    int a = 10;
    int b = 100;
    cout << "a + b:" << a + b << endl;

`awk` ：文本和数据进行处理的编程语言

awk

命令来自于三位创始人”Alfred Aho，Peter Weinberger, Brian Kernighan “的姓氏缩写，其功能是用于对文本和数据进行处理的编程语言。使用

awk

命令可以让用户自定义函数或正则表达式对文本内容进行高效管理，与

sed

、

grep

并称为Linux系统中的文本三剑客。

语法格式：

awk 参数 文件

常用参数：

参数	功能
`-F`	指定输入时用到的字段分隔符
`-v`	自定义变量
`-f`	从脚本中读取 `awk` 命令
`-m`	对 `val` 值设置内在限制

常用的

awk

内置变量：

awk 语法由一系列条件和动作组成，在花括号内可以有多个动作，多个动作之间用分号分隔，在多个条件和动作之间可以有若干空格，也可以没有。

变量名称	说明
`FILENAME`	当前输入文档的文件名
`FNR`	当前输入文档的当前行号，尤其当多个输入文档时有用
`FS`	设置字段分隔符，默认为空格或制表符
`NF`	当前记录（行）的字段（列）个数
`NR`	输入数据流的当前记录数（行号）
`OFS`	输出字段分隔符，默认为空格
`ORS`	输出记录分隔符，默认为换行符
`RS`	输入记录分隔符，默认为换行符

awk 是一种处理文本文件的编程语言，文件的每行数据都被称为记录，默认以空格或制表符为分隔符，每条记录被分成若干字段（列）， awk 每次从文件中读取一条记录。

例子：

仅显示指定文件中第1、2列的内容（默认以空格为间隔符）：

[email protected]:~/shell$ awk '{print $1,$2}' nowcoder.txt
#include <iostream>
using namespace
int main()
{
int a
int b
cout <<
return 0;
}

以冒号为间隔符，仅显示指定文件中第1列的内容：

[email protected]:~/shell$ awk -F : '{print $1,$2}' /etc/passwd
root x
daemon x
bin x
...
tcpdump x
sshd x
landscape x
pollinate x
lucky x

/etc/passwd 文件中的内容由 : 分隔开。

以冒号为间隔符，显示系统中所有UID号码大于500的用户信息（第3列）：

[email protected]:~/shell$ awk -F : '$3>=500' /etc/passwd
nobody:x:65534:65534:nobody:/nonexistent:/usr/sbin/nologin
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash

仅显示指定文件中含有指定关键词 main 的内容：

[email protected]:~/shell$ awk '/main/{print}' nowcoder.txt
int main()

以冒号为间隔符，仅显示指定文件中最后一个字段的内容：

[email protected]:~/shell$ awk -F : '{print $NF}' /etc/passwd
/bin/bash
/usr/sbin/nologin
/usr/sbin/nologin
...
/usr/sbin/nologin
/bin/false
/bin/bash

输出行号， NR 将所有文件的数据视为一个数据流，而 FNR 则是将多个文件的数据视为独立的若干个数据流，遇到新文件时行号从1开始重新递增。

[email protected]:~$ awk '{print NR}' first.txt three.sh
1
2
3
[email protected]:~$ awk '{print FNR}' first.txt three.sh
1
1
2

`grep` ：强大的文本搜索工具

grep

来自于英文词组“global search regular expression and print out the line”的缩写，意思是用于全面搜索的正则表达式，并将结果输出。人们通常会将

grep

命令与正则表达式搭配使用，参数作为搜索过程中的补充或对输出结果的筛选，命令模式十分灵活。

与之容易混淆的是

egrep

命令和

fgrep

命令。如果把

grep

命令当作是标准搜索命令，那么

egrep

则是扩展搜索命令，等价于“

grep -E

”命令，支持扩展的正则表达式。而

fgrep

则是快速搜索命令，等价于“

grep -F

”命令，不支持正则表达式，直接按照字符串内容进行匹配。

语法格式：

grep [参数] 文件

常用参数：

参数	功能
`-i`	忽略大小写
`-c`	只输出匹配行的数量
`-l`	只列出符合匹配的文件名，不列出具体的匹配行
`-n`	列出所有的匹配行，显示行号
`-h`	查询多文件时不显示文件名
`-s`	不显示不存在、没有匹配文本的错误信息
`-v`	显示不包含匹配文本的所有行
`-w`	匹配整词
`-x`	匹配整行
`-r`	递归搜索
`-q`	禁止输出任何结果，已退出状态表示搜索是否成功
`-b`	打印匹配行距文件头部的偏移量，以字节为单位
`-o`	与 `-b` 结合使用，打印匹配的词据文件头部的偏移量，以字节为单位
`-F`	匹配固定字符串的内容
`-E`	支持扩展的正则表达式

搜索某个文件中，包含某个关键词的内容：

[email protected]:~/shell$ grep root /etc/passwd
root:x:0:0:root:/root:/bin/bash

搜索某个文件中，以某个关键词开头的内容：

[email protected]:~/shell$ grep ^root /etc/passwd
root:x:0:0:root:/root:/bin/bash

搜索多个文件中，包含某个关键词的内容：

[email protected]:~# grep lucky /etc/passwd /etc/shadow
/etc/passwd:lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
/etc/shadow:lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::

搜索多个文件中，包含某个关键词的内容，不显示文件名称：

[email protected]:~# grep -h lucky /etc/passwd /etc/shadow
lucky:x:1000:1000:,,,:/home/lucky:/bin/bash
lucky:$6$SBxuPYFLSnBcfbHN$OkFFnnJCpf2P4OLOnnaWXMq.xbmgL3H5aRy4nkEkk/.8VHABaKDS6MdYm3UR3TpHZplAl5HVyffI8nbLlAAoh1:19256:0:99999:7:::

输出在某个文件中，包含某个关键词行的数量：

[email protected]:~# grep -c root /etc/passwd /etc/shadow
/etc/passwd:1
/etc/shadow:1

搜索某个文件中，包含某个关键词位置的行号及内容：

[email protected]:~/shell$ grep -n int nowcoder.txt
3:int main()
5:    int a = 10;
6:    int b = 100;

搜索某个文件中，不包含某个关键词的内容：

[email protected]:~/shell$ grep -v int nowcoder.txt
#include <iostream>
using namespace std;
{
    cout << "a + b:" << a + b << endl;
    return 0;
}

搜索当前工作目录中，包含某个关键词内容的文件，未找到则提示：

[email protected]:/# grep -l root *
grep: bin: Is a directory
grep: boot: Is a directory
grep: dev: Is a directory
grep: etc: Is a directory
grep: home: Is a directory
init
grep: lib: Is a directory
grep: lib32: Is a directory
...
grep: tmp: Is a directory
grep: usr: Is a directory
grep: var: Is a directory

搜索当前工作目录中，包含某个关键词内容的文件，未找到不提示：

[email protected]:~/shell$ grep -sl main *
nowcoder.txt

递归搜索，不仅搜索指定目录，还搜索其内子目录内是否有关键词文件：

[email protected]:/# grep -srl root /etc
/etc/services
/etc/ltrace.conf
/etc/systemd/logind.conf
/etc/crontab
/etc/newt/palette.ubuntu
/etc/xattr.conf
/etc/apparmor.d/tunables/home
...

搜索某个文件中，精准匹配到某个关键词的内容（搜索词应与整行内容完全一样才会显示，有别于一般搜索）：

[email protected]:~/shell$ grep -x "return 0;" nowcoder.txt
[email protected]:~/shell$ grep -x "    return 0;" nowcoder.txt
    return 0;

判断某个文件中，是否包含某个关键词，通过返回状态值输出结果（0为包含，1为不包含），方便在Shell脚本中判断和调用：

[email protected]:~/shell$ grep -q return nowcoder.txt
[email protected]:~/shell$ echo $?  # 包含
0

[email protected]:~/shell$ grep -q returns nowcoder.txt
[email protected]:~/shell$ echo $?  # 不包含
1

搜索某个文件中，空行的数量：

[email protected]:~/shell$ grep -c ^$ nowcoder.txt
0

`tr` ：字符转换工具

tr

命令来自于英文单词transform的缩写，中文译为转换，其功能是用于字符转换。

tr

命令是一款批量字符转换、压缩、删除的文本工具，但仅能从标准输入中读取文本内容，需要与管道符或输入重定向操作符搭配使用。

语法格式：

tr [参数] 字符串1 字符串2

常用参数：

`-c`	反选字符串1的补集（取反）
`-d`	删除字符串1中出现的所有字符
`-s`	删除所有重复出现的字符序列

将指定文件中的小写字母转换成大写字母后输出内容到终端界面：

[email protected]:~$ tr [a-z] [A-Z] < hello.py
ABC
567
AAA
BBB
CCC

删除指定文件中所有的数字后输出内容到终端界面：

[email protected]:~$ tr -d [0-9] < hello.py
abc

aaa
bbb
ccc

将指定文件中的多个相邻空行去重后输出内容到终端界面：

[email protected]:~$ tr -s "[\n]" < nowcoder.txt
abc
567
aaa
bbb
ccc

正则语法学习

正则表达式为高级的文本模式匹配、抽取、与/或文本形式的搜索和替换功能提供了基础。简单地说，正则表达式是一些由字符和特殊符号组成的字符串，它们描述了模式的重复或者表述多个字符，于是正则表达式能按照某种模式匹配一系列有相似特征的字符串。

把标准字母表用于通用文本，我们展示了一些简单的正则表达式以及这些模式所表述的字符串。下面所介绍的正则表达式都是最基本、最普通的。它们仅仅用一个简单的字符串构造成一个匹配字符串的模式：该字符串由正则表达式定义。

正则表达式模式	匹配的字符串
foo	foo
abc123	abc123
Python	Python

上面的第一个正则表达式模式是“

foo

”。该模式没有使用任何特殊符号去匹配其他符号，而只匹配所描述的内容，所以，能够匹配这个模式的只有包含“

foo

”的字符串。同理，对于字符串“

Python

”和“

abc123

”也一样。

正则表达式的强大之处在于引入特殊字符来定义字符集、匹配子组和重复模式。正是由于这些特殊符号，使得正则表达式可以匹配字符串集合，而不仅仅只是某单个字符串。下面列出最常见的符号和字符。

符号：

表示法	描述	正则表达式示例
`literal`	匹配文本字符串的字面值 `literal`	foo
`re1\\\|re2`	匹配正则表达式 `re1` 或者 `re2`	foo\|bar
`.`	匹配任何字符(除了 `\\n` 之外)	b.b
`^`	匹配字符串起始部分	^Dear
`$`	匹配字符串终止部分	/bin/*sh$
`*`	匹配 0 次或者多次前面出现的正则表达式	[A-Za-z0-9]*
`+`	匹配 1 次或者多次前面出现的正则表达式	[a-z]+.com
`?`	匹配 0 次或者 1 次前面出现的正则表达式	goo?
`{N}`	匹配 N 次前面出现的正则表达式	[0-9]{3}
`{M,N}`	匹配 M～N 次前面出现的正则表达式	[0-9]{5,9}
`[…]`	匹配来自字符集的任意单一字符	[aeiou]
`[..x−y..]`	匹配 x～y 范围中的任意单一字符	[0-9], [A-Za-z]
`[^…]`	不匹配此字符集中出现的任何一个字符，包括某一范围的字符	[^aeiou], [^A-Za-z0-9]

特殊字符

表示法	描述	正则表达式示例
`\\d`	匹配任何十进制数字，与 `[0-9]` 一致（ `\\D` 与 `\\d` 相反，不匹配任何非数值型的数字）	data\d+.txt
`\\w`	匹配任何字母数字字符，与 `[A-Za-z0-9_]` 相同（ `\\W` 与之相反）	[A-Za-z_]\w+
`\\s`	匹配任何空格字符，与 `[\\n\\t\\r\\v\\f]` 相同（ `\\S` 与之相反）	of\sthe
`\\b`	匹配任何单词边界（ `\\B` 与之相反） `\\bThe\\b\\N`
匹配已保存的子组 `N`	price:\16
`\\c`	逐字匹配任何特殊字符 `c` （即仅按照字面意义匹配，不匹配特殊含义）	.,\,*
`\\A` ( `\\Z` )	匹配字符串的起始（结束）	\ADear

【举例】匹配空行，如下两个正则表达式匹配空行：

“ ^$ ”：表示空行
“ ^[ ]*$ ”：表示空行以及全是空格的行

题目解决方案

方法一： `grep` 搭配正则使用

排除文件中符合表达式的行，并显示其他行

[email protected]:~$ grep -v '^$' nowcoder.txt
abc
567
aaa
bbb
ccc

或者搭配管道符一起使用：

[email protected]:~$ cat nowcoder.txt | grep -v '^$'
abc
567
aaa
bbb
ccc

方法二： `sed` 正则删除

[email protected]:~$ sed '/^$/d' nowcoder.txt
abc
567
aaa
bbb
ccc

d 是删除指令。

方法三： `awk` 正则过滤

[email protected]:~$ awk '!/^$/{print $NF}' nowcoder.txt
abc
567
aaa
bbb
ccc

方法四： `awk` 条件

[email protected]:~$ awk '{if(!/^$/) print $0}' nowcoder.txt
abc
567
aaa
bbb
ccc

或者搭配管道符一起使用

[email protected]:~$ cat nowcoder.txt | awk '{if(!/^$/) print $0}'
abc
567
aaa
bbb
ccc

! 表示否定

$0 表示输出行间所有内容

直接判断

$0

也可以：

[email protected]:~$ awk '{if($0 != "") print $0}' nowcoder.txt
abc
567
aaa
bbb
ccc

方法五： `while` 循环

while read line
do
        if [[ ! -z $line ]]
        then
                echo $line
        fi
done < nowcoder.txt

方法六： `tr` 命令

[email protected]:~$ cat nowcoder.txt | tr -s "\n"
abc
567
aaa
bbb
ccc

或者

[email protected]:~$ tr -s "[\n]" < nowcoder.txt
abc
567
aaa
bbb
ccc

【Shell牛客刷题系列】SHELL6 去掉空行：来学习字符转换工具——tr命令题目：SHELL6 去掉空行相关命令学习题目解决方案

题目：SHELL6 去掉空行

相关命令学习

`sed` ：批量编辑文本文件

`awk` ：文本和数据进行处理的编程语言

`grep` ：强大的文本搜索工具

`tr` ：字符转换工具

正则语法学习

题目解决方案

方法一： `grep` 搭配正则使用

方法二： `sed` 正则删除

方法三： `awk` 正则过滤

方法四： `awk` 条件

方法五： `while` 循环

方法六： `tr` 命令

继续阅读

Shell编程——sort排序、uniq忽略重复、tr替换压缩删除、cut指定删除字段、正则表达式元字符sort 命令uniq 命令tr 命令cut 命令正则表达式

Ubuntu14.04 LTS下安装mongodb

Nginx服务优化（1）——隐藏版本号、修改用户与组、网页缓存时间、日志切割、连接超时一、隐藏版本号二、修改用户与组三、配置Nginx网页缓存时间四、实现Nginx日志分割五、配置Nginx实现连接超时六、补充关于时间日期的命令

Linxu常用命令技巧汇总

httpd服务的部署、启动、配置和简单优化一、部署二、启动三、配置文件

配置网页内容访问

手动安装Intel network I217-LM网卡的Linux驱动

《Linux命令行与Shell脚本编程大全第2版.布卢姆》pdf

禁止ubuntu系统弹出报错界面

Ubuntu Linux下Apache的配置文件

ACS基本配置-权限等级管理

samba服务器的功能

【Linux】UDP广播报文接收速率问题

Linux设备模型（中）之上层容器

JBoss,Geronimo和Glassfish初窥

PowerPC平台 Linux移植三

【Shell牛客刷题系列】SHELL6 去掉空行：来学习字符转换工具——tr命令题目：SHELL6 去掉空行相关命令学习题目解决方案

题目：SHELL6 去掉空行

相关命令学习

sed ：批量编辑文本文件

awk ：文本和数据进行处理的编程语言

grep ：强大的文本搜索工具

tr ：字符转换工具

正则语法学习

题目解决方案

方法一： grep 搭配正则使用

方法二： sed 正则删除

方法三： awk 正则过滤

方法四： awk 条件

方法五： while 循环

方法六： tr 命令

继续阅读

`sed` ：批量编辑文本文件

`awk` ：文本和数据进行处理的编程语言

`grep` ：强大的文本搜索工具

`tr` ：字符转换工具

方法一： `grep` 搭配正则使用

方法二： `sed` 正则删除

方法三： `awk` 正则过滤

方法四： `awk` 条件

方法五： `while` 循环

方法六： `tr` 命令