awk|grep|sed|find
awk
1、awk 其他用法
awk '!S[$0]++' filename # 去除文件重复的行
awk 'S[$0]++' filename # 显示文件重复的行
awk '!S[$1]++' filename # 去除第一列相同的行
awk '!S[$2]++' filename # 去除第二列相同的行
awk '{S[$0]++}END{ for(i in S) print i"\t\t"S[i]}' filename # 去重，并统计每一行出现的次数
awk '{S[$2]++}END{ for(i in S) print i"\t\t"S[i]}' filename # 去重，并统计第二列字符出现的次数2、使用awk匹配用法
awk 'NR < 5' filename # 行号小于5
awk 'NR==1,NR==4 {print}' filename # 打印出来1和4的行号
awk '/linux/' filename # 包含linux文本的行
awk '!/linux/' # 不包含linux文本的行
awk '/stat/, /end/' filename # 打印处于start 和 end 之间的文本3、for 在 awk 中用法
netstat -n | awk '/^tcp/ {S[$NF]++} END {for(i in S) print i"\t\t"S[i]}' # 查看并发请求数及其 TCP 连接状态
netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn # 查看tcp连接状态4、if 在 awk 中用法
ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9 # 清除僵死进程
chkconfig --list | awk '{if ($5=="3:on") print $1}' # 查看系统自启动的服务5、BEGIN END 用法
awk 'BEGIN{num = 0 ;print "begin";} {sum += $1;} END {print "=="; print sum }' # 计算第二行的和
awk '{sum += $2} END {print sum }' # 计算第二行的和
awk ' END {print NR}' file # 统计文件的行数
find / -name *.jpg -exec du -sh {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}' # 统计所有的 jpg 的文件的大小6、变量在 awk 中用法
var=1000 ; echo | awk '{print vara}' vara=$var # 传递外部变量7、合并文本两行为一行
awk '{tmp=$0;getline;print tmp"\t"$0}' test.txtgrep
-o 只输出匹配的文本行 VS -v 只输出没有匹配的文本行 -c 统计文件中包含文本的次数 -n 打印匹配的行号 -i 搜索时忽略大小写 -l 只打印文件名 -w 精准匹配 -R 递归 -e 多条件 -A ：后跟一个数字（有无空格都可以），例如 A2则表示打印符合要求的行以及下面两行 -B ：后跟一个数字，例如 B2 则表示打印符合要求的行以及上面两行 -C ：后跟一个数字，例如 C2 则表示打印符合要求的行以及上下各两行
1、常用命令
grep -A2 'str' filename # 把包含 str 的行以及这行下面的两行都打印出
grep -B2 'str' filename # 把包含 str 的行以及这行上面的两行都打印出
grep -C2 'str' filename # 把包含 str 的行以及这行上面和下面的各两行都打印出。
grep -n 'str' filename # 过滤出带有某个关键词的行并输出行号
grep -nv 'str' filename # 过滤不带有某个关键词的行，并输出行号
grep '[0-9]' filename # 过滤出所有包含数字的行
grep -v '[0-9]' filename # 过滤出所有不包含数字的行
grep -v '^#' filename # 把所有以 # 开头的行去除
grep -v -e '^#' -e '^$' filename # 去除所有空行和以 ‘#' 开头的行
grep '^[^a-zA-Z]' filename # 去除所有以字母开头的行
grep '[^0-9a-zA-Z]' filename # 去除所有数字以及大小写字母开头的行
grep 'str*' filename # 模糊匹配包含 str 的字符
egrep 'str1+|str2+' filename # 匹配一个或一个以上前面的字符
egrep 'o?|oo?' filename # 匹配零个或一个前面的字符
egrep 'str1|str2|str3' filename # 匹配多个条件， 类似 grep -e例如：文件目录
[root@k8s-node02 ~]# tree
├── dir1
│ └── test1.txt
└── dir2
└── test2.txt2、递归精准查询当前路径下包含 test 的文件及行号
[root@k8s-node02 ~]# grep -R -n -w test . || grep -rn -w test .
./dir1/test1.txt:4:test
./dir2/test2.txt:4:test3、递归模糊查询当前路径下包含 test 的文件名
[root@k8s-node02 ~]# grep -R -l test .
./dir1/test1.txt
./dir2/test2.txt4、递归模糊查询当前路径下包含 test 的文件及行号
[root@k8s-node02 ~]# grep -R -n test .
./dir1/test1.txt:1:test1-1
./dir1/test1.txt:2:test1-2
./dir1/test1.txt:3:test1
./dir1/test1.txt:4:test
./dir2/test2.txt:1:test2-1
./dir2/test2.txt:2:test2-2
./dir2/test2.txt:3:test2
./dir2/test2.txt:4:test5、匹配多个条件
[root@k8s-node02 ~]# grep -R -n -e test1-1 -e test2-1 .
./dir1/test1.txt:1:test1-1
./dir2/test2.txt:1:test2-16、统计文件中 test 出现的次数
[root@k8s-node02 ~]# grep -c "test" ./dir1/test1.txt
4sed
1、常见参数
n 取消默认输出(输出所有文本内容)，-n只显示处理过的行
-i 直接操作文件
-f 使用sed脚本
-e 连续编辑
p 打印匹配的内容，通常与-n一起使用
a 追加 < 插入当前行的后面一行 >
i 插入 < 插入当前行的前面一行 >
c 更改
d 删除
s 替换
p 打印
= 打印匹配的行号
n 读取下一行
r,w 读和写
2、删除操作，！为取反操作
sed '2d' filename # 删除第2行
sed '2!d' filename # 删除第2行以外的所有行
sed '1,2d' filename # 删除第1、2行
sed '2,+1d' filename # 删除第2行及后面的一行
sed '1~3d' filename # 从第1行开始，每隔3行删除一行
sed '$'d filename # 删除最后一行
sed '/^$/d' filename # 删除空行
sed '/aaa/d' filename # 删除匹配 aaa 的行
sed '/aaa\|bbb/' filename # 删除匹配 aaa 或者 bbb 的行
sed '1,10{/aa/d}' filename # 删除 1~10 行匹配 aa 的行
sed '/aaa/,$d' filename # 删除匹配 aaa 行到最后一行
sed '/^#/d;/^$/d' filename # 删除注释行和空行
sed -i '/[:blank:]*#/d' filename # 删除一个或多个空格加 # 号的行3、插入新行
# a:插入当前行的后面一行， i:插入当前行的前面一行, c:更改行
sed 'atest' filename # 在每一行后面插入 test 行
sed '2atest' filename # 在第2行后面插入 test 行
sed '2!atest' filename # 在除了第2行的每一行后面插入 test 行
sed '/hello/atest' filename # 在匹配行后面插入 test
sed '$atest' filename # 在最后一行后面插入 test4、替换操作
sed 's/aaa/bbb/' filename # 替换所有行中第一个 aaa 为 bbb
sed 's/aaa/bbb/2' filename # 替换所有行中第二个 aaa 为 bbb
sed 's/aaa/bbb/g' filename # 替换所有的 aaa 为 bbb
sed '1,10s/aaa/bbb/g' filename # 替换第1行~第10行所有的 aaa 为 bbb
sed 's/^[0-9]/(&)/' filename # 将数字加上一个(), &为匹配到的内容
sed "/ccc/{s/aaa/bbb/g;q}" # 匹配ccc,并且把含有ccc的行中 aaa 都替换成 bbb, {}里可以执行多个命令，用;隔开即可,q是退出5、多个 sed 命令组合
sed -e "2d" -e "s/last/new/" # 删除第二行，并且匹配把last替换成new6、引用变量
sed -i "s/$old_str/$new_str/" filename
sed -i s/$old_str/$new_str/ filename
sed -i 's#'''$old_str'''#'''$new_str'''#g' file # 当变量中存在特殊字符/,将/改为#7、合并文本两行为一行
sed -n '{N;s/\n/\t/p}' test.txt8、过滤多了200b字符文件
vim查看文件，发现多了<200b>字符，使用/200b搜索匹配不上；
grep 200b 也匹配不上处理方法见： http://superuser.com/questions/207207/how-can-i-delete-u200b-zero-width-space-using-sed
sed 's/\xe2\x80\x8b//g' inputfilelinux中sed在指定字符前后添加内容
假设文档内容如下：
[root@localhost ~]# cat /tmp/input.txt
null
000011112222
test要求：在1111之前添加AAA,方法如下：
sed -i 's/指定的字符/要插入的字符&/' 文件
[root@localhost ~]# sed -i 's/1111/AAA&/' /tmp/input.txt
[root@localhost ~]# cat /tmp/input.txt
null
0000AAA11112222
test要求：在1111之后添加BBB，方法如下：
sed -i 's/指定的字符/&要插入的字符/' 文件
[root@localhost ~]# sed -i 's/1111/&BBB/' /tmp/input.txt
[root@localhost ~]# cat /tmp/input.txt
null
0000AAA1111BBB2222
test要求：(1) 删除所有空行；(2) 一行中，如果包含"1111"，则在"1111"前面插入"AAA"，在"11111"后面插入"BBB"
[root@localhost ~]# sed '/^$/d;s/1111/AAA&/;s/1111/&BBB/' /tmp/input.txt
null
0000BBB1111AAA2222
test要求：在每行的头添加字符，比如"HEAD"，命令如下：
[root@localhost ~]# sed -i 's/^/HEAD&/' /tmp/input.txt
[root@localhost ~]# cat /tmp/input.txt
HEADnull
HEAD000011112222
HEAD
HEADtest要求：在每行的尾部添加字符，比如"tail"，命令如下：
[root@localhost ~]# sed -i 's/$/&tail/' /tmp/input.txt
[root@localhost ~]# cat /tmp/input.txt
HEADnulltail
HEAD000011112222tail
HEADtail
HEADtesttail说明： 1."^"代表行首，"$"代表行尾 2.'s/$/&tail/g'中的字符g代表每行出现的字符全部替换，如果想在特定字符处添加，g就有用了，否则只会替换每行第一个，而不继续往后找。
find
-perm <权限数值>
-name 文件名字
-iname 忽略文件名的大小写，匹配所有大小写字母
-type f文件，d目录，l连接文件，b块设备，c串行端口设备
-size 通过文件大小查找
-inum 查找 inode
-user 指定属主，也可以使用 uid
-group 指定用户组，也可以使用 gid
-not 查找不满足条件的文件，用在特定的条件之前
-o 或者
-a 并且
-mindepth 指定目录的开始深度
-maxdepth 指定目录的最大深度
-*time mtime 创建或更改时间；atime 访问时间；ctime文件inode号被修改。
-*min mmin ±n，大于小于 n 分钟
-mtime +365 创建或更改时间，大于365天的
-mtime -10 创建或更改时间，小于10天
-atime +365 访问或读取时间，大于365天
-atime -10 访问或读取时间，小于10天
1、根据文件或者正则表达式进行匹配
find /tmp -name "aming*" # 查找 /tmp 目录下名字为 aming开头的所有文件。
find /tmp -iname abcde # 查找 /tmp 目录下包含abcde字母的文件，不区分大小
find /tmp -name "a*" -a -name "*c" -type f # 搜索 /tmp 目录下以 a 开头并且以 c 结尾的文件, 类似的还有：-a 且 ， -not 不满足
find /tmp -path "*local" # 匹配文件路径或者文件
find /tmp -iregex ".*\(\.txt\|\.pdf\)$" # 基于正则表达式匹配文件路径2、否定参数
find /tmp -type f ! -mtime -365 # 列出tmp目录下一年内都没有改变的文件3、根据文件类型进行搜索
find /tmp -type f -name ".*" # 在 /tmp 目录下查找所有的文件。4、基于目录深度搜索
find /tmp -maxdepth 3 -name "*.txt" # 搜索出最大目录层级为3的所有txt文件5、根据文件时间戳进行搜索
find /tmp -type f -mtime -365 # 搜索 tmp 目录下，修改时间一年内的文件
find /tmp -not -type f -mtime -365 # 搜索目录下，修改时间一年内，不是文件的其他类型
find /tmp -type f -atime +10 # 找出访问时间超过10分钟的所有文件
find /tmp -type f -mtime +10 # 找出修改时间超过10分钟的所欲文件6、根据文件大小进行匹配
find /tmp -name "*.txt" -size -10k # 搜索小于10KB的文件
find /tmp -name "*.txt" -size +10G # 搜索大于10G的文件7、删除匹配文件
find /tmp -name "*.txt" -size +10G -delete # 删除目录下所有大于10G的 txt 文件8、根据文件权限进行匹配
find /tmp -type f perm 644 # 找出当前目录下权限为644的文件
find /tmp -type f -user test # 找出当前目录用户test拥有的所有文件
find /tmp -type f -group test # 找出当前用户组test拥有的所有文
9、结合 -exec 使用
find /tmp -name "*.txt" -user test -exec chown root {} \;10、搜索但跳过指定的目录
find / -path "./root" -prune -o -name "*local" # 跳过 root 目录查找 *local* 文件11、搜索属于空文件，空目录，
find / -empth # 搜索属于空文件，空目录，Last updated