Linux awk less tail grep 使用

2018/11/06 linux

Linux awk less grep sed 等命令使用

  • shell demo

set time = 12:34:56
set hr = `echo $time | awk '{split($0,a,":" ); print a[1]}'` # = 12

set sec = `echo $time | awk '{split($0,a,":" ); print a[3]}'` # = 56

set hms = `echo $time | awk '{split($0,a,":" ); print a[1], a[2], a[3]}'`# = 12 34 56

# 获得5 - 10 line 并且用 `;` 分隔每一行  获得第个元素
sed -n '5,10p' xvideos.com-db.csv | awk '{split($0,a,";" ); print a[1]}'

sed -n '5,10p' xvideos.com-db.csv | awk '{split($0,a,";" ); print a[1] a[2]}'

#从第3000行开始,显示1000行。即显示3000~3999行
cat filename | tail -n +3000 | head -n 1000

#显示1000行到3000行

cat filename| head -n 3000 | tail -n +1000 

tail -n 1000 #:显示最后1000行

tail -n +1000 #:从1000行开始显示,显示1000行以后的

head -n 1000 #:显示前面1000行

tail -400f demo.log #监控最后400行日志文件的变化 等价与 tail -n 400 -f (-f参数是实时)

less demo.log #查看日志文件,支持上下滚屏,查找功能

uniq -c demo.log  #标记该行重复的数量,不重复值为1

grep 'INFO' demo.log     #在文件demo.log中查找所有包行INFO的行

grep -o 'order-fix.curr_id:\([0-9]\+\)' demo.log    #-o选项只提取order-fix.curr_id:xxx的内容(而不是一整行),并输出到屏幕上
grep -c 'ERROR' demo.log   #输出文件demo.log中查找所有包行ERROR的行的数量

# 输出demo.log中的某个日期中的ERROR的行
sed -n '/^2011-08-23.*ERROR/p' demolog.log

#指定执行的sed文件
sed -f demo.sed2 demo.log
  • demo.sed2
#n   #这一行用法和命令中的-n一样意思,就是默认不输出
#demo.sed2
#下面的一行是替换指令,就是把19位长的日期和INFO/ERROR,id,和后面的一截提取出来,然后用@分割符把这4个字段重新按顺序组合
s/^\([-\: 0-9]\{19\}\).*\(INFO\|ERROR\) .*order-fix.curr_id:\([0-9]\+\),\(.*$\)/\1@\3@\2@\4/p


#排序功能 -t表示用@作为分割符,-k表示用分割出来的第几个域排序(不要漏掉后面的,2/,3/,1,详细意思看下面的参考链接,这里不做详述)
sed -f test.sed demolog.log | sort -t@ -k2,2n -k3,3r -k1,1  #n为按数字排序,r为倒序


awk 'BEGIN{FS="@"} {print $2,$3}' demo.log_after_sort   #BEGIN中预处理的是,把@号作为行的列分割符,把分割后的行的第2,3列输出

  • 对指定时间范围内的日志进行统计,包括输出INFO,ERROR总数,记录总数,每个订单记录分类统计
sed -f demo.sed demolog.log | sort -t@ -k2,2n -k3,3r -k1,1 | awk -f demo.awk

  • demo.awk
#下面的例子是作为命令行输入的,利用单引号作为换行标记,这样就不用另外把脚本写进文件调用了
awk '
BEGIN {
FS="@"
}

{
if ($3 == "INFO") {info_count++}
if ($3 == "ERROR") {error_count++}

}

END {
print "order total count:"NR           #NR是awk内置变量,是遍历的当前行号,到了END区域自然行号就等于总数了
printf("INFO count:%d ERROR count:%d\n",info_count,error_count)
} ' demo.log_after_sort

ll -lrth #:按照更改时间倒序排列,最新文件在下边

ll -lrSh #:按照文件大小倒序排列,最大文件在下边
grep --color # :高亮查询关键字
  • 在大多数情况下 awkprint 语句可以完成任务,但有时我们还需要更多。在那些情况下,awk 提供了两个我们熟知的函数 printf()sprintf()。是的,如同其它许多 awk 部件一样,这些函数等同于相应的 C 语言函数printf() 会将格式化字符串打印到 stdout,而 sprintf()函数返回根据printf格式说明指定的格式化的字符串,它格式化数据但不输出数据。a w k提供函数printf,拥有几种不同的格式化输出功能。例如按列输出、左对齐或右对齐方式。
  • printf()函数基本语法是printf()格式控制符参数) ,格式控制字符通常在引号里。类似C语言,awk printf格式有如下:
      %c //ASCII字符
      %d //整数
      %e //浮点数,科学记数法
      %f //浮点数,例如(1 2 3 . 4 4)
      %g //awk决定使用哪种浮点数转换 e或者f
      %o //八进制数
      %s //字符串
      %x //十六进制数
    
  • 下面来试试这些个格式:
    echo 97 | awk '{printf("%c\n", $0)}'
    A
    
  • 类似C语言的格式化输出:
    awk 'BEGIN{FS=":"}{printf("%-15s%s\n", $1, $3)}' group_file2
    wireshark    987
    usbmon       986
    jackuser     985
    vboxusers    984
    aln         1001
    
  • sprintf()函数返回根据printf格式说明指定的格式化的字符串,它格式化数据但不输出数据。所以需要将sprintf返回的数据保存在变量里面再输出
awk 'BEGIN{FS=":";ORS=""}{var=sprintf("%s\n", $1);print var}' group_file2
wireshark
usbmon
jackuser
vboxusers
aln
  • 清除 Javascript 脚本里面的所有console(包含即删除整行)
 sed -i "" "/console/d" app.txt # Mac (Mac默认会要求你操作源文件的时候备份)

# 可以配合 find 使用
 find . -name "*.js"
 sed -i "/console/d" app.txt # Linux

#Mac 

find . -name "*.js" | awk '{print$1}' | xargs -L1  -I NAME sed -i ""  "/console/d" NAME

# 如果失败或者遇到问题
git checkout . && git clean -xdf


一个Linux 大佬 https://blog.csdn.net/imxiangzi/article/details/50387073

转载请注明出处,本文采用 CC4.0 协议授权

Affiliate

Search

    Post Directory