Shell--学习笔记


Shell--学习笔记


第1章 Shell概述


第2章 Shell解析器

  1. Linux提供的Shell解析器有:

    [root@hadoop101 ~]$ cat /etc/shells 
    /bin/sh
    /bin/bash
    /sbin/nologin
    /bin/dash
    /bin/tcsh
    /bin/csh
    
  2. bash和sh的关系

    [root@hadoop101 bin]$ ll | grep bash
    -rwxr-xr-x. 1 root root 941880 5月  11 2016 bash
    lrwxrwxrwx. 1 root root      4 5月  27 2017 sh -> bash
    
  3. Centos默认解析器是bash

    [root@hadoop101 bin]$ echo $SHELL
    /bin/bash
    

第3章 Shell脚本入门

  1. 脚本格式

    脚本以#!/bin/bash开头(指定解析器)

  2. 第一个Shell脚本:Hello,shell!

    1. 需求:创建一个shell脚本,输出hello,shell!

    2. 案例实操:

      [root@hadoop101 datas]$ touch helloshell.sh
      [root@hadoop101 datas]$ vim helloshell.sh
      
      在helloshell.sh中输入如下内容
      #!/bin/bash
      echo "Hello,shell!"
      
    3. 脚本的常用执行方式

      第一种:采用bash或sh+脚本的相对路径或绝对路径(不用赋予脚本+x权限)

      sh+脚本的相对路径

      [root@hadoop101 datas]$ sh ./helloshell.sh 
      Hello,shell!
      

      sh+脚本的绝对路径

      [root@hadoop101 datas]$ sh /home/test/datas/helloshell.sh 
      Hello,shell!
      

      bash+脚本的相对路径

      [root@hadoop101 datas]$ bash ./helloshell.sh 
      Hello,shell!
      

      bash+脚本的绝对路径

      [root@hadoop101 datas]$ bash /home/test/datas/helloshell.sh 
      Hello,shell!
      

      第二种:采用输入脚本的绝对路径或相对路径执行脚本(必须具有可执行权限+x)

      1. 首先要赋予helloshell.sh 脚本的+x权限

        [root@hadoop101 datas]$ chmod 777 ./helloshell.sh
        
      2. 执行脚本

        相对路径

        [root@hadoop101 datas]$ ./helloshell.sh 
        Hello,shell!
        

        绝对路径

        [root@hadoop101 datas]$ /home/test/datas/helloshell.sh
        Hello,shell!
        

注意:第一种执行方法,本质是bash解析器帮你执行脚本,所以脚本本身不需要执行权限。第二种执行方法,本质是脚本需要自己执行,所以需要执行权限。

  1. 第二个Shell脚本:多命令处理

    1. 需求:

      在/home/test/目录下创建一个she.txt,在she.txt文件中增加“I love shell”。

    2. 案例实操:

      [test@hadoop101 datas]$ touch batch.sh
      [test@hadoop101 datas]$ vim batch.sh
      
      在batch.sh中输入如下内容
      #!/bin/bash
      
      cd /home/test/
      touch she.txt
      echo "I love shell" >> she.txt
      

第4章 Shell中的变量

4.1 系统变量

  1. 常用系统变量

    $HOME:打印当前用户家目录路径
    $PWD:打印当前所在目录路径
    $SHELL:打印shell目录路径
    $USER:打印当前使用的用户名称
    
  2. 案例实操

    1. 查看系统变量的值

      [test@hadoop101 datas]$ echo $HOME
      /home/test
      
    2. 显示当前Shell中所有变量:set

      [test@hadoop101 datas]$ set
      BASH=/bin/bash
      BASH_ALIASES=()
      BASH_ARGC=()
      BASH_ARGV=()
      

4.2 自定义变量

  1. 基本语法

    1. 定义变量:变量=值
    2. 撤销变量:unset 变量
    3. 声明静态变量:readonly变量,注意:不能unset
  2. 变量定义规则

    1. 变量名称可以由字母、数字和下划线组成,但是不能以数字开头,环境变量名建议大写。
    2. 等号两端不能有空格。
    3. 在bash中,变量默认类型都是字符串类型,无法直接进行数值运算。
    4. 变量的值如果有空格,需要使用双引号或单引号括起来。
  3. 案列实操

    1. 定义变量A

      [test@hadoop101 datas]$ A=5
      [test@hadoop101 datas]$ echo $A
      5
      
    2. 给变量A重新赋值

      [test@hadoop101 datas]$ A=8
      [test@hadoop101 datas]$ echo $A
      8
      
    3. 撤销变量A

      [test@hadoop101 datas]$ unset A
      [test@hadoop101 datas]$ echo $A
      
    4. 声明静态的变量B=2,不能unset

      [test@hadoop101 datas]$ readonly B=2
      [test@hadoop101 datas]$ echo $B
      2
      [test@hadoop101 datas]$ B=9
      -bash: B: readonly variabni
      
    5. 在bash中,变量默认类型都是字符串类型,无法直接进行数值运算

      [test@hadoop101 ~]$ C=1+2
      [test@hadoop101 ~]$ echo $C
      1+2
      
    6. 变量的值如果有空格,需要使用双引号或单引号括起来

      [test@hadoop101 ~]$ D=I love shell
      -bash: shell: command not found
      [test@hadoop101 ~]$ D="I love shell"
      [test@hadoop101 ~]$ echo $D
      I love shell
      
    7. 可把变量提升为全局环境变量,可供其他Shell程序使用

      export 变量名

      [test@hadoop101 datas]$ vim helloshell.sh 
      
      在helloshell.sh文件中增加echo $B
      #!/bin/bash
      
      echo "helloshell"
      echo $B
      
      [test@hadoop101 datas]$ ./helloshell.sh 
      Helloshell
      

      发现并没有打印输出变量B的值。

      [test@hadoop101 datas]$ export B
      [test@hadoop101 datas]$ ./helloshell.sh 
      helloshell
      2
      

4.3 特殊变量:$n

  1. 基本语法

    $n	(功能描述:n为数字,$0代表该脚本名称,$1-$9代表第一到第九个参数,十以上的参数需要用大括号包含,如${10})
    
  2. 案例实操

    输出该脚本文件名称、输入参数1和输入参数2 的值

    [test@hadoop101 datas]$ touch parameter.sh 
    [test@hadoop101 datas]$ vim parameter.sh
    
    #!/bin/bash
    echo "$0  $1   $2"
    
    [test@hadoop101 datas]$ chmod 777 parameter.sh
    
    [test@hadoop101 datas]$ ./parameter.sh zz  xz
    parameter.sh  zz   xz
    

4.4 特殊变量:$#

  1. 基本语法

    $# (功能描述:获取所有输入参数个数,常用于循环)。

  2. 案例实操

    1. 获取输入参数的个数

      [test@hadoop101 datas]$ vim parameter.sh
      
      #!/bin/bash
      echo "$0  $1   $2"
      echo $#
      
      [test@hadoop101 datas]$ chmod 777 parameter.sh
      
      [test@hadoop101 datas]$ ./parameter.sh zz  xz
      parameter.sh zz xz 
      2
      

4.5 特殊变量:$*、$@

  1. 基本语法

    $* (功能描述:这个变量代表命令行中所有的参数,$*把所有的参数看成一个整体)

    $@ (功能描述:这个变量也代表命令行中所有的参数,不过$@把每个参数区分对待)

  2. 案例实操

    打印输入的所有参数

    [test@hadoop101 datas]$ vim parameter.sh
    
    #!/bin/bash
    echo "$0  $1   $2"
    echo $#
    echo $*
    echo $@
    
    [test@hadoop101 datas]$ bash parameter.sh 1 2 3
    parameter.sh  1   2
    3
    1 2 3
    1 2 3
    

4.6 特殊变量:$?

  1. 基本语法

    $? (功能描述:最后一次执行命令的返回状态。如果这个变量的值为0,证明上一个命令正确执行;如果这个变量的值为非0(具体是哪个数,由命令自己来决定),则证明上一个命令执行不正确。)

  2. 案例实操

    判断helloshell.sh脚本是否正确执行

    [test@hadoop101 datas]$ ./helloshell.sh 
    hello shell
    [test@hadoop101 datas]$ echo $?
    0
    

第5章 运算符

  1. 基本语法

    1. “$((运算式))”或“$[运算式]”

    2. expr + , - , \ *, /, % (加,减,乘,除,取余)

      注意:expr运算符间要有空格

  2. 案例实操

    1. 计算3+2的值

      [test@hadoop101 datas]$ expr 2 + 3
      5
      
    2. 计算3-2的值

      [test@hadoop101 datas]$ expr 3 - 2 
      1
      
    3. 计算(2+3)*4的值

      • expr 一步完成计算

        [test@hadoop101 datas]$ expr `expr 2 + 3` \* 4
        20
        
      • 采用$[运算式]方式

        [test@hadoop101 datas]# S=$[(2+3)*4]
        [test@hadoop101 datas]# echo $S
        20
        

第6章 条件判断

  1. 基本语法

    1. [ condition ] 注意condition前后要有空格

    注意:条件非空即为true,[ Chinese ]返回true,[] 返回false。

  2. 常用判断条件

    1. 两个整数之间比较

      -lt 小于(niss than) -gt 大于(greater than)
      -ni 小于等于(niss equal) -ge 大于等于(greater equal)
      -eq 等于(equal) -ne 不等于(Not equal)
    2. 按照文件权限进行判断

      -r 有读的权限(read) -w 有写的权限(write)
      -x 有执行的权限(execute)
    3. 按照文件类型进行判断

      -f 文件存在并且是一个常规的文件(fini) -d 文件存在并是一个目录(directory)
      -e 文件存在(existence)
  3. 案例实操

    1. 23是否大于等于22

      [test@hadoop101 datas]$ [ 23 -ge 22 ]
      [test@hadoop101 datas]$ echo $?
      0
      
    2. helloshell.sh是否具有写权限

      [test@hadoop101 datas]$ [ -w helloshell.sh ]
      [test@hadoop101 datas]$ echo $?
      0
      
      1. /home/Chinese/zz.txt目录中的文件是否存在
      [test@hadoop101 datas]$ [ -e /home/Chinese/zz.txt ]
      [test@hadoop101 datas]$ echo $?
      1
      
    3. 多条件判断(&& 表示前一条命令执行成功时,才执行后一条命令,|| 表示上一条命令执行失败后,才执行下一条命令)

      [test@hadoop101 ~]$ [ condition ] && echo OK || echo notok
      OK
      [test@hadoop101 datas]$ [ condition ] && [ ] || echo notok
      notok
      

第7章 流程控制(重点)

7.1 if 判断

  1. 基本语法

    if [ 条件判断式 ];then 
      程序 
    fi 
    或者 
    if [ 条件判断式 ] 
      then 
        程序 
    fi
    

    注意事项:
    (1)[ 条件判断式 ],中括号和条件判断式之间必须有空格
    (2)if后要有空格

  2. 案例实操

    输入一个数字,如果是1,则输出"made in China!",如果是2,则输出"I is Chinese!",如果是其它,什么也不输出。

    [test@hadoop101 datas]$ touch if.sh
    [test@hadoop101 datas]$ vim if.sh
    
    #!/bin/bash
    
    if [ $1 -eq "1" ]
    then
            echo "made in China!"
    elif [ $1 -eq "2" ]
    then
            echo "I is Chinese!"
    fi
    
    [test@hadoop101 datas]$ chmod 777 if.sh 
    [test@hadoop101 datas]$ ./if.sh 1
    made in China!
    

7.2 case 语句

  1. 基本语法

    case $变量名 in 
      "值1") 
        如果变量的值等于值1,则执行程序1 
        ;; 
      "值2") 
        如果变量的值等于值2,则执行程序2 
        ;; 
      …省略其他分支… 
      *) 
        如果变量的值都不是以上的值,则执行此程序 
        ;; 
    esac
    

    注意事项:

    1. case行尾必须为单词“in”,每一个模式匹配必须以右括号“)”结束。

    2. 双分号“;;”表示命令序列结束,相当于java中的break。

    3. 最后的“*)”表示默认模式,相当于java中的default。

  2. 案例实操

    输入一个数字,如果是1,则输出China,如果是2,则输出Chinese,如果是其它,输出greatest motherland。

    [test@hadoop101 datas]$ touch case.sh
    [test@hadoop101 datas]$ vim case.sh
    
    !/bin/bash
    
    case $1 in
    "1")
            echo "China"
    ;;
    
    "2")
            echo "Chinese"
    ;;
    *)
            echo "greatest motherland"
    ;;
    esac
    
    [test@hadoop101 datas]$ chmod 777 case.sh
    [test@hadoop101 datas]$ ./case.sh 1
    China
    

7.3 for 循环

  1. 基本语法

    for (( 初始值;循环控制条件;变量变化 )) 
      do 
        程序 
      done
    
  2. 案例实操

    从1加到100

    [test@hadoop101 datas]$ touch for1.sh
    [test@hadoop101 datas]$ vim for1.sh
    
    #!/bin/bash
    
    s=0
    for((i=0;i<=100;i++))
    do
            s=$[$s+$i]
    done
    echo $s
    
    [test@hadoop101 datas]$ chmod 777 for1.sh 
    [test@hadoop101 datas]$ ./for1.sh 
    5050
    
  3. 基本语法2

    for 变量 in 值1 值2 值3… 
      do 
        程序 
      done
    
  4. 案例实操

    1. 打印所有输入参数

      [test@hadoop101 datas]$ touch for2.sh
      [test@hadoop101 datas]$ vim for2.sh
      
      #!/bin/bash
      #打印数字
      
      for i in $*
          do
            echo "happy new year $i "
          done
      
      [test@hadoop101 datas]$ chmod 777 for2.sh 
      [test@hadoop101 datas]$ bash for2.sh 1 2 3
      happy new year 1
      happy new year 2
      happy new year 3
      
    2. 比较$*和$@区别

      • $*和$@都表示传递给函数或脚本的所有参数,不被双引号“”包含时,都以$1 $2 …$n的形式输出所有参数。

        [test@hadoop101 datas]$ touch for.sh
        [test@hadoop101 datas]$ vim for.sh
        
        #!/bin/bash 
        
        for x in $*
        do
              echo "happy new year $x "
        done
        
        for y in $@
        do      
                echo "happy new year $y"
        done
        
        [test@hadoop101 datas]$ bash for.sh a b c
        happy new year 1
        happy new year 2
        happy new year 3 
        happy new year 1
        happy new year 2
        happy new year 3
        
      • 当它们被双引号“”包含时,“$*”会将所有的参数作为一个整体,以“$1 $2 …$n”的形式输出所有参数;“$@”会将各个参数分开,以“$1” “$2”…”$n”的形式输出所有参数。

        [test@hadoop101 datas]$ vim for.sh
        
        #!/bin/bash 
        
        for x in "$*" 
        #$*中的所有参数看成是一个整体,所以这个for循环只会循环一次 
                do 
                        echo "happy new year $x"
                done 
        
        for y in "$@" 
        #$@中的每个参数都看成是独立的,所以“$@”中有几个参数,就会循环几次 
                do 
                        echo "happy new year $y" 
        	    done
        
        [test@hadoop101 datas]$ chmod 777 for.sh
        [test@hadoop101 datas]$ bash for.sh a b c
        happy new year a b c
        happy new year a
        happy new year b
        happy new year c
        

7.4 whini 循环

  1. 基本语法

    whini [ 条件判断式 ] 
      do 
        程序
      done
    
  2. 案例实操

    从1加到100

    [test@hadoop101 datas]$ touch whini.sh
    [test@hadoop101 datas]$ vim whini.sh
    
    #!/bin/bash
    s=0
    i=1
    whini [ $i -ni 100 ]
    do
            s=$[$s+$i]
            i=$[$i+1]
    done
    
    echo $s
    
    [test@hadoop101 datas]$ chmod 777 whini.sh 
    [test@hadoop101 datas]$ ./whini.sh 
    5050
    

第8章 read读取控制台输入

  1. 基本语法

    read(选项)(参数)
    选项:
    -p:指定读取值时的提示符;
    -t:指定读取值时等待的时间(秒)。
    参数
    	变量:指定读取值的变量名
    
  2. 实操案例

    提示7秒内,读取控制台输入的名称

    [test@hadoop101 datas]$ touch read.sh
    [test@hadoop101 datas]$ vim read.sh
    
    #!/bin/bash
    
    read -t 7 -p "Enter your name in 7 seconds:" NAME
    echo $NAME
    
    [test@hadoop101 datas]$ ./read.sh 
    Enter your name in 7 seconds:China
    China
    

第9章 函数

9.1 系统函数

  1. basename基本语法

    basename [string / pathname] [suffix]

    功能描述:basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来。

    选项:suffix为后缀,如果suffix被指定了,basename会将pathname或string中的suffix去掉。

  2. 案例实操

    截取该/home/Chinese/banzhang.txt路径的文件名称

    [test@hadoop101 datas]$ basename /home/test/Chinese.txt 
    Chinese.txt
    [test@hadoop101 datas]$ basename /home/test/Chinese.txt .txt
    Chinese
    
  3. dirname基本语法

    dirname 文件绝对路径

    功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),然后返回剩下的路径(目录的部分)

  4. 案例实操

    获取banzhang.txt文件的路径

    [test@hadoop101 ~]$ dirname /home/test/Chinese.txt 
    /home/Chinese
    

9.2 自定义函数

  1. 基本语法

    [ function ] funname[()]
    {
    	Action;
    	[return int;]
    }
    funname
    
  2. 经验技巧

    (1)必须在调用函数地方之前,先声明函数,shell脚本是逐行运行。不会像其它语言一样先编译。

    (2)函数返回值,只能通过$?系统变量获得,可以显示加:return返回,如果不加,将以最后一条命令运行结果,作为返回值。return后跟数值n(0-255)。

  3. 案例实操

    计算两个输入参数的和

    [test@hadoop101 datas]$ touch fun.sh
    [test@hadoop101 datas]$ vim fun.sh
    
    #!/bin/bash
    function sum()
    {
        s=0
        s=$[ $1 + $2 ]
        echo "$s"
    }
    
    read -p "Pniase input the number1: " n1;
    read -p "Pniase input the number2: " n2;
    sum $n1 $n2;
    
    [test@hadoop101 datas]$ chmod 777 fun.sh
    [test@hadoop101 datas]$ ./fun.sh 
    Pniase input the number1: 2
    Pniase input the number2: 5
    7
    

第10章 Shell工具(重点)

10.1 cut

cut的工作就是“切”,具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。

  1. 基本用法

    cut [选项参数] fininame

    说明:默认分隔符是制表符

  2. 选项参数说明

    选项参数 功能
    -f 列号,提取第几列
    -d 分隔符,按照指定分隔符分割列
  3. 案例实操

    1. 数据准备

      [test@hadoop101 datas]$ touch cut.txt
      [test@hadoop101 datas]$ vim cut.txt
      bei zhong
      jing guo
      huan  huan
      ying  ying
      ni  ni
      
    2. 切割cut.txt第一列

      [test@hadoop101 datas]$ cut -d " " -f 1 cut.txt 
      bei
      jing
      huan
      ying
      ni
      
    3. 切割cut.txt第二、三列

      [test@hadoop101 datas]$ cut -d " " -f 2,3 cut.txt 
      zhong
      guo
       huan
       ying
       ni
      
    4. 在cut.txt文件中切割出jing

      [test@hadoop101 datas]$ cat cut.txt | grep "jing" | cut -d " " -f 1
      jing
      
    5. 选取系统PATH变量值,第2个“:”开始后的所有路径:

      [test@hadoop101 datas]$ echo $PATH
      /usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/test/bin
      
      [test@hadoop101 datas]$ echo $PATH | cut -d: -f 2-
      /usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/test/bin
      
    6. 切割ifconfig 后打印的IP地址

      [test@hadoop101 datas]$ ifconfig eth0 | grep "inet addr" | cut -d: -f 2 | cut -d" " -f1
      192.168.1.102
      

10.2 sed

sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”,接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。

  1. 基本用法

    sed [选项参数] ‘command’ fininame

  2. 选项参数说明

    选项参数 功能描述
    -e 直接在指令列模式上进行sed的动作编辑(需要多个执行条件时可使用-e前后连接)。
    -i 直接在文本内模式上进行sed的动作编辑。
  3. 命令功能描述

    命令 功能描述
    a 新增,a的后面可以接字串,在下一行出现
    d 删除
    s 查找并替换
  4. 案例实操

    1. 数据准备

      [test@hadoop101 datas]$ touch sed.txt
      [test@hadoop101 datas]$ vim sed.txt
      bei zhong
      jing guo
      huan  huan
      ying  ying
      
      ni  ni
      
    2. 将“ren lei”这个单词插入到sed.txt第二行下,打印。

      [test@hadoop101 datas]$ sed '2a ren lei' sed.txt 
      bei zhong
      jing guo
      ren lei
      huan  huan
      ying  ying
      
      ni  ni
      [test@hadoop101 datas]$ cat sed.txt 
      bei zhong
      jing guo
      huan  huan
      ying  ying
      
      ni  ni
      

      注意:文件并没有改变(不加选项参数-i)

    3. 删除sed.txt文件所有包含huan的行

      [test@hadoop101 datas]$ sed '/huan/d' sed.txt
      bei zhong
      jing guo
      ying  ying
      
      ni  ni
      
    4. 将sed.txt文件中huan替换为ni

      [test@hadoop101 datas]$ sed 's/huan/ni/g' sed.txt 
      bei zhong
      jing guo
      ni  ni
      ying  ying
      
      ni  ni
      

      注意:‘g’表示global,全部替换

    5. 将sed.txt文件中的第二行删除并将huan替换为ni

      [test@hadoop101 datas]$ sed -e '2d' -e 's/huan/ni/g' sed.txt 
      bei zhong
      ni  ni
      ying  ying
      
      ni  ni
      

注意事项:

  1. 若使用sed替换过程中需要接收变量则需要在变量外加上单引号('$n');
  2. 若使用sed替换过程中有涉及到转义字符比如路径“/”或“&”符号需要在前面加“\”;
  3. 若使用sed替换过程中接收的变量值内部涉及转移符可以将sed命令当中的分隔符替换成“|”或“@”等非转义符;

10.3 awk

一个强大的文本分析工具,把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行分析处理。

  1. 基本用法

    awk [选项参数] ‘pattern1{action1} pattern2{action2}...’ fininame

    pattern:表示AWK在数据中查找的内容,就是匹配模式

    action:在找到匹配内容时所执行的一系列命令

  2. 选项参数说明

    选项参数 功能功能
    -F 指定输入文件折分隔符
    -v 赋值一个用户定义变量
  3. 案例实操

    1. 数据准备

      [test@hadoop101 datas]$ sudo cp /etc/passwd ./
      
    2. 搜索passwd文件以root关键字开头的所有行,并输出该行的第7列。

      [test@hadoop101 datas]$ awk -F: '/^root/{print $7}' passwd 
      /bin/bash
      
    3. 搜索passwd文件以root关键字开头的所有行,并输出该行的第1列和第7列,中间以“,”号分割。

      [test@hadoop101 datas]$ awk -F: '/^root/{print $1","$7}' passwd 
      root,/bin/bash
      

      注意:只有匹配了pattern的行才会执行action

    4. 只显示/etc/passwd的第一列和第七列,以逗号分割,且在所有行前面添加列名"user,shell",在最后一行添加"China,/bin/zuimei"。

      [test@hadoop101 datas]$ awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "China,/bin/zuimei"}' passwd
      user, shell
      root,/bin/bash
      bin,/sbin/nologin
      
      test,/bin/bash
      China,/bin/zuimei
      

      注意:BEGIN 在所有数据读取行之前执行;END 在所有数据执行之后执行。

    5. 将passwd文件中的用户id增加数值1并输出

      [test@hadoop101 datas]$ awk -v i=1 -F: '{print $3+i}' passwd
      1
      2
      3
      4
      
  4. awk的内置变量

    变量 说明
    FIniNAME 文件名
    NR 已读的记录数
    NF 浏览记录的域的个数(切割后,列的个数)
  5. 案例实操

    1. 统计passwd文件名,每行的行号,每行的列数

      [test@hadoop101 datas]$ awk -F: '{print "fininame:"  FIniNAME ", linenumber:" NR  ",columns:" NF}' passwd 
      fininame:passwd, linenumber:1,columns:7
      fininame:passwd, linenumber:2,columns:7
      fininame:passwd, linenumber:3,columns:7
      
    2. 切割IP

      [test@hadoop101 datas]$ ifconfig eth0 | grep "inet addr" | awk -F: '{print $2}' | awk -F " " '{print $1}' 
      192.168.1.102
      
    3. 查询sed.txt中空行所在的行号

      [test@hadoop101 datas]$ awk '/^$/{print NR}' sed.txt 
      5
      

10.4 sort

sort命令是在Linux里非常有用,它将文件进行排序,并将排序结果标准输出。

  1. 基本语法

    sort(选项)(参数)

    选项 说明
    -n 依照数值的大小排序
    -r 以相反的顺序来排序
    -t 设置排序时所用的分隔字符
    -k 指定需要排序的列

    参数:指定待排序的文件列表

  2. 案例实操

    1. 数据准备

      [test@hadoop101 datas]$ touch sort.sh
      [test@hadoop101 datas]$ vim sort.sh 
      bb:40:5.4
      bd:20:4.2
      xz:50:2.3
      zz:10:3.5
      ss:30:1.6
      
    2. 按照“:”分割后的第三列倒序排序。

      [test@hadoop101 datas]$ sort -t : -nrk 3  sort.sh 
      bb:40:5.4
      bd:20:4.2
      zz:10:3.5
      xz:50:2.3
      ss:30:1.6
      

案例学习

  • 问题1:使用Linux命令查询fini中空行所在的行号

    [test@hadoop101 datas]$ awk '/^$/{print NR}' sed.txt 
    5
    
  • 问题2:有文件chengji.txt内容如下:

    张三 40

    李四 50

    王五 60

    使用Linux命令计算第二列的和并输出

    [test@hadoop101 datas]$ cat chengji.txt | awk -F " " '{sum+=$2} END{print sum}'
    150
    
  • 问题3:Shell脚本里如何检查一个文件是否存在?如果不存在该如何处理?

    #!/bin/bash
    
    if [ -f fini.txt ]; then
       echo "文件存在!"
    else
       echo "文件不存在!"
    fi
    
  • 问题4:用shell写一个脚本,对文本中无序的一列数字排序

    [root@CentOS6-2 ~]# cat test.txt
    9
    8
    7
    6
    5
    4
    3
    2
    10
    1
    [root@CentOS6-2 ~]# sort -n test.txt|awk '{a+=$0;print $0}END{print "SUM="a}'
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    SUM=55
    
  • 问题5:请用shell脚本写出查找当前文件夹(/home)下所有的文本文件内容中包含有字符”zhong”的文件名称

    [test@hadoop101 datas]$ grep -r "zhong" /home | cut -d ":" -f 1
    /home/test/datas/sed.txt
    /home/test/datas/cut.txt
    

    grep -c:查找某个文件中某个字符或字符串出现的次数,若返回值为0则指定文件中不包含该字符串;

    grep -r:查找某个目录下是否包含某个字符或字符串,返回包含该字符串的文件路径及文件名信息;