Sed&awk笔记之awk篇:快速了解Awk(三)

    xiaoxiao2026-01-24  10

    上一篇中,主要介绍了awk中的一些基础概念,包括记录与字段、表达式、变量、语句等等,本篇在此基础上进一步介绍下awk中的函数。 awk的函数分成数学函数、字符串函数、I/O处理函数以及用户自定义的函数,其中用户自定义的函数我们在 上一篇中也有简单的介绍,下面我们一一来介绍这几类函数。

    数学函数

    awk 中支持以下数学函数: atan2(y,x):反正切函数; cos(x):余弦函数; sin(x):正弦函数; exp(x):以自然对数e为底指数函数; log(x):计算以e 为底的对数值; sqrt(x):计算平方根函数; int(x):将数值转换成整数; rand():返回0到1的一个随机数值,不包含1; srand([expr]):设置随机种子,一般与rand函数配合使用,如果参数为空,默认使用当前时间为种子; 例如,我们使用 rand()函数生成一个随机数值: [kodango@devops awk_temp]$ awk 'BEGIN {print rand(),rand();}' 0.237788 0.291066 [kodango@devops awk_temp]$ awk 'BEGIN {print rand(),rand();}' 0.237788 0.291066 但是你会发现,每次awk执行都会生成同样的随机数,但是在一次执行过程中产生的随机数又是不同的。因为每次awk执行都使用了同样的种子,所以我们可以用 srand()函数来设置种子: [kodango@devops awk_temp]$ awk 'BEGIN {srand();print rand(),rand();}' 0.171625 0.00692412 [kodango@devops awk_temp]$ awk 'BEGIN {srand();print rand(),rand();}' 0.43269 0.782984 这样每次生成的随机数就不一样了。 利用 rand()函数我们也可以生成1到n的整数: [kodango@devops awk_temp]$ awk ' > function randint(n) { return int(n*rand()); } > BEGIN { srand(); print randint(10); > }' 3

    字符串函数

    awk中包含大多数常见的字符串操作函数。

    1. sub(ere, repl[, in])

    描述:简单地说,就是将in中匹配ere的部分替换成repl,返回值是替换的次数。如果in参数省略,默认使用$0。替换的动作会直接修改变量的值。 下面是一个简单的替换的例子: [kodango@devops ~]$ echo "hello, world" | awk '{print sub(/ello/, "i"); print}' 1 hi, world 在repl参数中&是一个元字符,它表示匹配的内容,例如: [kodango@devops ~]$ awk 'BEGIN {var="kodango"; sub(/kodango/, "hello, &", var); print var}' hello, kodango

    2. gsub(ere, repl[, in])

    描述:同 sub()函数功能类似,只不过是 gsub()是全局替换,即替换所有匹配的内容。

    3. index(s, t)

    描述:返回字符串t在s中出现的位置,注意这里位置是从1开始计算的,如果没有找到则返回0。 例如: [kodango@devops ~]$ awk 'BEGIN {print index("kodango", "o")}' 2 [kodango@devops ~]$ awk 'BEGIN {print index("kodango", "w")}' 0

    4. length[([s])]

    描述:返回字符串的长度,如果参数s没有指定,则默认使用$0作为参数。 例如: [kodango@devops ~]$ awk 'BEGIN {print length('kodango');}' 0 [kodango@devops ~]$ echo "first line" | awk '{print length();}' 10

    5. match(s, ere)

    描述: 返回字符串s匹配ere的起始位置,如果不匹配则返回0。该函数会定义 RSTART和 RLENGTH两个内置变量。 RSTART与返回值相同, RLENGTH记录匹配子串的长度,如果不匹配则为-1。 例如: [kodango@devops ~]$ awk 'BEGIN { print match("kodango", /dango/); printf "Matched at: %d, Matched substr length: %d\n", RSTART, RLENGTH; }' 3 Matched at: 3, Matched substr length: 5

    6. split(s, a[, fs])

    描述:将字符串按照分隔符fs,分隔成多个部分,并存到数组a中。注意,存放的位置是从第1个数组元素开始的。如果fs为空,则默认使用FS分隔。函数返回值分隔的个数。 例如: [kodango@devops ~]$ awk 'BEGIN { > split("1;2;3;4;5", arr, ";") > for (i in arr) > printf "arr[%d]=%d\n", i, arr[i]; > }' arr[4]=4 arr[5]=5 arr[1]=1 arr[2]=2 arr[3]=3 这里有一个奇怪的地方是for..in..输出的数组不是按顺序输出的,如果要按顺序输出可以用常规的for循环: [kodango@devops ~]$ awk 'BEGIN { > split("1;2;3;4;5", arr, ";") > for (i=0;^C [kodango@devops ~]$ awk 'BEGIN { > n=split("1;2;3;4;5", arr, ";") > for (i=1; i<=n; i++) > printf "arr[%d]=%d\n", i, arr[i]; > }' arr[1]=1 arr[2]=2 arr[3]=3 arr[4]=4 arr[5]=5

    7. sprintf(fmt, expr, expr, ...)

    描述:类似printf,只不过不会将格式化后的内容输出到标准输出,而是当作返回值返回。 例如: [kodango@devops ~]$ awk 'BEGIN { > var=sprintf("%s=%s", "name", "value") > print var > }' name=value

    8. substr(s, m[, n])

    描述:返回从位置m开始的,长度为n的子串,其中位置从1开始计算,如果未指定n或者n值大于剩余的字符个数,则子串一直到字符串末尾为止。 例如: [kodango@devops ~]$ awk 'BEGIN { print substr("kodango", 2, 3); }' oda [kodango@devops ~]$ awk 'BEGIN { print substr("kodango", 2); }' odango

    9. tolower(s)

    描述:将字符串转换成小写字符。 例如: [kodango@devops ~]$ awk 'BEGIN {print tolower("KODANGO");}' kodango

    10. toupper(s)

    描述:将字符串转换成大写字符。 例如 [kodango@devops ~]$ awk 'BEGIN {print tolower("kodango");}' KODANGO

    I/O处理函数

    1. getline

    getline的用法相对比较复杂,它有几种不同的形式。不过它的主要作用就是从输入中每次获取一行输入。 a. expression | getline [var] 这种形式将前面管道前命令输出的结果作为 getline的输入,每次读取一行。如果后面跟有var,则将读取的内容保存到var变量中,否则会重新设置$0和 NF。 例如,我们将上面的statement.txt文件的内容显示作为 getline的输入: [kodango@devops awk_temp]$ awk 'BEGIN { while("cat statement.txt" | getline var) print var}' statement delete exit next 上面的例子中命令要用双引号," cat statement.txt",这一点同 print/printf是一样的。 如果不加var,则直接写到$0中,注意 NF值也会被更新: [kodango@devops awk_temp]$ awk 'BEGIN { while("cat statement.txt" | getline) print $0,NF}' statement 1 delete 1 exit 1 next 1 b. getline [var] 第二种形式是直接使用 getline,它会从处理的文件中读取输入。同样地,如果var没有,则会设置$0,并且这时候会更新 NF, NR和 FNR: [kodango@devops awk_temp]$ awk '{ > while (getline) > print NF, NR, FNR, $0; > }' statement.txt 1 2 2 delete 1 3 3 exit 1 4 4 next c. getline [var] < expression 第三种形式从expression中重定向输入,与第一种方法类似,这里就不加赘述了。

    2. close

    close函数可以用于关闭已经打开的文件或者管道,例如 getline函数的第一种形式用到管道,我们可以用 close函数把这个管道关闭, close函数的参数与管道的命令一致: [kodango@devops awk_temp]$ awk 'BEGIN { while("cat statement.txt" | getline) { print $0; close("cat statement.txt"); }}' statement statement statement statement statement 但是每次读了一行后,关闭管道,然后重新打开又重新读取第一行就死循环了。所以要慎用,一般情况下也很少会用到 close函数。

    3. system

    这个函数很简单,就是用于执行外部命令,例如: [kodango@devops awk_temp]$ awk 'BEGIN {system("uname -r");}' 3.6.2-1-ARCH

    结束语

    快速了解Awk系列的几篇文章相对比较粗糙,我是参考Awk的man手册以及《Sed & wk》附录B总结而成的,但是应该可以让大家对awk有一个大致的了解,欢迎大家一起交流。 附Peteris Krumins在他博客上发布的一份 cheet sheet: awk cheat sheet (.pdf)
    最新回复(0)