1. 从零开始认识awk你的文本处理瑞士军刀如果你经常和Linux服务器打交道或者需要处理一堆杂乱无章的日志、数据文件那你一定遇到过这样的烦恼想从几百行的日志里快速找出某个错误代码出现的次数或者想把一个用逗号分隔的表格文件重新整理成另一种格式。用眼睛一行行看用Excel打开再筛选效率太低了。这时候一个诞生于上世纪70年代的老牌工具——awk就能成为你的超级救星。我刚开始接触服务器运维的时候最怕的就是分析Nginx的访问日志。文件动不动就几个G用cat看会刷屏用grep找东西又不够灵活。直到一位老司机告诉我“别折腾了学学awk吧一行命令就能搞定你半天的工作。” 我抱着试试看的心态学了一下结果发现这简直是为命令行环境量身定做的“微型编程语言”专门用来切片、过滤、统计和格式化文本数据。它的核心思想很简单逐行扫描文件把每一行按照你指定的分隔符切成若干“字段”然后你可以针对这些字段进行各种操作。举个例子我们最常见的/etc/passwd文件它用冒号:分隔每一行的用户信息。如果你想快速列出所有用户名和他们的用户ID用awk只需要一行命令awk -F: {print $1, $3} /etc/passwd这里的-F:就是指定分隔符为冒号。$1代表第一列用户名$3代表第三列用户ID。awk会自动化地帮你把每一行都切好并把你要的这两列打印出来。是不是比用文本编辑器打开再复制粘贴快多了awk的名字来源于它的三位创始人 Alfred Aho、Peter Weinberger 和 Brian Kernighan 的姓氏首字母。它虽然古老但在今天的Linux/Unix系统以及MacOS中依然无处不在是每个开发者和运维工程师工具箱里的必备品。它不像Python或Perl那样功能庞杂而是聚焦于文本处理这一件事并把它做到了极致。接下来我就带你从最基础的用法开始一步步解锁awk的高级技巧让你在面对文本数据时能真正地“手中有刀心中不慌”。2. 基础语法拆解awk命令的骨架要玩转awk首先得理解它的基本语法结构。一个完整的awk命令看起来大概是这样的awk ‘模式 {动作}’ 文件名。你可以把它想象成一个过滤器加处理器“模式”用来筛选哪些行需要处理“动作”则定义了对这些行做什么。如果省略模式就对所有行执行动作如果省略动作默认动作就是打印整行内容。2.1 记录与字段理解awk如何看待数据awk把输入文本可以来自文件也可以是管道传过来的数据看作一系列记录的集合。默认情况下每一条“记录”就是一行文本。而每条记录又会被自动分割成若干个“字段”。默认的字段分隔符是空格或制表符也就是空白字符。这些字段在awk内部用$1、$2、$3……这样的变量来引用。$0则是一个特殊变量它代表整条完整的记录。我们来看一个简单的例子。假设有一个文件data.txt内容如下Alice 25 Engineer Beijing Bob 30 Designer Shanghai Carol 28 Manager Guangzhou执行命令awk ‘{print $2, $4}’ data.txtawk会做这几件事读取第一行“Alice 25 Engineer Beijing”。默认以空格为分隔符将其分割成4个字段$1Alice,$225,$3Engineer,$4Beijing。执行动作{print $2, $4}于是输出“25 Beijing”。接着处理第二行、第三行最终输出三行结果。这就是awk最基本的工作流程读取、分割、执行、输出。理解了这个你就掌握了awk一半的精髓。2.2 内置变量awk为你准备好的工具箱awk内置了许多有用的变量让你不用定义就能直接使用。除了刚才提到的$0、$1等字段变量还有几个特别常用的NR当前处理的总行号Number of Records。比如你想给输出的每一行加上行号可以这样awk ‘{print NR, $0}’ data.txt。NF当前记录中的字段总数Number of Fields。这个变量在动态处理列数不固定的数据时非常有用。例如awk ‘{print $NF}’ data.txt会打印每一行的最后一个字段无论这一行有多少列。FS输入字段分隔符Field Separator。默认是空白字符。我们之前用-F:选项其实就是在设置FS“:”。你也可以在BEGIN块里设置它awk ‘BEGIN{FS“:”} {print $1}’ /etc/passwd。OFS输出字段分隔符Output Field Separator。默认是空格。当你用逗号,分隔print语句中的多个项目时awk会用OFS的值来连接它们。例如awk ‘BEGIN{OFS“|”} {print $1, $3}’ data.txt输出会是Alice|25这样的格式。RS输入记录分隔符Record Separator。默认是换行符\n。你可以改变它比如设置RS“.”那么awk就会把句点作为一行的结束用来处理一些特殊格式的数据。ORS输出记录分隔符Output Record Separator。默认是换行符。你可以改变它让输出行用其他符号连接比如awk ‘BEGIN{ORS“ “} {print $1}’ data.txt会把所有名字打印在一行里用空格隔开。这些内置变量就像是awk为你准备好的扳手和螺丝刀在合适的场景下使用能极大简化你的命令。我经常用NR和NF来快速检查数据的结构和内容比如用awk ‘NF!4 {print “行号:”, NR, “内容:”, $0}’ data.txt来找出所有列数不是4行的异常数据。2.3 条件匹配精准定位你需要的数据只会打印所有行是远远不够的我们更需要的是从海量数据中精准筛选出目标行。awk的条件匹配功能强大得令人惊喜。它支持精确匹配、模糊匹配和数值比较。精确匹配很简单比如你想找出/etc/passwd里使用bash作为登录shell的用户awk -F: ‘$7“/bin/bash” {print $1}’ /etc/passwd。这里的$7是第七个字段shell是等于比较运算符。模糊匹配则依赖于强大的正则表达式。语法是字段 ~ /正则模式/。例如想找出用户名中包含“root”的行awk -F: ‘$1 ~ /root/’ /etc/passwd。注意如果不指定字段直接写/root/那么awk会在整行$0中匹配包含“root”的行。你还可以进行数值比较。比如找出/etc/passwd中用户ID第三列小于1000的系统用户awk -F: ‘$3 1000’ /etc/passwd。这里的比较运算符和编程语言里是一样的。更厉害的是你可以使用逻辑运算符与、||或、!非来组合多个条件。比如我想找出用户ID在10到100之间并且登录shell是/bin/false的用户awk -F: ‘$310 $3100 $7“/bin/false”’ /etc/passwd。这种组合查询的能力让awk在数据过滤方面非常灵活高效。3. 进阶操作变量、计算与流程控制当你掌握了基础筛选后awk的真正威力才开始显现。它不仅仅是一个过滤器更是一个具备完整编程特性的工具允许你定义变量、进行数学计算、控制程序流程从而完成复杂的数据转换和统计任务。3.1 自定义变量与数学运算在awk里使用变量非常自由无需事先声明拿来即用。数字变量初始值为0字符串变量初始值为空字符串。定义变量有两种常用方式一种是在命令行通过-v选项传入另一种是在awk程序内部直接赋值。通过-v定义变量常用于从外部传递参数。比如我想根据一个变量来筛选年龄awk -v age30 ‘$2 age’ data.txt这会找出所有年龄大于30岁的记录。在程序内部你可以直接进行算术运算。awk支持加()、减(-)、乘(*)、除(/)、取模(%)、乘方(**)等运算符。例如我想计算data.txt中所有人的平均年龄awk ‘{sum $2; count} END {print “平均年龄:”, sum/count}’ data.txt这里我们用了两个自定义变量sum和count。sum $2是累加第二列年龄count是计数。END是一个特殊的模式它后面的动作会在所有行处理完毕后执行一次非常适合用来做最终汇总。这个例子就展示了awk如何像编程一样通过累加器和计数器来完成统计。3.2 流程控制if条件判断awk支持完整的if-else if-else条件判断语句这让数据分类处理变得轻而易举。语法和C语言非常像。单分支if语句当条件成立时执行某个动作。比如在系统监控中我们想找出CPU使用率超过50%的进程ps aux | awk ‘$3 50 {print $1, $2, $3, $11}’这里$3是ps aux输出中的CPU百分比列。条件$3 50成立的行才会执行后面的打印命令。双分支if-else语句可以实现非此即彼的分类。一个经典的例子是统计/etc/passwd中系统用户和普通用户的数量。通常认为UID小于1000的是系统用户awk -F: ‘{if ($3 1000) sys; else normal} END {print “系统用户:”, sys, “普通用户:”, normal}’ /etc/passwd这个命令在遍历每一行时进行判断如果UID小于1000系统用户计数器sys加1否则普通用户计数器normal加1。最后在END块里输出两个计数器的值。多分支if-else if-else语句可以进行更细致的分类。例如根据年龄区间给人分组awk ‘{ if ($2 18) group“少年”; else if ($2 35) group“青年”; else if ($2 60) group“中年”; else group“老年”; print $1, “属于:”, group }’ data.txt通过流程控制awk从一个简单的文本过滤器进化成了一个能够做出智能判断的数据处理程序。我在分析用户行为日志时经常用if语句根据状态码、响应时间等字段给请求打上“成功”、“警告”、“错误”等标签便于后续的聚合分析。3.3 数组awk的数据聚合神器如果说awk的哪个特性最让我感到惊艳那一定是它的数组。awk的数组本质上是关联数组或称为字典、哈希表下标可以是数字也可以是字符串。这为数据分组和统计提供了极大的便利也是awk能实现复杂报表的关键。数组的用法很简单。例如我想统计一个访问日志中每个IP地址出现的次数awk ‘{ip_count[$1]} END {for(ip in ip_count) print ip, ip_count[ip]}’ access.log这条命令堪称awk的“招牌动作”。$1假设是日志中的IP地址列。ip_count[$1]的意思是创建一个以IP地址为下标的数组ip_count每当遇到一个IP就将该IP对应的数组元素值加1。处理完所有行后在END块里我们用一个for (key in array)循环来遍历这个数组打印出每个IP及其出现的次数。这种模式非常强大可以轻松应对各种分组统计需求。再比如我想统计每个部门($4)的工资总额($3)awk -F, ‘{dept_sum[$4] $3} END {for(d in dept_sum) print d, dept_sum[d]}’ salary.csv数组的键下标自动管理你不需要知道有哪些部门awk会自动创建和累加。for (i in array)循环会遍历数组的所有键但需要注意的是遍历的顺序是不确定的并非按插入顺序或字母顺序。如果你需要排序输出可以借助管道传递给sort命令awk ‘...’ access.log | sort -rn -k2这样就能按访问次数从高到低排序了。4. 高级技巧与函数应用当你熟悉了变量、数组和流程控制后awk的世界就完全向你敞开了。我们可以利用一些内置函数和高级特性来解决更棘手、更专业的文本处理难题。4.1 内置字符串函数文本处理的“手术刀”awk提供了一系列字符串处理函数让你能像在高级语言里一样灵活操作文本。length(string) 获取字符串长度。如果不指定参数默认计算$0的长度。这在检查数据规范性时很有用比如找出日志中过长的请求行awk ‘length() 1000’ app.log。substr(string, start, length) 截取子串。例如从身份证号中提取出生年月日awk ‘{print substr($2, 7, 8)}’ data.txt假设$2是身份证号列从第7位开始截取8位。split(string, array, separator) 将字符串分割后存入数组。这个函数特别适合处理那些字段内还有复杂结构的数据。比如有一行数据是“Python,Java,Go;C”你想把它拆分成编程语言列表awk ‘{ split($0, langs, “[,;]”); for(i in langs) print langs[i] }’ “Python,Java,Go;C”这里的分隔符“[,;]”是一个正则表达式表示逗号或分号。gsub(regex, replacement, target)和sub(regex, replacement, target) 字符串替换。gsub是全局替换sub只替换第一个匹配项。如果省略target参数则默认对$0进行操作。我常用它来清洗数据比如把日志中所有的多余空格替换成单个空格awk ‘{gsub(/[[:space:]]/, ” “); print}’ logfile。或者将时间格式从“2021/01/01”统一改为“2021-01-01”awk ‘{gsub(/\//, “-“, $1); print}’ dates.txt。4.2 内置I/O函数与外部世界的交互awk并非一个完全封闭的环境它可以通过内置I/O函数与外部命令或文件进行交互。getline函数 这个函数用于手动读取下一行记录。它最常见的用途是处理跨行的数据。比如df -h命令的输出中有时一个文件系统的信息会折行显示/dev/sda1 100G 50G 50G 50% / /dev/mapper/vg-lv 200G 100G 100G 50% /data第二行的文件系统名和后面的数据是分开的。这时可以用getline来合并处理df -h | awk ‘{ if (NF 1) { # 如果这一行只有1列文件系统名 filesystem$1; getline; # 读取下一行 print filesystem, $2, $3, $4, $5; } else { print $1, $2, $3, $4, $5; } }’system(command)函数 这个函数允许你在awk内部直接执行shell命令。例如你想为每一个找到的特定进程发送一个信号ps aux | awk ‘/my_app/ {system(“kill -USR1 “ $2)}’但使用system()要格外小心尤其是在循环中因为它会为每一次调用启动一个新的shell进程如果数据量很大性能开销会非常恐怖。通常有纯awk解决方案时应优先使用awk本身的功能。next语句 这不是函数而是一个控制语句。它的作用是立即停止处理当前记录跳转到下一条记录的开头重新开始匹配。它常用于跳过某些不需要处理的行能提升脚本效率。比如你想处理所有非注释行不以#开头awk ‘/^#/ {next} {print “处理:”, $0}’ config.conf4.3 实战案例从日志分析到系统监控理论说再多不如看几个我工作中真实用到的例子。这些例子综合运用了前面讲到的各种技巧。案例一统计Nginx访问日志中状态码的分布Nginx访问日志通常包含IP、时间、请求、状态码、字节数等信息。假设日志格式中状态码是第9列。awk ‘{status_code[$9]} END {for(code in status_code) print code, status_code[code]}’ access.log | sort -n这行命令会输出类似“200 15432”、“404 23”、“500 5”这样的结果让你对网站的健康状况一目了然。案例二分析Docker容器资源使用率docker stats命令可以输出容器的实时资源使用情况但输出是动态的。我们可以用--no-stream获取一次快照并用awk提取关键信息。docker stats --no-stream | awk ‘NR1 {print $2, $3}’NR1跳过了第一行的表头然后打印第二列容器名和第三列CPU百分比。你可以轻松地将其重定向到文件或与监控系统集成。案例三格式化输出报告awk的printf函数可以让你像C语言一样精确控制输出格式生成漂亮的表格。比如从/etc/passwd生成一个格式整齐的用户报告awk -F: ‘BEGIN { printf “%-15s %-10s %-15s\n”, “用户名”, “UID”, “Shell” printf “%-15s %-10s %-15s\n”, “———“, “—–”, “—–” } {printf “%-15s %-10s %-15s\n”, $1, $3, $7}’ /etc/passwd | head -10BEGIN块用来打印表头。printf中的%-15s表示左对齐、宽度为15个字符的字符串。这样输出的报告列与列之间会对齐非常清晰。这些案例只是冰山一角。awk的潜力取决于你对数据的理解和你的想象力。我个人的经验是当你要对文本数据做任何重复性的、有规律的操作时先别急着写Python脚本停下来想一想“用awk是不是一行命令就能搞定” 很多时候答案都是肯定的。它快速、高效而且直接集成在Shell环境中是命令行数据处理的终极利器。