这篇笔记沿用《BPF之巅》第 2–17 章的学习顺序,把原来的章节提纲整理成可以反复查阅的排障笔记。重点是把三个问题连起来:现在怀疑什么、在哪一层观测、拿到数据后能下什么结论。工具名字只是入口,测量范围和结果解释更值得记住。
例如,看到请求变慢,先分清线程是在 CPU 上执行、已经就绪却排队,还是阻塞在某个资源上。三种情况都可能让用户等待,但需要采集的证据完全不同。
本文是结合官方文档重新整理的学习总结,文中的诊断流程是分析示例,并非实际生产事故记录。原书工具、发行版打包的工具,以及当前上游工具可能存在名称和参数差异;新增的 BTF、CO-RE 等说明单独标为补充,不混作原书当时的结论。书籍目录、勘误和配套代码入口见作者的图书页面。
阅读导航
- 第二章:BPF、事件源与调用栈
- 第三章:性能分析方法与工具入口
- 第四章:BCC
- 第五章:bpftrace
- 第六章:CPU
- 第七章:内存
- 第八章:文件系统
- 第九章:磁盘 I/O
- 第十章:网络
- 第十一章:安全观测
- 第十二章:编程语言
- 第十三章:应用程序
- 第十四章:内核
- 第十五章:容器
- 第十六章:虚拟机管理器
- 第十七章:持续观测与工具工程化
- 附录:开始实验前的核对与复盘模板
第二章 BPF:把观察点放到问题发生处
从事件到可读结果
BPF(现在通常称 eBPF)不是某一条命令,而是一条把小程序挂到事件上的执行路径。用户态工具准备程序与挂载点,通过 bpf() 创建程序和 map;内核 verifier 检查程序能否安全访问上下文、栈和 map,再由解释器执行或 JIT 成机器码。程序触发后可在内核中更新 map,或把事件送回用户态。实用的分界是:内核侧做过滤、计数和分布聚合,用户态负责配置与读取结果。若每个高频事件都格式化、打印一行,开销和输出量本身就可能扰动现场。能通过编译也不代表能加载:verifier 必须证明边界、类型和控制流安全。BPF 系统调用与程序加载、verifier 原理、map 的共享存储作用
事件源决定能看到什么
| 事件源 | 适合观察 | 现场核对点 |
|---|---|---|
tracepoint |
内核预先声明的系统调用、调度、块 I/O 等事件 | 事件名、字段和当前内核的 format 文件。语义通常比私有函数实现清楚。 |
kprobe / kretprobe |
内核函数入口和返回,适合追某条内部调用路径 | 函数可能被改名、内联或配置裁掉;参数解释还受架构和内核版本影响。 |
uprobe / uretprobe |
用户态程序或库函数 | 二进制、符号、偏移和 PID;程序升级也可能改变符号。 |
| USDT | 应用主动发布的静态跟踪点 | 目标应用是否编入该探针及其参数定义。 |
profile、hardware |
定时栈抽样或处理器事件 | 采样率、符号可用性、处理器对事件的支持。 |
对同一个故障,入口也影响结论:追 read() 系统调用测得的是线程在调用中的经过时间,追块 I/O 才能观察设备请求;二者不能互相替代。从接口维护性看,tracepoint 通常比动态函数探针稳定一些,因为事件名和参数由事件定义描述,较少依赖被探测函数的内部实现;但它们并非稳定 ABI。内核 BPF 设计问答明确指出 tracepoint 仍绑定内核内部实现,升级后也可能改变;因此要以本机 tracefs 的事件与字段为准。动态 kprobe 对函数名和参数的依赖更直接,适合窄范围调查,长期脚本则要额外维护。内核 tracepoint 机制、BPF 设计问答:tracepoint 并非稳定 ABI、kprobe 事件跟踪
PMU、perf_events 与调用栈火焰图
Linux perf 使用 perf_events 接口统一读取软件事件、tracepoint 事件和硬件性能监控单元(PMU)计数器。PMU 能数 CPU cycles、instructions、cache references/misses、branch misses 等事件;perf stat 常用于短窗口验证“忙在算指令还是停在缓存/分支”。通用事件名称是跨处理器的抽象,具体支持和含义仍依 CPU 型号与内核 PMU 驱动;更底层的 raw event 往往是厂商相关。硬件计数器数量有限,事件太多时可能复用计数器,比较前要看 perf 给出的运行比例和测量窗口,不能把低比例采样当精确全量。PMU 计数告诉我们发生了多少类硬件事件,不会单独说明是哪条调用路径导致它。perf_event_open(2) 的事件类型和计数/采样模型、内核 perf_events 权限与硬件计数说明
调用栈火焰图补上路径维度:定时采样收集栈,把相同栈折叠后画成 SVG。每个横向方框的宽度代表样本数,纵向代表栈深;为了合并路径,横轴会排序,不是时间轴。宽框说明该路径在样本中常见,可能是调用频繁,也可能是单次执行较贵,图本身不能区分二者。它适合找 CPU 时间集中在哪些调用路径;若要找线程在锁、磁盘或网络上等待,应看 off-CPU 或阻塞时间证据。定位宽路径后,再用 PMU、延迟分布或代码分析验证原因。CPU 火焰图采样流程、火焰图横轴与栈层说明
第三章 先找资源,再追调用路径
USE:先把资源假设列全
排障先界定症状和时间范围:响应时间、吞吐量还是错误率变差?全机还是单进程?然后对每类资源检查 USE:利用率(资源忙了多久或用了多少)、饱和度(需求未能及时被服务,常表现为队列或等待)和错误。Saturation 在此译作“饱和度”,不要与利用率混为一谈。CPU 高利用率表示算力忙,运行队列与调度等待更能说明有需求排队;磁盘忙碌率高也不能独自证明用户请求慢是设备队列造成。记录报障对应的时间窗,短峰值可能被长周期平均值遮住;先找异常资源,再用事件或栈回答具体是哪类工作造成异常。USE 方法的定义与步骤、Linux USE 检查清单
Linux 60 秒:用低成本数据缩小范围
“Linux 60 秒”是初筛工具箱,不表示每条命令都要运行满 60 秒,也不能靠一个数字定根因。先看全局,再依据异常选择细查工具:
| 命令 | 先看什么、它能提示什么 |
|---|---|
uptime |
负载平均值与运行时间。负载包含可运行任务和不可中断等待,不等于 CPU 百分比。 |
dmesg -T | tail |
最近内核告警,如设备重置、文件系统异常或 OOM 痕迹;时间显示方式因系统而异。 |
vmstat 1 |
r 可运行队列、b 不可中断任务、换入换出与 CPU 概况;跳过首行累计值,看后续采样。 |
mpstat -P ALL 1 |
逐 CPU 利用率,识别单核热点或负载不均。 |
pidstat 1 |
按进程看资源;本机 pidstat -d/-r/-w 可分别选 I/O、内存、上下文切换字段。 |
iostat -xz 1 |
逐设备看吞吐、队列、等待和 %util。await 是每笔 I/O 的平均等待/服务时间,不是尾延迟;NVMe 等并行设备也不能只凭 %util 判断饱和。 |
free -m |
看 available,不要只看 free;可回收缓存不等于内存紧张。 |
sar -n DEV 1 |
网卡收发速率,结合链路速率、丢弃计数解释。 |
sar -n TCP,ETCP 1 |
TCP 连接与异常计数;重传上升是线索,还要核对主机、链路和时间窗。 |
top |
当前显眼的 CPU 或内存进程;瞬时快照会漏掉短命任务。 |
iostat await 是统计窗口内完成请求的均值,不能从均值推断 P95/P99 尾部;若少量慢请求决定用户体验,应采集延迟直方图或分位数,并把设备请求和应用调用关联起来。iostat 字段定义、BCC 教程:Linux 基础检查清单
把初筛变成可验证的问题
初筛是排除方向、选下一步观测点。CPU 总体不高但某核长期满载,就看逐核数据和目标线程;内存 available 充足且没有持续回收,就暂缓把慢请求归因于内存;平均 I/O 延迟正常但怀疑少数请求拖慢尾部,就改用延迟分布,不把 await 当百分位。随后逐个资源补齐利用率、饱和度与错误,再用事件、栈或延迟回答“哪个操作、哪条路径”。一次只改一个假设,保留开始/结束时间与命令参数,避免把不同窗口的数据拼成一个故事。
第四章 BCC:用现成工具把假设变成观测
按症状挑专用工具
BCC 覆盖进程、文件、块 I/O、网络、调度和 CPU 栈。进程频繁启动看 execsnoop;文件打开看 opensnoop;文件系统慢操作看对应的 ext4slower 等工具;页缓存命中看 cachestat;块设备延迟分布看 biolatency;运行队列延迟看 runqlat;CPU 栈热点看 profile。逐事件输出能还原顺序和归属,高频时却会增加输出与消费成本,应先加过滤、缩短窗口或改为聚合。BCC README 工具分类、BCC 性能分析教程
两个块 I/O 工具很容易混淆:biosnoop 逐笔展示进程、设备、方向、扇区、字节数和延迟,适合看单笔请求;它不是大小直方图。bitesize 按请求字节数聚合直方图,biolatency 聚合延迟分布,分别回答“请求尺寸如何分布”和“操作耗时如何分布”。单笔明细和总体分布是不同视角。biosnoop 源码与列定义、bitesize 大小直方图、BCC 教程中的 biolatency 与 biosnoop
tcpconnect 也要按实现理解:BCC 工具挂在 tcp_v4_connect、tcp_v6_connect 内核函数入口/返回附近,观察 TCP 主动连接路径;它不是所有 connect() 系统调用的审计器,UDP socket 的 connect() 不会因此走进这两个 TCP 函数。当前源码的返回探针遇到 ret != 0 会清理暂存数据并提前返回,不打印后续事件,所以不能把它当成失败连接的完整记录。查主动连接目标可用 tcpconnect,被动接入用 tcpaccept,重传线索用 tcpretrans;仍须按本机安装版本确认覆盖范围。tcpconnect 挂载和返回处理、BCC 网络工具列表
四个通用工具:从计数走到细节
| 工具 | 主要用途 | 适合回答的问题 |
|---|---|---|
funccount |
按函数、tracepoint 或匹配模式计数 | 哪个函数/事件触发得特别频繁? |
stackcount |
按事件累计调用栈,可限制 PID、CPU 或用户/内核栈 | 同一函数是由哪些调用路径触发? |
trace |
按格式打印函数参数或返回值,可加过滤 | 一次调用具体带了什么参数、返回了什么? |
argdist |
将函数参数或返回值聚合为频数/直方图 | 参数值或返回值集中在哪些范围? |
排查时可以先 funccount 确认热点是否存在,再用 stackcount 找调用方;若需要少量样本中的字段明细,用 PID 过滤后的 trace;参数分布则用 argdist。这些工具仍依赖可挂载探针与正确字段,过滤太宽或逐行输出过多会让工具成为负载的一部分。BCC 通用工具教程、stackcount 的过滤与栈选项、trace 的参数/返回值观测、BCC 工具列表中的 argdist 与 funccount
BCC 架构与“没输出”的排查顺序
典型 Python BCC 工具把参数解析、探针挂载和展示放在用户态,同时以内嵌或独立 C 描述 BPF 程序。BPF(text=...) 将程序交给 BCC/LLVM 编译并加载;Python 随后读取 map 聚合结果,或通过 perf buffer 消费事件。排障可按阶段检查:依赖/头文件是否齐;编译是否成功;verifier 是否接受;探针是否存在且挂载权限足够;目标事件是否实际发生;过滤 PID、设备和方向是否设错;用户态消费是否跟得上。没有输出时,先确认目标动作正在发生,再逐项撤掉过滤条件;编译或加载失败则看 BCC debug 与 verifier 信息。高频场景优先在内核聚合或节流,避免依赖全局 trace_pipe 打印承担大量数据。BCC Python 开发教程、BCC API 与 debug 参考
第五章 bpftrace:把假设写成短探针
先发现探针,再读参数
以下例子以 bpftrace 0.24 稳定版的语法为参照。探针名和字段由本机内核、架构、配置及工具构建决定,执行前先列出候选项:
1 | sudo bpftrace -l 'tracepoint:syscalls:sys_enter_openat' |
-l 列探针名,-lv 展开支持的参数。查不到时用通配符逐步缩小,并检查 /sys/kernel/tracing/events/.../format;不要把某台机器的输出当成通用清单。tracepoint 有事件定义字段;kprobe 的 argN 与函数、架构和内核实现相关。下面保留常见的旧式 args->字段 写法;0.24 文档的例子主要用 args.字段,字段访问以本机文档和 -lv 为准。bpftrace 0.24 命令行和探针枚举、0.24 参数与 args 字段说明
临时变量、map 与聚合
$name 是当前探针动作里的临时变量;@name 是 map,可跨事件保存状态或累计结果。count() 统计事件数,hist() 将数值放入对数桶,适合看频率与长尾形状;它们不会保留事件先后次序。先做聚合通常比逐条 printf 更便于识别模式。例子以 sys_enter_read 上的 count 字段表示用户请求的读取长度,并按进程名统计入口次数。先用 -lv 检查 tracepoint:syscalls:sys_enter_read 的 count 字段;它表示读取请求长度,并非磁盘实际 I/O:
1 | BEGIN |
上例是交互式观察脚本;print 和 clear 是异步操作,读数与清理并非原子窗口切换,不宜用于精确计费。同名进程会在 comm 这个键下合并;字符串键的数量也应受控。读取请求长度的分布不等于实际返回字节数,更不等于块设备 I/O 大小。需要确认字段定义时回到 tracepoint 格式文件。bpftrace 0.24 的 map 清理与聚合函数、0.24 count() 与 hist() 参考
用 TID 配对入口/返回并测量经过时间
入口和返回通常要用 tid 做键暂存起始时间,再在返回时取差并删除临时项。pid 是进程 ID,同一进程里的线程共享它;tid 才能区分每个执行线程。以下脚本仅统计指定进程的 read 系统调用经过时间,单位为微秒;它包括该线程在系统调用期间经历的等待,不是磁盘设备服务时间。脚本运行 10 秒后结束;END 清理未配对的开始时间,bpftrace 自动打印仍非空的延迟直方图。也可以提前按 Ctrl-C 结束。
1 | BEGIN |
保存为 read-latency.bt,将 2468 换成目标进程的 PID:
1 | sudo bpftrace read-latency.bt 2468 |
示例沿用旧式 delete(@map[key]),0.24 标准库仍列出该写法但标为弃用;新脚本可按对应版本改为 delete(@read_start, tid)。BEGIN/END、位置参数 $1 与默认退出时打印 map 可在 0.24 文档中核对。若返回事件没配上入口,临时项会留到退出清理;PID 过滤把采集范围收窄,但无法代替对异常路径和探针字段的核实。bpftrace 0.24 线程 map 与 delete 语法、0.24 BEGIN/END、位置参数和退出时 map 输出、0.24 命令行:程序退出时打印非空 map
另一类问题是“进程 CPU 时间花在哪些调用栈”。profile 定时抽样比逐函数计时更适合先找热点;下面只统计目标 PID 的用户栈样本,停止后得到的是样本分布,不是每次调用的精确耗时:
1 | sudo bpftrace -e 'profile:hz:99 /pid == $1/ { @[ustack] = count(); }' 2468 |
要找内核路径可改采 kstack;扩大到全系统前先评估采样频率、符号信息和输出成本。上述例子依赖本机支持相应 profile 探针与用户栈回溯能力。bpftrace 0.24 profile 探针、bpftrace 单行脚本示例
运行短脚本前,记下 bpftrace --version,用 -l/-lv 查探针,必要时读 tracefs 的 format;从短窗口、小范围开始,确认输出字段语义再扩大。Verifier 报错时缩小程序,检查指针类型和访问边界。版本间 args 字段写法和 map API 有变化:本章以 0.24 稳定文档为参照,并在 delete 示例注明旧写法;其他主机以本机帮助和稳定版文档为准。需要复杂参数处理、持续用户态逻辑或定制输出时,再考虑用 BCC。bpftrace 0.24 语言参考、verifier 对安全访问的检查
第六章 CPU:区分计算、等待调度与阻塞
CPU 时间记账通常包含用户态、内核态、硬/软中断、空闲、I/O wait 和虚拟机 steal 等类别。利用率高说明 CPU 忙,不直接说明业务慢;利用率低也不能排除调度延迟。任务只有处于可运行状态、正在等 CPU 时才在 run queue(运行队列)里。已经睡眠、等待磁盘、锁、网络或定时器的任务不在 run queue 上。因而 run queue 延迟是“变为 runnable 后,到真正获得 CPU”的时间;off-CPU 则描述任务没有运行的时间,里面可能是有意休眠、锁等待、I/O 阻塞,也可能包含唤醒后等待调度。二者不能混称为 CPU 等待。
传统指标与基线
先看负载与逐 CPU 状态,避免只看整机平均数掩盖单核打满:
1 | PID=1234 # 替换为目标进程 PID |
BCC 工具选型
| 工具 | 测什么,何时用 |
|---|---|
| runqlat | 统计 runnable 到拿到 CPU 的等待分布;定位可运行线程的调度延迟。 |
| profile | 定时采样运行中线程的调用栈;回答 CPU 时间花在哪些函数。 |
| offcputime | 按离开 CPU 时的栈聚合 off-CPU 时间;可能混有阻塞与调度等待,需进一步区分。 |
BCC 的 runqlat 将 runnable 到被调度运行的延迟按直方区间统计;先用毫秒单位观察多个短窗口,再按 PID 收窄:
1 | PID=1234 # 替换为目标进程 PID |
解释观测与常见误区
如果延迟尾部持续变长,同时 CPU 忙、运行队列偏长,才有较强证据指向 CPU 竞争。单次高桶可能来自短暂抖动;直方图是事件分布,不是请求延迟的 p99。用 profile 找正在消耗 CPU 的栈,用 offcputime 找离开 CPU 时的阻塞栈,彼此互补:
1 | PID=1234 # 替换为目标进程 PID |
off-CPU 栈出现 io_schedule 可提示块 I/O 等待,出现 futex 或锁相关栈可提示同步等待;需要再与 I/O、锁和应用时间线交叉验证。高 load average 不等于 CPU 满载:不可中断睡眠的 D 状态任务也会抬高 load。反过来,runqlat 高但总 CPU 尚未满,可能是 CPU 亲和性、容器配额、优先级或局部热点,而非全机资源不足。%iowait 是 CPU 空闲且有未完成磁盘请求时的时间比例,不是“进程被磁盘卡住的时间”,也不能指出哪项请求变慢。
参考:BCC runqlat 用法与示例、BCC profile 采样器、BCC offcputime 示例、Linux PSI、Linux 调度器说明。
第七章 内存:看压力和趋势,别把缓存当泄漏
虚拟地址空间、RSS、页缓存和进程实际可回收内存不是同一个数字。RSS 是进程映射的驻留页,文件数据读入后也会占页缓存;内核通常能在压力下回收部分缓存。应观察可用内存、匿名页、缓存、swap 和回收活动的变化,并留意 cgroup 的限制。单独看到 free 的空闲列很低,不能推出内存不足。内核文档也提醒 /proc/meminfo 多个字段存在重叠,简单相加可能不等于总内存。
传统指标与基线
先采样系统与进程基线:
1 | PID=1234 # 替换为目标进程 PID |
在容器中还要查看该进程所在 cgroup 的 memory.current、memory.max、memory.events 和 memory.pressure,因为宿主机剩余内存充足并不代表容器没有触顶。若缺页或回收增加与延迟同步,可进一步检查具体进程及工作集。
BCC 工具选型
| 工具 | 测什么,何时用 |
|---|---|
| drsnoop | 逐事件记录进程进入直接内存回收的耗时;核实分配线程是否被同步回收拖慢。 |
| oomkill | 记录内核 OOM killer 选择的受害进程;事后还原是谁触发、谁被杀,不是内存预测器。 |
| memleak | 跟踪受支持分配器尚未释放对象的调用栈;检查持续增长的可疑分配点。 |
可用直接回收和 OOM 追踪器确认压力是否已到分配路径:
1 | PID=1234 # 替换为目标进程 PID |
drsnoop 只显示实际发生的直接回收事件;没有事件不代表内存没有风险,oomkill 则是 OOM 发生时的事后事件。
BCC cachestat 每个窗口统计页缓存相关内核函数事件,可用于观察命中、未命中、脏化和缓存规模是否随负载发生变化:
1 | sudo /usr/share/bcc/tools/cachestat 1 5 |
解释观测与常见误区
它不是对每次用户态文件读取做逐笔归因的精确命中率计数器。工具以多个内核事件推导 HITS、MISSES 和比率;预读、内核版本上的函数实现差异、不同访问路径都可能影响估算。因此用它判断“趋势和相对变化”,不能把工具输出的命中比例等同于整个应用的缓存命中率,也不能据此认定磁盘没有压力。
要追查分配栈,可对单个进程采集尚未配对释放的分配:
1 | PID=1234 # 替换为目标进程 PID |
第二条只保留年龄超过 30 秒的分配,有助过滤短命对象。memleak 主要跟踪其支持的分配器入口及相应 free;使用自定义分配器、直接 mmap 或其他内存来源时,覆盖范围可能不足。采样时仍未释放的对象不等于泄漏:缓存、连接池和正常生命周期内存都可能长时间存活。应在相同负载下多次观察,确认同一调用栈的未释放字节数持续单调增长,再结合 RSS、cgroup 计数和代码生命周期判断。高频分配时 memleak 本身会增加开销,必要时降低采样率并缩短目标范围。
memory PSI 可与 major fault、swap in/out 和工作集变化对齐。缺页并不都要读盘:minor fault 通常通过已有内存页建立映射;major fault 才意味着需要等待后备存储。若 MemAvailable 下降并伴随 cgroup memory.events 中 high/oom 增长,应定位触限的容器;若只是 Cached 偏高而压力指标平稳,不宜为“释放缓存”而盲目清理页缓存。
参考:BCC drsnoop 直接回收追踪器、BCC oomkill 工具、BCC cachestat 源码与计数逻辑、BCC memleak 手册、Linux /proc 文档、Linux 页缓存说明、Linux PSI。
第八章 文件系统:从路径操作定位到具体文件系统
一次 open/read/write/fsync 要经过系统调用、VFS、具体文件系统与页缓存;只有最终需要块设备访问时才会落到磁盘。NFS 等网络文件系统还包含 RPC 和远端等待。因此“慢文件操作”不自动意味着本地盘慢;命中缓存的读也可能耗时,慢点还可能在元数据锁、目录查找、挂载点或远端服务。
传统指标与基线
先确认目标路径挂在哪种文件系统,分清空间不足、inode 耗尽和设备延迟:
1 | findmnt -T /path/to/file |
BCC 工具选型
| 工具 | 测什么,何时用 |
|---|---|
| fileslower | 测 VFS 层慢的同步文件 read/write,适合跨文件系统按 PID 找慢文件;不覆盖异步 I/O、目录和许多其他操作。 |
| filetop | 按窗口汇总进程和文件的读写调用与请求字节,找热点文件;计数包括缓存访问,不代表物理盘流量。 |
| ext4slower | 只跟踪 ext4 的常见 read/write/open/fsync 并给出慢操作;确认路径确在 ext4 后使用。 |
| cachestat | 观察系统级页缓存事件和近似命中变化,用于辅助解释文件读取为何未必下沉到磁盘。 |
选与实际文件系统对应的 BCC 工具:ext4 用 ext4slower,XFS 用 xfsslower,NFS 用 nfsslower。例如只看某进程在 ext4 上超过 5 毫秒的常见操作:
1 | PID=1234 # 替换为目标进程 PID |
解释观测与常见误区
输出将慢操作关联到进程、操作类型、文件名和耗时;未输出只表示在当前探针、阈值和观测窗口内没有捕获符合条件的操作,不证明文件系统完全无延迟。工具直接探测文件系统操作,缓存访问也可能计入;高吞吐目录或频繁读写时,即使阈值过滤输出,探针仍会接触大量操作,应短时、按 PID 调查。若 Nginx 的慢请求集中于静态文件,先由访问日志确认文件路径,再用文件系统工具定位;随后才用块层工具验证是否真的有对应磁盘 I/O。若挂载为 NFS,则以 nfsslower 和 NFS/RPC 指标为主,不能把本机块设备的空闲误判成文件访问健康。
若 ext4slower 报慢而同期 biolatency 平稳,再检查目录元数据、文件系统锁、fsync、回收与缓存冷热;NFS 路径还要比较 RPC 超时和服务端指标。需要确认是否频繁 open,可用 BCC opensnoop 观察系统调用,但它只记录打开事件及结果,不量出完整 read/write 延迟,也不能替代对应文件系统的 slower 工具。
参考:BCC fileslower 源码及测量边界、BCC filetop 示例、BCC 文件系统与磁盘排查教程、ext4slower 源码及参数、BCC 支持的文件系统工具列表。
第九章 磁盘 I/O:平均值、尾延迟和设备并行度
块层跟踪的是文件系统提交到设备的请求,而不是应用的 read/write 调用。页缓存命中可能根本不产生块请求;块请求又可能承载回写或合并后的多个文件操作。要把文件、块设备与业务延迟放在同一条路径上理解。
传统指标与基线
先用 iostat -xz 1 6 连续取样。没有 -y 时,第一份报告是自启动以来的平均,后续报告才覆盖采样间隔;分析瞬时抖动时忽略首份,或使用 iostat -y -xz 1 6(先确认本机 sysstat 版本支持)。重点看读写吞吐、每秒请求数、aqu-sz、await 及 %util。sysstat 的 await 是已发出 I/O 请求从排队到完成的平均时延,包含排队等待和设备处理时间;它不等于设备纯 service time,也不是请求的 p95 或 p99。要结合队列深度、请求大小和读写类型解释。
%util 描述采样期间设备有 I/O 请求在处理的时间占比。对串行处理请求的设备,接近 100% 可提示饱和;对多队列 NVMe、SSD、RAID 等可并行处理请求的设备,接近 100% 本身不代表到达性能上限。还要避免把同一 I/O 在 LVM、device mapper、虚拟盘和物理盘的统计重复解读。
BCC 工具选型
| 工具 | 测什么,何时用 |
|---|---|
| biolatency | 按块请求从发出到完成的时间作对数直方图,适合发现尾延迟;按设备筛选后与应用慢窗对齐。 |
| biosnoop | 逐条打印块请求大小、方向、延迟与进程上下文;适合短时还原时序,事件太多时注意开销。 |
| bitesize | 按提交请求时的进程名聚合块请求大小直方图;看 I/O 尺寸分布,不是文件大小或吞吐排行。 |
找到 iostat 中的可疑设备后,才针对它看请求级延迟:
1 | DEV=nvme0n1 # 替换为 iostat 显示的设备名 |
解释观测与常见误区
biolatency 把块 I/O 延迟按直方区间聚合,便于观察长尾;biosnoop 输出单条请求的时间、进程线索、读写方向、大小和耗时。具体设备名如 nvme0n1,不带 /dev/。BCC 的延迟定义从块请求进入跟踪点到完成;biolatency -Q 可把操作系统队列时间也纳入统计。比较数据时要确认采样采用相同选项,并理解统计口径,不能把两个口径的直方图直接对照。
解释时同步查看应用请求耗时、文件系统慢操作与块层延迟:块层尾延迟上升且同窗出现应用变慢,才能支持存储路径相关假设;设备忙但应用没有变慢,可能只是吞吐正常增加。高 %iowait 不是某进程在盘上睡眠的直接时长,await 是请求平均值,也会掩盖少数极慢请求;两者都不应代替延迟分位数或逐请求观察。
云盘调查还应把平台卷级 IOPS、吞吐及突发额度与主机统计对齐。异步回写时,块请求可能由内核线程提交;biosnoop 中的 PID 不一定是最初写入的业务进程。应按同一时间窗口关联文件系统操作和设备请求,不要凭单条请求的进程名定责。
参考:sysstat 官方 iostat 手册、Linux 块设备统计字段、BCC bitesize 源码、BCC biolatency 用法与参数、BCC biosnoop 源码。
第十章 网络:分清握手、连接寿命和 HTTP 请求
TCP 连接、TCP 会话和 HTTP 请求是不同层次:一次建连要完成 TCP 握手,TLS 与应用处理发生在握手之后;启用 keepalive 时,一个 TCP 会话可以承载许多请求。连接数、RTT、重传和请求时延因此各自回答不同问题。
传统指标与基线
先看链路、内核 TCP 计数器和 socket 队列,确认丢弃、重传或积压是否与问题同步:
1 | ip -s link |
BCC 工具选型
| 工具 | 测什么,何时用 |
|---|---|
| tcpconnect | 逐次记录主动连接尝试,失败连接也会出现;核对 Nginx 到上游的新建连接和目标端口。 |
| tcplife | TCP 会话关闭时汇总寿命与字节数;按本地端口观察连接,不可当 HTTP 请求统计。 |
| tcpretrans | 记录内核的 TCP 重传事件;加 -l 才包含 TLP 探测,作为链路异常线索而非丢包定责。 |
| tcptop | 按短窗口汇总 TCP 连接收发字节和进程,定位流量大的端点;不是请求量或 RTT 工具。 |
解释观测与常见误区
BCC 的 tcpconnect 追踪主动 TCP connect,tcpaccept 追踪被动 accept,适合确认 Nginx 是否持续新建上游连接、端口和进程;连接复用时,一个 TCP 连接可承载多个 HTTP 请求,所以它们不按请求计数。服务器本地只看到经过该主机内核的网络一侧;在 ELB 与 Nginx 之间诊断时,结合 ELB 指标、目标主机 socket 和 access log 时间戳,确认每个数据对应哪一跳。
1 | PORT=443 # 替换为 Nginx 实际监听端口 |
tcpconnlat 衡量本机主动连接从发起 TCP SYN 到收到响应的连接建立时间;响应也可能是 RST。它不是 HTTP 请求耗时:它不覆盖连接建立后的应用排队、TLS/HTTP 处理、上游首字节、响应体传输等整条请求路径。若上游 keepalive 命中已有连接,这个请求甚至没有新的 connect 事件。tcplife 在 TCP 会话结束时报告会话寿命和传输统计,HTTP keepalive 会让它跨越多个请求,因此也不能当单请求时延。
tcpretrans 默认追踪内核 TCP 重传;上游版本用 -l 纳入 TLP,先用本机 -h 确认选项是否提供。观察到重传说明本端 TCP 栈走到了重传路径,是需要进一步调查的证据;它本身不证明具体链路设备丢了包、丢包方向在哪一侧,亦不排除拥塞、ACK 延迟、重排序或连接所在节点以外的路径因素。要结合 nstat 的 TCP 重传计数增量、两端网卡错误/丢弃计数、ELB 后端健康与超时指标及抓包证据判断。只看累计计数无法判断问题发生窗口。
对 Nginx,HTTP 请求时延应以 access log 中的请求级字段为准,建议加入:
1 | log_format timed '$remote_addr $request $status ' |
$request_time 覆盖 Nginx 从读取请求首字节到发送完响应的时间;$upstream_connect_time 是与上游建立连接的耗时(SSL 场景包含握手),$upstream_header_time 到收到上游响应头,$upstream_response_time 到上游响应完成。重试或多个上游时,这些变量可能包含多个值,需与 $upstream_addr 配对阅读。若 connect 高,检查上游建连、网络往返和连接复用;connect 正常而 header 高,进一步检查应用排队/处理;上游已完成而 request 高,则检查客户端慢收、响应体大小及 Nginx 到客户端这一段。日志切分出耗时后,再用 BCC 观察对应 TCP 连接与重传;不要反过来以某一条重传事件推断整条 HTTP 链路的根因。
TCP 状态可帮助理解连接压力:SYN-RECV 增长时要检查握手、接收队列及负载均衡健康;ESTABLISHED 数高也可能只是 keepalive 长连接。连接数不等于请求数。ss 的 Recv-Q、Send-Q 是特定 socket 的队列快照;tcpaccept 新连接变少也不必然表示 HTTP 流量下降,因为连接复用会减少 accept 频率。
参考:BCC tcpconnect 源码及失败连接说明、BCC tcptop 源码、BCC TCP 重传示例、BCC tcpconnlat 定义与参数、BCC tcplife、BCC tcpretrans 源码、Linux TCP SNMP 计数器说明、Nginx upstream 时间变量、Nginx 请求时间变量。
第十一章 安全:用 BPF 看见行为,不把观测当成防护
本章工具的价值是把安全相关行为变成可追溯事件。execsnoop 跟踪 execve 一类执行调用,可看到启动进程的 PID、命令及参数,适合查异常子进程或脚本启动链;只 fork 而未执行新程序的路径不一定出现在结果中。opensnoop 观察文件打开请求和返回状态,适合定位进程何时尝试访问配置、凭据或设备文件,但“打开过”不等于读写了内容。BCC 的 capable 追踪内核 cap_capable() 检查,帮助回答“哪个进程在检查哪项 capability”;它不是一份完整授权决策审计。bpftrace 的 setuids 跟踪 setuid、setresuid、setfsuid 系统调用及参数/返回值,可还原身份切换尝试及结果。上述工具记录事件或检查路径,本身不拦截调用;要强制限制访问,应配置 seccomp、LSM 等策略,并通过策略审计确认实际拒绝原因。
先确认当前发行版安装了哪套 BCC/bpftrace 工具、工具脚本版本和内核是否支持所需 tracepoint,再核查运行所需权限。名称相同的脚本不保证在各发行版都安装,也不保证参数完全一致。安全事件排查可按“异常 exec → 文件访问 → capability 检查或 UID 切换”串联 PID 与时间戳,再与 audit/应用日志核对;BPF 输出不能代替访问控制策略或审计日志。
参考:BCC 工具与示例、BCC capable、bpftrace setuids、Linux seccomp 文档。
第十二章 编程语言:按代码运行方式选择符号与栈工具
对原生 C/C++,Linux perf 的 CPU 采样先回答“样本落在哪些函数”;若要看特定函数的参数、返回值或耗时,再用 BCC trace/uprobe、bpftrace uprobe/uretprobe 在用户态函数入口或返回处挂探针。目标可以是主程序或共享库。按函数名挂载依赖 ELF 符号;符号被剥离时可用二进制偏移,但偏移只对匹配的构建产物有效。静态函数、内联函数或优化改写可能没有稳定的可探测入口;C++ 还会遇到 mangled symbol,应以当前二进制的符号表为准。高频函数逐次打印参数会造成大量事件和明显开销,先窄化 PID、函数和时长。BCC 文档中的 uprobe/USDT 接口可作为具体语法参考。
Java 的解释器与 JIT 代码要分开看。解释执行时,采样栈往往表现为 JVM 解释器及运行时分派函数,不能把这些通用帧直接当作某个 Java 方法热点;方法被 JIT 编译后,机器码位于动态代码缓存中,普通 ELF 符号表没有这些方法名。用 perf 采样 Java 时需要 JVM 的 JIT 符号映射(如生成 /tmp/perf-PID.map 的 perf-map-agent,或 perf 支持的 jitdump),再核对内联展开与采样误差;映射缺失时原始地址不等于“没有 Java 栈”。Java 自带 JFR 等运行时剖析也能提供 Java 方法栈,适合和系统级采样互证。Go、Python 等有各自的运行时 profile;它们回答语言层热点,系统 BPF/perf 则补充线程在内核、调度和 I/O 上的行为,不能仅凭一类 profile 推断全链路延迟。
原生栈回溯也有前提:perf --call-graph fp 依赖目标代码保留有效 frame pointer;省略帧指针时可能得到错误或断裂的调用链。DWARF 回溯需对应调试信息和 perf 的 unwind 支持。内核栈符号、用户态 build-id、库版本均应匹配正在运行的二进制,否则函数名可能误导分析。
参考:BCC 开发者文档(uprobes/USDT)、perf 调用链选项、perf-map-agent 的 JVM JIT 符号映射、Java JFR 命令文档。
第十三章 应用:用工具分辨 CPU、等待、系统调用和数据库慢查询
BCC 的应用工具各自测量不同问题:profile 周期性对 CPU 上正在运行的任务采样并按栈聚合,适合找 CPU 热点;offcputime 汇总线程不在 CPU 上运行的时间及栈,适合查锁、I/O 或调度等待,却不能单独区分等待对象,需结合线程状态、内核事件或应用 trace;syscount 默认聚合调用次数,也可用 -L 模式统计延迟,适合发现调用风暴或某类调用变慢,不会直接说明业务函数为何发起调用。若问题落到 MySQL 单条慢查询,mysqld_qslower 按查询开始/结束探针筛选超过阈值的语句。它依赖 MySQL 构建时带有 DTrace/USDT 探针(如 query__start、query__done),不是连接任意 MySQL 实例就能使用;先确认探针存在、PID/权限正确,再选窄阈值采集。优先从单一问题、短窗口和目标 PID 开始,避免同时启用多个高事件量工具。
以 Nginx 前置服务的高延迟为例,先按第十章的请求级时间字段定位慢在哪一段,再把请求 ID、错误日志及后端 trace 对齐。保留慢请求原始行,按路由、上游和状态码分组;多次 upstream 尝试要逐一配对,避免把重试结果混成一个耗时。
队列变量尤其要核查配置:$upstream_queue_time 自 Nginx 1.13.9 提供;但要让请求进入 upstream 队列,需配置 queue 指令,而该指令属于 NGINX 商业订阅功能。因此“版本里有变量”不代表开源版可以启用排队。若 connect 慢,查 TCP 建连、网络路径与 TLS;DNS 解析需另外测量,不能仅凭 connect 时间推断;connect 快而 header 慢,查应用处理和依赖;header 快而 response 慢,查响应生成/传输与客户端;queue 有数据时再查上游并发与容量。随后用 profile 判断后端是否在消耗 CPU;CPU 不高且请求仍慢时,改用 offcputime 或 mysqld_qslower 等验证阻塞假设。不要用 syscall 延迟直接等同 SQL 或请求延迟。
参考:BCC profile、offcputime、syscount、mysqld_qslower、Nginx upstream 变量和 queue 指令、Nginx access log 的 $request_time。
第十四章 内核:用事件工具定位中断、分配与唤醒路径
先用计数器、perf stat 和 PSI 判断问题方向,再选具体 BCC 工具。hardirqs 与 softirqs 按中断类型汇总事件次数/处理时间或直方图,可用于判断某类 IRQ 是否占用过多 CPU;它们通常是系统/CPU 视角,不能说明某一条业务请求由哪个中断造成。slabratetop 按 SLAB/SLUB cache 显示近期分配速率,适合找分配 churn 或突然增加的对象类型;速率高不等于当前存活内存高,也不能单凭它诊断泄漏。wakeuptime 把睡眠到被唤醒的时间按唤醒者内核栈聚合,适合找“谁唤醒、阻塞到唤醒的时长如何分布”;它并非线程完整 off-CPU 时间的替代品。要查阻塞线程自身的等待栈,用 offcputime;要查唤醒路径,用 wakeuptime;从 runnable 到真正获得 CPU 的等待则用 runqlat。
这些工具依赖内核事件、tracepoint、符号和 BCC 版本。运行前查 perf list、/sys/kernel/tracing/available_events,并确认本机 BCC 安装包中有目标脚本;若事件缺失,换成当前内核支持的 tracepoint 或用户态计数,不要照抄其他版本的探针名。采样到 [unknown] 时检查内核 vmlinux/符号、用户二进制 build-id、DWARF 或 frame pointer 回溯条件。BPF JIT 代码地址也可能没有映射到函数符号;先确认程序加载、JIT 符号导出选项和 hardening 状态,不要为了符号化在生产环境关闭硬化。
参考:BCC hardirqs、softirqs、slabratetop、wakeuptime、Linux tracefs 事件、BPF JIT 符号配置。
第十五章 容器:把 PID 视角和 CPU 带宽/调度等待分开
容器内 PID 与宿主 PID 是不同 namespace 中的编号。宿主机 /proc/HOST_PID/status 的 NSpid 可显示同一进程在 PID namespace 层级中的编号;例如宿主侧看到 NSpid: 42180 17,容器内对应 PID 可能是 17。先从运行时/编排平台取得宿主 PID,再核对 NSpid、/proc/PID/ns/pid 与 /proc/PID/cgroup;在容器里看到 PID 17,不能直接把它当宿主 PID 传给 perf 或宿主工具。
CPU 配额和 runqueue 等待是两件事。cgroup v2 cpu.max(如 50000 100000)限制一个周期内组可用的总 CPU 时间;cpu.weight 只在竞争时影响公平调度份额,不是硬配额。取目标 cgroup 的 cpu.max,并在固定窗口前后读取 cpu.stat 增量;nr_throttled、throttled_usec 上升提示发生带宽限流。沿 cgroup 树同时检查父组的 cpu.max 和 cpu.stat:父组先耗尽预算时,子组即使自己的配额尚有余量也可能被限制。不要用单次累计值判因,要算同窗口增量。
runqueue 等待表示任务已经可运行、但尚未得到 CPU;它可能由主机竞争、CPU affinity、优先级等造成,不等同 cgroup 配额耗尽。若内核启用 schedstats,可比较 /proc/HOST_PID/schedstat 的运行和等待时间增量;可用时再结合 cgroup cpu.pressure。cpu.stat throttling 增长且组预算耗尽,偏向配额问题;throttling 不明显但 runqueue 等待或 CPU PSI 上升,偏向主机竞争或亲和性;二者都低则继续查锁、I/O、网络与上游。cgroup v1/v2 文件及字段不同,先确认挂载版本与 controller。
参考:Linux cgroup v2 CPU 控制及 cpu.stat、Linux /proc 的 NSpid、scheduler stats、PSI。
第十六章 虚拟机:区别 guest steal time 与 KVM VM exit
guest 的 steal time 是 vCPU 本应运行、却被 hypervisor 暂停执行的时间;它持续增长可提示宿主竞争或 vCPU 排程延迟,但单独不能定位到物理核或邻居 VM。并非所有虚拟化平台都以相同方式提供此统计,零值也不能证明宿主没有竞争。将 guest 的 /proc/stat steal 增量、运行队列和应用延迟,与平台侧 vCPU wait/steal 指标放在同一时间窗核对。
KVM VM exit 是 vCPU 离开硬件 guest mode、转由 host KVM/VMM 处理的事件。I/O、MMIO、控制寄存器访问等都可触发 exit;发生 exit 本身不表示异常,也不等于 steal。宿主侧 perf kvm stat 或 KVM stats 接口(若当前架构、内核及 perf 构建支持)可按 exit reason 汇总次数/时间;重点看特定类型的增量和处理耗时是否与慢请求同期。客户机不能直接看到宿主 KVM 的完整 exit 处理过程,应由宿主监控或虚拟化平台补足证据。
参考:KVM steal-time 能力、KVM stats API、KVM API 与 exit 信息。
第十七章 其他工具与实战排障:选对采集形态,再逐层证伪
本书中的工具可按使用场景分工。BCC/bpftrace 脚本适合临时、聚焦的现场问题;先检查脚本是否随发行版安装、内核探针是否存在。PCP 面向持续的主机指标采集和历史回放:pmcd/PMDA 提供指标,pmlogger 写成可回看的 archive;若要采集 BPF 指标,依 PCP 版本安装/配置相应 PMDA。旧资料会提到 pmdabcc;选型时要查看所用 PCP 版本的迁移说明,较新的 BPF 集成可关注 pmdabpf;pmdabpftrace 则用于将配置好的 bpftrace 脚本作为 PCP 指标源。PCP 适合跨时间窗看趋势和事后比较,不是临时打印任意事件的通用替代品。
Cloudflare ebpf_exporter 面向 Prometheus 长期采集自定义 eBPF 指标:配置将内核 map 转成 counter/histogram 与 labels,需维护对应 BPF 程序和指标定义;适用于系统缺少所需指标且已有 Prometheus 运维链路的情况。它不是即装即有的万能指标包,需核实目标内核、BTF、libbpf、挂载点及权限,并控制 label 取值和 map 规模,避免每个 PID、文件名或请求 ID 生成常驻时序。kubectl-trace 则把 bpftrace 程序提交到 Kubernetes 节点或 Pod 对应的 trace job,适合短时定位容器所在节点上的内核/用户探针。针对 Pod 执行时,工具主要帮助解析容器进程对应的宿主 PID;追踪程序仍在节点视角运行,并不因此被隔离在该 Pod 内。需有集群授权、节点侧 BPF 能力及相应特权配置;该项目 README 也明确其成熟度限制,部署前应核对版本维护状态与集群安全策略。
持续观测优先选低频聚合计数器、固定桶直方图和清晰标签;异常时再短时升采样。为避免观测放大负载,限定 PID/cgroup/CPU、事件集合、持续时间、栈深和 map 容量;监控事件丢失、采集器开销及指标基数。工具名、路径、选项、PMDA 包名和权限要求会随内核、发行版及项目版本变化,现场以 --help、安装包清单、tracefs available_events 和对应版本文档核实。
Nginx 高延迟排障流程:
- 先按路由、状态码和时间窗找 p95/p99 慢请求,保留请求 ID 与原始 Nginx 日志;配对各次 upstream 地址、状态和时间。
request_time高但 upstream 时间低,查上传/慢客户端和 Nginx 本机;connect 高,拆 TCP 建连与 TLS,DNS 解析耗时另行测量;header 高而 connect 快,沿请求 ID 查应用及其数据库/RPC;response 高则查响应生成、大小和发送速度。只有配置了商业queue功能的环境才按$upstream_queue_time诊断排队。- 用应用 profile/trace 确认请求在 CPU、锁、SQL、RPC 还是 I/O;CPU 高选
profile,阻塞栈选offcputime,系统调用频率/延迟选syscount,MySQL 已提供 USDT 查询探针时才选mysqld_qslower。 - 若应用忙等但 CPU 不足,检查目标 cgroup 及父组
cpu.max、窗口内cpu.stat增量和 runqueue/CPU PSI;容器进程要由NSpid映射为宿主 PID。VM 中再核对 guest steal 与宿主 vCPU wait;只有怀疑 exit 模式异常才查看 KVM exit 分类。 - 证据指向中断、分配或唤醒路径时,短时选择
hardirqs/softirqs、slabratetop或wakeuptime。结束采集后重复同一业务指标,确认现象与探针结果一致,并记录采集时长、工具版本和限制条件。
每一步都围绕一个可证伪假设推进。持续趋势交给 PCP archive 或 exporter,现场调用链交给窄范围 BCC/bpftrace,Kubernetes 节点临时追踪才考虑 kubectl-trace。
现代补充:BTF 与 CO-RE
BTF 为内核类型提供元数据;BPF CO-RE 借助目标内核 BTF 在加载时重定位字段访问,降低跨内核结构偏移变化带来的维护成本。它仍要求目标机有合适 BTF、loader 和 attach 点兼容;不保证任意内核内部函数都成为稳定接口。本节是现代工具链补充,不是书中原有内容。检查目标内核 BTF 文件、bpftool feature probe(若版本支持)及 loader 诊断,再决定能否使用。
参考:PCP 架构与 archive 回放、PCP 变更记录(pmdabcc 迁移)、Cloudflare eBPF exporter、kubectl-trace 用法与 Pod 语义、Linux BTF 文档、BPF CO-RE 文档。
附录:开始实验前的核对与复盘模板
A. 先确认工具实际能看到什么
以下命令用于 Linux 目标机器。本次笔记整理没有在目标 Linux 内核上实测 BPF 程序,因此示例不代表对任意内核、发行版或容器环境的可运行保证。
1 | uname -r |
检查顺序应是:工具是否安装 → 当前身份有无权限 → 探针是否存在 → 字段和参数是否符合预期 → 小范围运行 → 检查结果及采集开销。--info 报告当前构建与内核能力;-l 列出探针,-lv 进一步展示可用参数。不要仅凭“内核版本看起来够新”就认定所有例子都可运行。bpftrace 命令行文档;bpftool feature 文档。
BCC 的命令在不同发行版中可能叫 opensnoop、opensnoop-bpfcc,也可能安装在 /usr/share/bcc/tools/。先找到对应程序并阅读 --help,再使用本笔记里的工具名;不要把同名的非 BCC 工具当成同一实现。
B. 用测量定义防止误判
每次保存结果时附上这六项,之后才容易比较:
| 项目 | 应记录的内容 |
|---|---|
| 问题 | 哪个请求、哪类错误或哪个延迟分位数异常 |
| 范围 | 主机、PID/TID、cgroup、设备、端口及时间窗口 |
| 负载 | 请求速率、并发、输入大小、读写比例,以及是否正在发布 |
| 测量 | 探针位置、起止事件、时间单位、聚合方法 |
| 完整性 | 丢事件、未知栈、map 容量、探针匹配数量、版本信息 |
| 结论 | 已证实的现象、尚未证实的原因、下一步反证方法 |
对于时延直方图,先看单位、桶边界和样本数。对数桶只能把分位数约束在某个区间内,不能从一个很宽的桶里读出精确 P99。只抓取“超过阈值的慢事件”得到的是筛选后的分布,也不能冒充完整请求分布。
对于采样结果,说明分母:是一个进程的 CPU 样本、某一段 off-CPU 时间,还是整机事件数。把来自不同时间窗口、不同请求量的两张火焰图直接比较,很容易把负载变化误判为代码回退。
C. 一份可以复制的实验记录
1 | 问题: |
把假设写在命令前,把测量边界写在结论前。这样工具越多,排查路径也不会越乱。