性能分析与调优: Linux 文件系统观测工具

目录

一、实验

1.环境

2.mount

3.free

4.top

5.vmstat

6.sar

7.slabtop

8.strace

9.opensnoop

10.filetop

11.cachestat

二、问题

1.Ftrace实例如何实现

2.Function trace 如何跟踪实例

3.function_graph Trace 如何跟踪实例

4.trace event 如何跟踪实例

5.未找到命令

6. fatrace有何功能

---

一、实验

1.环境

（1）主机

表1-1 主机

主机	架构	组件	IP	备注
prometheus	监测 系统	prometheus、node_exporter	?192.168.204.18
grafana	监测GUI	grafana	192.168.204.19
agent?	监测 主机	node_exporter	192.168.204.20

（2）文件系统观测工具

表1-2 文件系统观测工具

序号	工具	描述
1	mount	列出文件系统和它们的挂载选项
2	free	缓存容量统计信息
3	top	包括内存使用概要
4	vmstat	虚拟内存统计信息
5	sar	多种统计信息，包括历史信息
6	slabtop	内核slab分配器统计信息
7	strace	系统调用跟踪
8	opensnoop	跟踪打开的文件
9	filetop	使用中的最高IOPS和字节数的文件
10	cachestat	页缓存统计信息

2.mount

(1) 列出挂载的文件系统与挂载选择

[root@agent ~]# mount

3.free

(1) 显示内存和交换区的统计信息

①显示正常输出，单位为MB（-m）

[root@agent ~]# free -m

② 显示宽（-w）的输出，单位为MB（-m）。

[root@agent ~]# free -mw

输出包含一个buffers列，表示缓冲区高速缓存大小，以及一个cache列，表示页缓存大小。

4.top

(1) 输出包含文件系统缓存的详细信息

[root@agent ~]# top

输出了buff/cache和avail Mem统计信息

5.vmstat

(1) 输出包含文件系统缓存的详细信息

每秒1次，共5次输出

[root@agent ~]# vmstat 1 5

输出包含一个buffer列，表示缓冲区高速缓存大小，以及一个cache列，表示页缓存大小。

6.sar

(1) 报告当前文件系统的统计信息

每秒1次，共5次输出

[root@agent ~]# sar -v 1 5

（2）-r 选项

每秒1次，共5次输出

[root@agent ~]# sar -r 1 5

输出了分别代表缓冲区高速缓存大小以及页缓存大小的kbbuffers 和?kbcached

7.slabtop

(1) 打印有关内核slab缓存的信息，有些用于文件系统缓存

[root@agent ~]# slabtop -o

8.strace

(1) 文件系统延时，测量系统操作事件

选项-tt在左侧打印出相对时间戳，而选项-T在右侧打印出系统调用事件

[root@agent ~]# strace -ttT -p 755

9.opensnoop

(1) 跟踪文件打开

①???-T选项包含时间戳

[root@agent ~]# opensnoop -T 

②??-x 选项只显示失败的打开事件

[root@agent ~]# opensnoop -x

10.filetop

(1) 显示最频繁读或者写的文件名

-a显示所有文件，每秒1次，共2次输出

[root@agent ~]# filetop -a 1 2

11.cachestat

(1) 展示页缓存命中和未命中的统计信息

每秒1次，共5次输出

[root@agent ~]# cachestat -T 1 5

二、问题

1.Ftrace实例如何实现

（1）Ftrace 三板斧

1）设置 tracer 类型

2）设置 tracer 参数

3）使能 tracer

2.Function trace 如何跟踪实例

（1）查看

1）进入 ftrace 工作目录
cd /sys/kernel/debug/tracing

2）查看系统支持的 tracer 类型
cat available_tracers

3）Disable tracer
echo 0 > tracing_on

4）设置 tracer 类型为 function
echo function > current_tracer

5）设置 tracer 类型为 function
echo function > current_tracer

6）set_ftrace_filter 表示要跟踪的函数，这里我们只跟踪 dev_attr_show 函数
 echo dev_attr_show > set_ftrace_filter

7）Enable tracer
echo 1 > tracing_on

8）提取 trace 结果
cat trace

（2）检查当前所设置的跟踪器

cat current_tracer

（3）开始跟踪

1)初始化跟踪
echo 1 > tracing_on 

2)将跟踪文件保存到一个临时文件
cat trace > /tmp/trace.txt 

3)禁用跟踪功能
echo 0 > tracing_on
 
4) 查看trace文件的输出。
cat /tmp/trace.txt   | head -25

?

3.function_graph Trace 如何跟踪实例

(1) 查看

1）进入 ftrace 工作目录
cd /sys/kernel/debug/tracing

2）查看系统支持的 tracer 类型
cat available_tracers

（2）设置跟踪器

?①设置 tracer 类型为 function_graph?

 echo function_graph > current_tracer

（3）检查当前所设置的跟踪器

cat current_tracer

（4）开始跟踪

1)初始化跟踪
echo 1 > tracing_on 

2)将跟踪文件保存到一个临时文件
cat trace > /tmp/grapgtrace.txt

3)禁用跟踪功能
echo 0 > tracing_on
 
4) 查看trace文件的输出。
cat /tmp/grapgtrace.txt   | head -25

4.trace event 如何跟踪实例

(1) 查看

1）进入 ftrace 工作目录
cd /sys/kernel/debug/tracing

2）查看系统支持的 tracer 类型
cat available_tracers

（2）打开?sched_switch?event （监控系统内进程切换事件）

1）切换目录
 cd /sys/kernel/debug/tracing/events/sched/sched_switch

2）查看
ls

3）写入
echo 1 > enable

（3）设置跟踪器

?①设置 tracer 类型为 function_graph?

echo nop > current_tracer

（4）检查当前所设置的跟踪器

cat current_tracer

（5）开始跟踪

1)初始化跟踪
echo 1 > tracing_on 

2)将跟踪文件保存到一个临时文件
cat trace > /tmp/traceevent.txt

3)禁用跟踪功能
echo 0 > tracing_on
 
4) 查看trace文件的输出。
cat /tmp/traceevent.txt   | head -25

（6）过滤信息

1）切换目录
cd /sys/kernel/debug/tracing/events/sched/sched_switch

2）查看
cat format

（7）分析

format 信息可以看出?sched_switch?打印的信息格式，基于上面提供的关键字可以实现信息过滤

print fmt: "prev_comm=%s prev_pid=%d prev_prio=%d prev_state=%s%s ==> next_comm=%s next_pid=%d next_prio=%d", REC->prev_comm, REC->prev_pid, REC->prev_prio, (REC->prev_state & ((((0x0000 | 0x0001 | 0x0002 | 0x0004 | 0x0008 | 0x0010 | 0x0020 | 0x0040) + 1) << 1) - 1)) ? __print_flags(REC->prev_state & ((((0x0000 | 0x0001 | 0x0002 | 0x0004 | 0x0008 | 0x0010 | 0x0020 | 0x0040) + 1) << 1) - 1), "|", { 0x0001, "S" }, { 0x0002, "D" }, { 0x0004, "T" }, { 0x0008, "t" }, { 0x0010, "X" }, { 0x0020, "Z" }, { 0x0040, "P" }, { 0x0080, "I" }) : "R", REC->prev_state & (((0x0000 | 0x0001 | 0x0002 | 0x0004 | 0x0008 | 0x0010 | 0x0020 | 0x0040) + 1) << 1) ? "+" : "", REC->next_comm, REC->next_pid, REC->next_prio

查看目录

比如下面的过滤命令可以只显示 chrome 进程的切换信息

echo "prev_comm == 'chrome' || next_comm == 'chrome'" > filter

5.未找到命令

（1）报错

（2）原因分析

未申明环境变量

（3）解决方法

① 临时申明环境变量

[root@agent sched_switch]# export PATH=$PATH:/usr/share/bcc/tools

② 永久申明环境变量

1）修改配置文件
[root@agent ~]# vim /etc/profile
export PATH=$PATH:/usr/share/bcc/tools

2）更新
[root@agent ~]# source /etc/profile 

③ 成功

6. fatrace有何功能

(1)功能

特殊的跟踪器，使用Linux的fanotify API

（2）命令

 fatrace