闲言少叙,本文记录了如何零基础通过 BCC 框架,入门 eBPF 程序的开发,并实现几个简易的程序。

有关 eBPF 的介绍,网络上的资料有很多,本文暂且先不深入讨论,后面会再出一篇文章详细分析其原理和功能。

我们目前只需要知道,eBPF 实际上是一种过滤器,这种过滤器几乎可以插入内核源码的任意的流程和环节中,实现自定义的逻辑。由于 eBPF 自身的若干限制,使它最常见的用法是,附着在内核某些关键流程上,抓取一些关键数据,用于监控、统计和分析。

1 一个简单的例子

下面是一个简单的例子,我想实现一个程序,用来实时监控内核可执行文件(ELF)的加载。这个程序运行如下:

如图所示,每当有一个 ELF 文件被加载时,可以显示这个 ELF 加载时的一些内核信息,如:加载时间、加载进程名、加载进程 PID、以及被加载的 ELF 文件名。

这个程序就是基于 eBPF 实现的。接下来,我们就逐步了解一下,如何通过 BCC 框架,成功编写运行这个 eBPF 程序。

2 BCC 框架

进行 eBPF 编程,有很多种方式。例如:

1)libbpf:使用原生的 C 语言,基于 libbpf 库,编写用户态程序和 BPF 程序的加载;

2)libbpf-bootstrap:使用 libbpf-bootstrap 脚手架,轻而易举地编写 BPF 程序;

3)BCC:使用 BCC 框架,基于 python/Lua 脚本,实现 BPF 和用户态程序,上手容易,简化了 BPF 的开发;

4)Bpftrace:一种用于eBPF的高级跟踪语言,使用LLVM作为后端,将脚本编译为BPF字节码;

5)eunomia-bpf:较新的基于 libbpf 的 CO-RE 轻量级框架,简化了 eBPF 程序的开发、构建、分发、运行

选择 BCC 框架作为第一个学习的框架的原因是,BCC 封装较好,上手容易,用户态和内核态的区分明显,用户态支持 Python,易于理解。

安装过程很简单,直接通过对应软件包管理器安装即可。

本文的实验环境是 REHL 8(x86),因此,执行 yum 命令来安装。

yum install -y python3-bcc.x86_64

2.1 编写 hello world

安装好 Python BCC 依赖包后,在工作目录中创建一个 py 脚本文件,输入以下代码:

#!/bin/python3from bcc import BPFbpf_code = '''int kprobe__sys_clone(void *ctx) {    bpf_trace_printk("Hello world!\\n");    return 0;}'''b = BPF(text=bpf_code)b.trace_print()

运行这个 py 脚本,当有进程被创建时,打印一条 Hello world 记录。

这就是一个最简单的 eBPF 程序。

3 扩展这个 Hello world

上面给出的这个程序结构很清晰,分为两个部分:以 C 编写的 eBPF 内核态程序,和以 Python 编写的用户态控制程序。eBPF 内核态程序被 BCC 框架编译到内核中,等待预设的触发条件,——这里是 sys_clone 即进程创建的系统调用,eBPF 被执行时,将会返回数据给用户态控制程序。

流程可以描述如下:

接下来我们对这个程序进行亿点点扩展,让它变得规范一些,代码如下:

#!/bin/python3from bcc import BPFfrom bcc.utils import printb# define BPF programprog = """int hello(void *ctx) {    bpf_trace_printk("Hello, World!\\n");    return 0;}"""# load BPF programb = BPF(text=prog)b.attach_kprobe(event=b.get_syscall_fnname("clone"), fn_name="hello")# headerprint("%-18s %-16s %-6s %s" % ("TIME(s)", "COMM", "PID", "MESSAGE"))# format outputwhile 1:    try:        (task, pid, cpu, flags, ts, msg) = b.trace_fields()    except ValueError:        continue    except KeyboardInterrupt:        exit()    printb(b"%-18.9f %-16s %-6d %s" % (ts, task, pid, msg))

在这段程序中,我们做出了以下几点变动:

1)使用 event=b.get_syscall_fnname("clone") 来绑定内核中的系统调用监视点,这里绑定了 clone 进程创建调用;使用 fn_name="hello" 绑定了 eBPF 程序中的自定义检查逻辑;使用 b.attach_kprobe() 函数将 eBPF 程序加载到内核中。

2)使用 b.trace_fields() 函数按字段的形式,接收内核 eBPF 程序传出的输出信息;其中,msgbpf_trace_printk() 的打印信息。

3)通过无限循环,监测 clone 系统调用的执行;增加了异常输出。

这段程序运行后,输出结果如下:

4 进一步扩展,监视 do_execve

第 3 节的代码,输出内核字段的方式是 bpf_trace_printk() + trace_fields(),比较灵活,但性能较差。实际上,还有一种比较常见的输出方式,那就是通过一段共享内存 Ring buffer 来实现。

此外,这次我们更换一个内核监视点,不再关注进程的创建,而关注进程的执行。

接下来,对上面的代码进行大刀阔斧的修改吧。

文件拆分:

// do_execve.c#include // #define NAME_MAX255#include // struct filename;#include // #define TASK_COMM_LEN16// 定义 Buffer 中的数据结构,用于内核态和用户态的数据交换struct data_t {u32     pid;char    comm[TASK_COMM_LEN];char    fname[NAME_MAX];};BPF_PERF_OUTPUT(events);// 自定义 hook 函数int check_do_execve(struct pt_regs *ctx, struct filename *filename,                                const char __user *const __user *__argv,                                const char __user *const __user *__envp) {truct data_t data = { };data.pid = bpf_get_current_pid_tgid();bpf_get_current_comm(&data.comm, sizeof(data.comm));bpf_probe_read_kernel_str(&data.fname, sizeof(data.fname), (void *)filename->name);// 提交 buffer 数据events.perf_submit(ctx, &data, sizeof(data));return 0;}
# do_execve.py#!/bin/python3from bcc import BPFfrom bcc.utils import printb# 指定 eBPF 源码文件b = BPF(src_file="do_execve.c")# 以内核函数的方式绑定 eBPF 探针b.attach_kprobe(event="do_execve", fn_name="check_do_execve")print("%-6s %-16s %-16s" % ("PID", "COMM", "FILE"))# 自定义回调函数def print_event(cpu, data, size):event = b["events"].event(data)printb(b"%-6d %-16s %-16s" % (event.pid, event.comm, event.fname))# 指定 buffer 名称,为 buffer 的修改添加回调函数b["events"].open_perf_buffer(print_event)while 1:try:# 循环监听b.perf_buffer_poll()except KeyboardInterrupt:exit()

这一次,我们又进行了亿点点修改:

1)首先,对 eBPF BCC 程序的用户态和内核态代码进行拆分,并在用户态程序中,通过 b = BPF(src_file="do_execve.c") 对内核态源码文件进行绑定。

2)以内核函数的方式绑定 eBPF 程序,绑定点为 do_execve(),自定义处理函数为 check_do_execve()

注意:

可以看到,check_do_execve() 函数的参数分为两部分:

① struct pt_regs *ctx;② struct filename *filename, const char __user *const __user *__argv, const char __user *const __user *__envp

这是因为,②所代表的,正是内核 do_execve()函数的参数。do_execve()函数签名如下:

// fs/exec.cint do_execve(struct filename *filename, const char __user *const __user *__argv, const char __user *const __user *__envp) {...}

是的,通过这种方式,几乎可以监控任意一个内核中的函数

3)内核态程序中,使用了一些 eBPF Helper 函数来进行一些基础的操作和数据获取,例如:

bpf_get_current_pid_tgid()// 获取当前进程 pidbpf_get_current_comm(&data.comm, sizeof(data.comm));// 获取当前进程名 commbpf_probe_read_kernel_str(&data.fname, sizeof(data.fname), (void *)filename->name);// 将数据从内核空间拷贝到用户空间

4)内核态程序中,使用 BPF_PERF_OUTPUT(events) 声明 buffer 中的共享变量;使用 events.perf_submit(ctx, &data, sizeof(data)) 提交数据。
用户态程序中,使用 b["events"].open_perf_buffer(print_event) 指定 buffer 名称,为 buffer 的修改添加回调函数 print_event

运行这段程序,输出如下:

可以看到,这段程序可以实时监控内核进程执行,并输出执行的进程和被执行的文件名。

5 总结

本文通过几个程序 demo,简单介绍了 eBPF BCC 框架的编程方法,并最终实现了一个简单的进程执行的监视工具,可以实时打印被执行的进程信息。

本文开篇所引出的实时监控内核可执行文件(ELF)的加载程序,也就没那个高深莫测了。