Rust Aya 框架編寫(xiě) eBPF 程序

更新時(shí)間：2022年11月13日 10:46:24 作者：深入淺出eBPF

這篇文章主要介紹了Rust Aya 框架編寫(xiě) eBPF 程序方法的相關(guān)資料,需要的朋友可以參考下

1. 前言

Linux 內(nèi)核 6.1 版本中有一個(gè)非常引人注意的變化：引入了對(duì) Rust 編程語(yǔ)言的支持。Rust 是一種系統(tǒng)編程語(yǔ)言，Rust 通過(guò)提供非常強(qiáng)大的編譯時(shí)保證和對(duì)內(nèi)存生命周期的明確控制。在內(nèi)核開(kāi)發(fā)中引入 Rust 語(yǔ)言，將會(huì)為內(nèi)核開(kāi)發(fā)的早期帶來(lái)更多的安全保障。eBPF 是在內(nèi)核中基于事件運(yùn)行用戶自定義程序的技術(shù)，其驗(yàn)證器機(jī)制可以保障運(yùn)行在內(nèi)核中 eBPF 程序的安全性。

Rust 與 eBPF 有著一個(gè)共同的目標(biāo)：保證內(nèi)核安全，只是兩者側(cè)重的維度有所不同。

盡管使用 Rust 編寫(xiě) eBPF 程序多數(shù)情況下都需要通過(guò)不安全的方式在內(nèi)核進(jìn)行內(nèi)存讀寫(xiě)，但是基于 Rust 和 Aya ，的確能夠給我們帶來(lái)一個(gè)快速和高效的開(kāi)發(fā)體驗(yàn)，這包括自動(dòng)生成整個(gè)程序框架（eBPF 程序及對(duì)應(yīng)的用戶空間代碼）、參數(shù)檢查確認(rèn)、錯(cuò)誤處理、統(tǒng)一的相關(guān)構(gòu)建和管理方式等等。

Aya 是一個(gè)以可操作性和開(kāi)發(fā)者體驗(yàn)為重點(diǎn)的 eBPF 庫(kù)，完全是在 Rust 基礎(chǔ)上建立的，只使用 libc 包來(lái)執(zhí)行系統(tǒng)調(diào)用。Aya 官方倉(cāng)庫(kù)地址為 https://github.com/aya-rs/aya/，當(dāng)前版本為 v0.1.11，項(xiàng)目還處于偏早期。基于 Aya 庫(kù)開(kāi)發(fā) eBPF 程序可以給我們帶來(lái)以下的便利：

基于 Rust 的 Cargo 工具來(lái)管理、構(gòu)建和測(cè)試項(xiàng)目；
支持 CO-RE 直接生成與 Rust 與內(nèi)核文件的綁定；
用戶工具代碼（Rust）與運(yùn)行在的內(nèi)核中的 eBPF 代碼輕松共享代碼；
對(duì)于 LLVM、libbpf、bcc 等完全沒(méi)有任何依賴；

本文僅是基于 Aya 編寫(xiě) eBPF 程序及用戶空間程序的生成和測(cè)試的過(guò)程記錄，不涉及到對(duì)于生成 Rust 代碼的詳細(xì)解讀。

2. Rust 開(kāi)發(fā)環(huán)境搭建

2.1 創(chuàng)建 VM 虛擬機(jī)

為了使用 Rust 進(jìn)行 eBPF 程序編寫(xiě)，那么我們首先需要在本地搭建一個(gè) Rust 開(kāi)發(fā)環(huán)境。這里我仍然采用 multipass 工具快速搭建一個(gè) Ubuntu 22.04 LTS 的環(huán)境。

$ multipass launch --name rust-aya -d 20G

默認(rèn)磁盤為 5G，比較容易造成磁盤空間滿，因此這里將磁盤空間大小設(shè)置為 20G，你可以根據(jù)自己的情況調(diào)整。

對(duì)于已經(jīng)創(chuàng)建的 mulipass 實(shí)例可以在創(chuàng)建后進(jìn)行調(diào)整，則需要 multipass 版本大于 1.10，而且需要調(diào)整的實(shí)例處于停止?fàn)顟B(tài)，詳細(xì)可參見(jiàn)調(diào)整實(shí)例配置，例如 multipass set local.rust-aya.cpus=4 或 multipass set local.rust-aya.memory=8G 分別用于調(diào)整實(shí)例的 CPU 和 MEM 大小。

2.2 安裝 Rust 開(kāi)發(fā)環(huán)境

通常情況下，Rust 開(kāi)發(fā)環(huán)境推薦通過(guò) rustup 工具管理，我們可以通過(guò)以下命令快速安裝該工具：

$ curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

一般情況下我們選擇默認(rèn)選項(xiàng)安裝。整個(gè)安裝過(guò)程會(huì)下載一個(gè)腳本完成 rustup 工具安裝，同時(shí)也會(huì)安裝最新的 Rust 穩(wěn)定版本。如果安裝順利，我們可以在最后看到如下的信息：

...
stable-x86_64-unknown-linux-gnu installed - rustc 1.65.0 (897e37553 2022-11-02)


Rust is installed now. Great!


To get started you may need to restart your current shell.
This would reload your PATH environment variable to include
Cargo's bin directory ($HOME/.cargo/bin).


To configure your current shell, run:
source "$HOME/.cargo/env"

在 rustup 工具安裝完成后，我們可以使用其安裝 Rust 穩(wěn)定版（實(shí)際上默認(rèn)已經(jīng)安裝）和 nightly ，其中 nightly 為開(kāi)發(fā)者體驗(yàn)新功能的發(fā)布通道，Rust 2021 年開(kāi)始支持編譯 eBPF，當(dāng)前使用 Aya 需要基于 Rust Nightly 版本。

Rust 有 3 個(gè)發(fā)布通道：

Nightly
Beta
Stable（穩(wěn)定版）

大部分 Rust 開(kāi)發(fā)者主要采用穩(wěn)定版通道，不過(guò)希望實(shí)驗(yàn)新功能的開(kāi)發(fā)者可能會(huì)使用 nightly 或 beta 版。詳情參見(jiàn)附錄 G：Rust 是如何開(kāi)發(fā)的與 “Nightly Rust”

$ source "$HOME/.cargo/env"
$ rustup install stable # rustup 命令已經(jīng)默認(rèn)安裝
info: syncing channel updates for 'stable-x86_64-unknown-linux-gnu'


stable-x86_64-unknown-linux-gnu unchanged - rustc 1.65.0 (897e37553 2022-11-02)


info: checking for self-updates
$ rustup toolchain install nightly --component rust-src
...
info: installing component 'rustfmt'


nightly-x86_64-unknown-linux-gnu installed - rustc 1.67.0-nightly (09508489e 2022-11-04)


info: checking for self-updates


$ rustup toolchain list
stable-x86_64-unknown-linux-gnu (default)
nightly-x86_64-unknown-linux-gnu

安裝 nightly 以后我們可以使用 rustup toolchain list 查看本地開(kāi)發(fā)環(huán)境的開(kāi)發(fā)工具鏈。

2.3 安裝 bpf-linker 依賴和 bpftool 工具

為了使用 Aya，我們還需要安裝依賴包 bpf-linker，但其依賴與 LLVM/Clang 等工具，因此我們也需要提前安裝：

$ sudo apt-get update
$ sudo apt-get install llvm clang -y
$ cargo install bpf-linker

最后，為了生成內(nèi)核數(shù)據(jù)結(jié)構(gòu)的綁定，我們還必須安裝 bpftool，可以從發(fā)行版中安裝或從源代碼中構(gòu)建，這里我選用發(fā)行版安裝方式（基于 Ubuntu 22.04），源碼安裝可參考 bpftool 倉(cāng)庫(kù)說(shuō)明文檔：

$ sudo apt install linux-tools-common linux-tools-5.15.0-52-generic linux-cloud-tools-5.15.0-52-generic -y

支持我們完成了基于 Aya 開(kāi)發(fā)的整個(gè)環(huán)境及依賴的安裝。

3. Aya 向?qū)?chuàng)建 eBPF 程序

3.1 使用向?qū)?chuàng)建項(xiàng)目

Aya 提供了一套模版向?qū)в糜趧?chuàng)建 eBPF 對(duì)應(yīng)的程序類型，向?qū)?chuàng)建依賴于 cargo-generate，因此我們需要在運(yùn)行程序向?qū)疤崆鞍惭b：

$ cargo install cargo-generate

我在安裝 cargo-generate 過(guò)程中遇到了如下的錯(cuò)誤，主要是由于依賴 openssl 庫(kù)問(wèn)題導(dǎo)致，如果你也遇到類似問(wèn)題可參考 cargo-generate 安裝指南和 Rust OpenSSL 文檔，如果一切順利，則可忽略此處的提示。

...
warning: build failed, waiting for other jobs to finish...
error: failed to compile `cargo-generate v0.16.0`, intermediate artifacts can be found at `/tmp/cargo-install8NrREg
...


$ sudo apt install openssl pkg-config libssl-dev gcc m4 ca-certificates make perl -y
# 重新安裝即可

在完成依賴后，我們就可以使用向?qū)?lái)創(chuàng)建 eBPF 項(xiàng)目，這里以 XDP 類型程序?yàn)槔?/p>

$ cargo generate https://github.com/aya-rs/aya-template

這里我們輸入項(xiàng)目名稱 myapp，eBPF 程序類型選擇 xdp，完成相關(guān)設(shè)定后，向?qū)?huì)自動(dòng)幫我們創(chuàng)建一個(gè)名為 myapp 的 Rust 項(xiàng)目，項(xiàng)目包括了一個(gè)最簡(jiǎn)單的 XDP 類型的 eBPF 程序及相對(duì)應(yīng)的用戶空間程序。 myapp 目錄的整體夾頭如下所示：

├── Cargo.lock
├── Cargo.toml
├── README.md
├── myapp # 用戶空間程序
│?? ├── Cargo.toml
│?? └── src
│?? └── main.rs
├── myapp-common # eBPF 程序與用戶空間程序復(fù)用的代碼庫(kù)
│?? ├── Cargo.toml
│?? └── src
│?? └── lib.rs
├── myapp-ebpf # eBPF 程序
│?? ├── Cargo.lock
│?? ├── Cargo.toml
│?? ├── rust-toolchain.toml
│?? └── src
│?? └── main.rs
└── xtask # build 相關(guān)的代碼
├── Cargo.toml
└── src
├── build_ebpf.rs
├── main.rs
└── run.rs


8 directories, 15 files

生成的 eBPF 程序位于 myapp-ebpf/src 目錄下，文件名為 main.rs，完整內(nèi)容如下所示：

$ cat myapp-ebpf/src/main.rs
#![no_std]
#![no_main]


use aya_bpf::{
bindings::xdp_action,
macros::xdp,
programs::XdpContext,
};
use aya_log_ebpf::info;


#[xdp(name="myapp")]
pub fn myapp(ctx: XdpContext) -> u32 {
match try_myapp(ctx) {
Ok(ret) => ret,
Err(_) => xdp_action::XDP_ABORTED,
}
}


fn try_myapp(ctx: XdpContext) -> Result<u32, u32> {
info!(&ctx, "received a packet"); // 每接受到一個(gè)數(shù)據(jù)包則打印一個(gè)日志
Ok(xdp_action::XDP_PASS)
}


#[panic_handler]
fn panic(_info: &core::panic::PanicInfo) -> ! {
unsafe { core::hint::unreachable_unchecked() }
}

3.2 編譯 eBPF 程序

首先，我們使用 cargo 工具編譯 eBPF 對(duì)應(yīng)的程序：

$ cd myapp
$ cargo xtask build-ebpf
...
Compiling myapp-ebpf v0.1.0 (/home/ubuntu/myapp/myapp-ebpf)
Running `rustc --crate-name myapp --edition=2021 src/main.rs --error-format=json \
--json=diagnostic-rendered-ansi,artifacts,future-incompat --crate-type bin \
--emit=dep-info,link -C opt-level=3 -C panic=abort -C lto -C codegen-units=1 
-C metadata=dd6140d48c387b43 -C extra-filename=-dd6140d48c387b43 \
--out-dir \
...
-Z unstable-options \
Finished dev [optimized] target(s) in 11.76s

編譯完成后，對(duì)應(yīng)的程序保存在 target 目錄下：

~/myapp$ ls -hl target/bpfel-unknown-none/debug/
...
-rw-rw-r-- 2 ubuntu ubuntu 3.5K Nov 6 22:24 myapp


~/myapp$ file target/bpfel-unknown-none/debug/myapp
target/bpfel-unknown-none/debug/myapp: ELF 64-bit LSB relocatable, eBPF, version 1 (SYSV), not stripped


/myapp$ llvm-objdump -S target/bpfel-unknown-none/debug/myapp


target/bpfel-unknown-none/debug/myapp: file format elf64-bpf


Disassembly of section xdp/myapp:


0000000000000000 <myapp>:
...
242: bf 61 00 00 00 00 00 00 r1 = r6
243: 18 02 00 00 00 00 00 00 00 00 00 00 00 00 00 00 r2 = 0 ll
245: 18 03 00 00 ff ff ff ff 00 00 00 00 00 00 00 00 r3 = 4294967295 ll
247: bf 04 00 00 00 00 00 00 r4 = r0
248: b7 05 00 00 aa 00 00 00 r5 = 170
249: 85 00 00 00 19 00 00 00 call 25

至此，已經(jīng)完成了 eBPF 程序的編譯工作，接著我們需要繼續(xù)編譯用戶空間代碼。

3.3 運(yùn)行用戶空間程序

我們可以直接使用 cargo 命令來(lái)運(yùn)行用戶空間程序：

$ RUST_LOG=info cargo xtask run
...
Finished dev [unoptimized + debuginfo] target(s) in 8.38s
Error: failed to attach the XDP program with default flags - try changing XdpFlags::default() to XdpFlags::SKB_MODE


Caused by:
unknown network interface eth0

RUST_LOG=info 為設(shè)置日志級(jí)別的環(huán)境變量，默認(rèn)為 warn，但向?qū)傻拇a打印的日志級(jí)別默認(rèn)為 info，因此需要運(yùn)行時(shí)制定，否則可能會(huì)出現(xiàn)程序運(yùn)行查看不到日志的情況。

cargo xtask run 命令會(huì)直接編譯用戶空間代碼并運(yùn)行，但是運(yùn)行過(guò)程中我們發(fā)現(xiàn)出現(xiàn)錯(cuò)誤 unknown network interface eth0，這是因?yàn)槟J(rèn)生成的程序指定將 XDP 程序加載到 eth0 網(wǎng)卡，而我們的 VM 默認(rèn)網(wǎng)卡不為 eth0 導(dǎo)致，這里我們明確制定網(wǎng)卡使用 lo 測(cè)試，再次運(yùn)行結(jié)果如下：

$ RUST_LOG=info cargo xtask run -- --iface lo
...
Finished dev [optimized] target(s) in 0.19s
Finished dev [unoptimized + debuginfo] target(s) in 0.12s
[2022-11-05T16:25:27Z INFO myapp] Waiting for Ctrl-C...

這次可以發(fā)現(xiàn)用戶空間程序已經(jīng)正常運(yùn)行，并且將對(duì)應(yīng)的 eBPF 程序加載至內(nèi)核中。

$ sudo bpftool prog list
42: xdp name myapp tag 2929f83b3be0f64b gpl
loaded_at 2022-11-06T22:42:54+0800 uid 0
xlated 2016B jited 1151B memlock 4096B map_ids 14,13,15


$ ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 xdpgeneric qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
prog/xdp id 42 # <=== 加載的 eBPF 程序 id 42

我們啟動(dòng)網(wǎng)卡在 lo 網(wǎng)卡的 ping 包驗(yàn)證：

我們可以看到當(dāng)我們?cè)诹硗庖粋€(gè)窗口在本地端口運(yùn)行 ping -c 1 127.0.0.1 命令的同時(shí)，在運(yùn)行用戶空間 myapp 的程序日志中打印了對(duì)應(yīng)的日志 received a packet。

至此，我們就完成了整個(gè)基于 Aya 最簡(jiǎn)單 XDP 程序的驗(yàn)證，如果你打算進(jìn)階一步打印報(bào)文日志或者對(duì)特定包進(jìn)行對(duì)齊，則可以參考 Aya Book 中對(duì)應(yīng)的章節(jié)。

4. 總結(jié)

通過(guò)對(duì)于 Aya 整個(gè)過(guò)程中的使用，我們可以發(fā)現(xiàn)使用 Aya 開(kāi)發(fā) eBPF 程序的確給我們帶來(lái)了諸多的便利，通過(guò)向?qū)Т罱苏麄€(gè)項(xiàng)目的基本框架，并且實(shí)現(xiàn)了編譯、加載等相關(guān)的管理工作，特別是對(duì)于新手入門更加友好。默認(rèn)生成的用戶空間代碼與 eBPF 代碼實(shí)現(xiàn)了一定程度的代碼復(fù)用，特別是日志相關(guān)的打印更加便捷。同時(shí)，該項(xiàng)目當(dāng)前的文檔還不是特別完整，諸如 Probe/Tracepoint/XDP 等程序類型的文檔還在完善中，如果你有興趣也歡迎投入到相關(guān)的建設(shè)中。

同時(shí)，也期待 libbpf-bootstrap 項(xiàng)目能夠早日實(shí)現(xiàn) Aya 向?qū)降?eBPF 程序代碼創(chuàng)建，這對(duì)于編寫(xiě) eBPF 相關(guān)的程序的確提供了快速上手的體驗(yàn)。