在 WebAssembly 中使用 Rust 編寫 eBPF 程式并釋出 OCI 鏡像

作者：于桐，鄭昱笙

eBPF（extended Berkeley Packet Filter）是一種高性能的核心虛拟機，可以運作在核心空間中，以收集系統和網絡資訊。随着計算機技術的不斷發展，eBPF 的功能日益強大，并且已經成為各種效率高效的線上診斷和跟蹤系統，以及建構安全的網絡、服務網格的重要組成部分。

WebAssembly（Wasm）最初是以浏覽器安全沙盒為目的開發的，發展到目前為止，WebAssembly 已經成為一個用于雲原生軟體元件的高性能、跨平台和多語言軟體沙箱環境，Wasm 輕量級容器也非常适合作為下一代無伺服器平台運作時，或在邊緣計算等資源受限的場景高效執行。

現在，借助 Wasm-bpf 編譯工具鍊和運作時，我們可以使用 Wasm 将 eBPF 程式編寫為跨平台的子產品，使用 C/C++ 和 Rust 編寫程式。通過在 WebAssembly 中使用 eBPF 程式，我們不僅讓 Wasm 應用獲得 eBPF 的高性能、對系統接口的通路能力，還可以讓 eBPF 程式享受到 Wasm 的沙箱、靈活性、跨平台性、和動态加載的能力，并且使用 Wasm 的 OCI 鏡像來友善、快捷地分發和管理 eBPF 程式。例如，可以類似 docker 一樣，從雲端一行指令擷取 Wasm 輕量級容器鏡像，并運作任意 eBPF 程式。通過結合這兩種技術，我們将會給 eBPF 和 Wasm 生态來一個全新的開發體驗！

使用 Wasm-bpf 工具鍊在 Wasm 中編寫、動态加載、分發運作 eBPF 程式

在前兩篇短文中，我們已經介紹了 Wasm-bpf 的設計思路，以及如何使用 C/C++ 在 Wasm 中編寫 eBPF 程式:

Wasm-bpf: 架起 Webassembly 和 eBPF 核心可程式設計的橋梁: https://mp.weixin.qq.com/s/2InV7z1wcWic5ifmAXSiew
在 WebAssembly 中使用 C/C++ 和 libbpf 編寫 eBPF 程式: https://zhuanlan.zhihu.com/p/605542090

基于 Wasm，我們可以使用多種語言建構 eBPF 應用，并以統一、輕量級的方式管理和釋出。以我們建構的示例應用 bootstrap.wasm 為例，使用 C/C++ 建構的鏡像大小最小僅為 ~90K，很容易通過網絡分發，并可以在不到 100ms 的時間内在另一台機器上動态部署、加載和運作，并且保留輕量級容器的隔離特性。運作時不需要核心特定版本頭檔案、LLVM、clang 等依賴，也不需要做任何消耗資源的重量級的編譯工作。對于 Rust 而言，編譯産物會稍大一點，大約在 2M 左右。

本文将以 Rust 語言為例，讨論：

使用 Rust 編寫 eBPF 程式并編譯為 Wasm 子產品
使用 OCI 鏡像釋出、部署、管理 eBPF 程式，獲得類似 Docker 的體驗

我們在倉庫中提供了幾個示例程式，分别對應于可觀測、網絡、安全等多種場景。

編寫 eBPF 程式并編譯為 Wasm 的大緻流程

一般說來，在非 Wasm 沙箱的使用者态空間，使用 libbpf-bootstrap 腳手架，可以快速、輕松地使用 C/C++建構 BPF 應用程式。編譯、建構和運作 eBPF 程式（無論是采用什麼語言），通常包含以下幾個步驟：

編寫核心态 eBPF 程式的代碼，一般使用 C/C++ 或 Rust 語言
使用 clang 編譯器或者相關工具鍊編譯 eBPF 程式（要實作跨核心版本移植的話，需要包含 BTF 資訊）。
在使用者态的開發程式中，編寫對應的加載、控制、挂載、資料處理邏輯；
在實際運作的階段，從使用者态将 eBPF 程式加載進入核心，并實際執行。

使用 Rust 編寫 eBPF 程式并編譯為 Wasm

Rust 可能是 WebAssembly 生态系統中支援最好的語言。Rust 不僅支援幾個 WebAssembly 編譯目标，而且 wasmtime、Spin、Wagi 和其他許多 WebAssembly 工具都是用 Rust 編寫的。是以，我們也提供了 Rust 的開發示例：

Wasm 和 WASI 的 Rust 生态系統非常棒
許多 Wasm 工具都是用 Rust 編寫的，這意味着有大量的代碼可以複用。
Spin 通常在對其他語言的支援之前就有Rust的功能支援
Wasmtime 是用 Rust編寫的，通常在其他運作時之前就有最先進的功能。
可以在 WebAssembly 中使用許多現成的 Rust 庫。
由于 Cargo 的靈活建構系統，一些 Crates 甚至有特殊的功能标志來啟用Wasm的功能（例如Chrono）。
由于 Rust 的記憶體管理技術，與同類語言相比，Rust 的二進制大小很小。

我們同樣提供了一個 Rust 的 eBPF SDK，可以使用 Rust 編寫 eBPF 的使用者态程式并編譯為 Wasm。借助 aya-rs 提供的相關工具鍊支援，核心态的 eBPF 程式也可以用 Rust 進行編寫，不過在這裡，我們還是複用之前使用 C 語言編寫的核心态程式。

首先，我們需要使用 rust 提供的 wasi 工具鍊，建立一個新的項目：

rustup target add wasm32-wasi
cargo new rust-helloworld

之後，可以使用

Makefile

運作 make 完成整個編譯流程，并生成

bootstrap.bpf.o

eBPF 位元組碼檔案。

使用 wit-bindgen 生成類型資訊，用于核心态和 Wasm 子產品之間通信

wit-bindgen 項目是一套着眼于 WebAssembly，并使用元件模型的語言的綁定生成器。綁定是用 *.wit 檔案描述的，檔案中描述了 Wasm 子產品導入、導出的函數和接口。我們可以 wit-bindgen 它來生成多種語言的類型定義，以便在核心态的 eBPF 和使用者态的 Wasm 子產品之間傳遞資料。

我們首先需要在

Cargo.toml

配置檔案中加入

wasm-bpf-binding

和

wit-bindgen-guest-rust

依賴：

wasm-bpf-binding = { path = "wasm-bpf-binding" }

這個包提供了 wasm-bpf 由運作時提供給 Wasm 子產品，用于加載和控制 eBPF 程式的函數的綁定。

wasm-bpf-binding 在 wasm-bpf 倉庫中有提供。

[dependencies]
wit-bindgen-guest-rust = { git = "https://github.com/bytecodealliance/wit-bindgen", version = "0.3.0" }

[patch.crates-io]
wit-component = {git = "https://github.com/bytecodealliance/wasm-tools", version = "0.5.0", rev = "9640d187a73a516c42b532cf2a10ba5403df5946"}
wit-parser = {git = "https://github.com/bytecodealliance/wasm-tools", version = "0.5.0", rev = "9640d187a73a516c42b532cf2a10ba5403df5946"}

這個包支援用 wit 檔案為 rust 客戶程式生成綁定。使用這個包的情況下，我們不需要再手動運作 wit-bindgen。

接下來，我們使用

btf2wit

工具，從 BTF 資訊生成 wit 檔案。可以使用

cargo install btf2wit

安裝我們提供的 btf2wit 工具，并編譯生成 wit 資訊：

cd btf
clang -target bpf -g event-def.c -c -o event.def.o
btf2wit event.def.o -o event-def.wit
cp *.wit ../wit/

其中 event-def.c 是包含了我們需要的結構體資訊的的 C 程式檔案。隻有在導出符号中用到的結構體才會被記錄在 BTF 中。

對于 C 結構體生成的 wit 資訊，大緻如下：

default world host {
    record event {
         pid: s32,
        ppid: s32,
        exit-code: u32,
        --pad0: list<s8>,
        duration-ns: u64,
        comm: list<s8>,
        filename: list<s8>,
        exit-event: s8,
    }
}

wit-bindgen-guest-rust

會為 wit 檔案夾中的所有類型資訊，自動生成 rust 的類型，例如：

#[repr(C, packed)]
#[derive(Debug, Copy, Clone)]
struct Event {
    pid: i32,
    ppid: i32,
    exit_code: u32,
    __pad0: [u8; 4],
    duration_ns: u64,
    comm: [u8; 16],
    filename: [u8; 127],
    exit_event: u8,
}

編寫使用者态加載和處理代碼

為了在 WASI 上運作，需要為 main.rs 添加

#![no_main]

屬性，并且 main 函數需要采用類似如下的形态：

#[export_name = "__main_argc_argv"]
fn main(_env_json: u32, _str_len: i32) -> i32 {

    return 0;
}

使用者态加載和挂載代碼，和 C/C++ 中類似：

let obj_ptr =
        binding::wasm_load_bpf_object(bpf_object.as_ptr() as u32, bpf_object.len() as i32);
    if obj_ptr == 0 {
        println!("Failed to load bpf object");
        return 1;
    }
    let attach_result = binding::wasm_attach_bpf_program(
        obj_ptr,
        "handle_exec\0".as_ptr() as u32,
        "\0".as_ptr() as u32,
    );
    ...

polling ring buffer：

let map_fd = binding::wasm_bpf_map_fd_by_name(obj_ptr, "rb\0".as_ptr() as u32);
    if map_fd < 0 {
        println!("Failed to get map fd: {}", map_fd);
        return 1;
    }
    // binding::wasm
    let buffer = [0u8; 256];
    loop {
        // polling the buffer
        binding::wasm_bpf_buffer_poll(
            obj_ptr,
            map_fd,
            handle_event as i32,
            0,
            buffer.as_ptr() as u32,
            buffer.len() as i32,
            100,
        );
    }

使用 handler 接收傳回值：

extern "C" fn handle_event(_ctx: u32, data: u32, _data_sz: u32) {
    let event_slice = unsafe { slice::from_raw_parts(data as *const Event, 1) };
    let event = &event_slice[0];
    let pid = event.pid;
    let ppid = event.ppid;
    let exit_code = event.exit_code;
    if event.exit_event == 1 {
        print!(
            "{:<8} {:<5} {:<16} {:<7} {:<7} [{}]",
            "TIME",
            "EXIT",
            unsafe { CStr::from_ptr(event.comm.as_ptr() as *const i8) }
                .to_str()
                .unwrap(),
            pid,
            ppid,
            exit_code
        );
        ...
}

接下來即可使用 cargo 編譯運作：

$ cargo build --target wasi32-wasm
$ sudo wasm-bpf ./target/wasm32-wasi/debug/rust-helloworld.wasm
TIME     EXEC  sh               180245  33666   /bin/sh
TIME     EXEC  which            180246  180245  /usr/bin/which
TIME     EXIT  which            180246  180245  [0] (1ms)
TIME     EXIT  sh               180245  33666   [0] (3ms)
TIME     EXEC  sh               180247  33666   /bin/sh
TIME     EXEC  ps               180248  180247  /usr/bin/ps
TIME     EXIT  ps               180248  180247  [0] (23ms)
TIME     EXIT  sh               180247  33666   [0] (25ms)
TIME     EXEC  sh               180249  33666   /bin/sh
TIME     EXEC  cpuUsage.sh      180250  180249  /root/.vscode-server-insiders/bin/a7d49b0f35f50e460835a55d20a00a735d1665a3/out/vs/base/node/cpuUsage.sh

使用 OCI 鏡像釋出和管理 eBPF 程式

開放容器協定 (OCI) 是一個輕量級，開放的治理結構，為容器技術定義了規範和标準。在 Linux 基金會的支援下成立，由各大軟體企業構成，緻力于圍繞容器格式和運作時建立開放的行業标準。其中包括了使用 Container Registries 進行工作的 API，正式名稱為 OCI 分發規範 (又名“distribution-spec”)。

Docker 也宣布推出與 WebAssembly 內建 (Docker+Wasm) 的首個技術預覽版，并表示公司已加入位元組碼聯盟 (Bytecode Alliance)，成為投票成員。Docker+Wasm 讓開發者能夠更容易地快速建構面向 Wasm 運作時的應用程式。

借助于 Wasm 的相關生态，可以非常友善地釋出、下載下傳和管理 eBPF 程式，例如，使用

wasm-to-oci

工具，可以将 Wasm 程式打包為 OCI 鏡像，擷取類似 docker 的體驗：

wasm-to-oci push testdata/hello.wasm <oci-registry>.azurecr.io/wasm-to-oci:v1
wasm-to-oci pull <oci-registry>.azurecr.io/wasm-to-oci:v1 --out test.wasm

我們也将其內建到了 eunomia-bpf 的 ecli 工具中，可以一行指令從雲端的 Github Packages 中下載下傳并運作 eBPF 程式，或通過 Github Packages 釋出：

# push to Github Packages
ecli push https://ghcr.io/eunomia-bpf/sigsnoop:latest
# pull from Github Packages
ecli pull https://ghcr.io/eunomia-bpf/sigsnoop:latest
# run eBPF program
ecli run https://ghcr.io/eunomia-bpf/sigsnoop:latest

我們已經在 LMP 項目的 eBPF Hub 中，有一些建立符合 OCI 标準的 Wasm-eBPF 應用程式，并利用 ORAS 簡化擴充 eBPF 應用開發，分發、加載、運作能力的嘗試[11]，以及基于 Wasm 同時使用多種不同語言開發 eBPF 的使用者态資料處理插件的實踐。基于最新的 Wasm-bpf 架構，有更多的探索性工作可以繼續展開，我們希望嘗試建構一個完整的針對 eBPF 和 Wasm 程式的包管理系統，以及更多的可以探索的應用場景。

總結

本文以 Rust 語言為例，讨論了使用 Rust 編寫 eBPF 程式并編譯為 Wasm 子產品以及使用 OCI 鏡像釋出、部署、管理 eBPF 程式，獲得類似 Docker 的體驗。更完整的代碼，請參考我們的 Github 倉庫：https://github.com/eunomia-bpf/wasm-bpf.

接下來，我們會繼續完善在 Wasm 中使用多種語言開發和運作 eBPF 程式的體驗，提供更完善的示例和使用者态開發庫/工具鍊，以及更具體的應用場景。

參考資料

wasm-bpf Github 開源位址：https://github.com/eunomia-bpf/wasm-bpf
什麼是 eBPF：https://ebpf.io/what-is-ebpf
WASI-eBPF: https://github.com/WebAssembly/WASI/issues/513
龍蜥社群 eBPF 技術探索 SIG https://openanolis.cn/sig/ebpfresearch
eunomia-bpf 項目：https://github.com/eunomia-bpf/eunomia-bpf
eunomia-bpf 項目龍蜥 Gitee 鏡像：https://gitee.com/anolis/eunomia
Wasm-bpf: 架起 Webassembly 和 eBPF 核心可程式設計的橋梁：https://mp.weixin.qq.com/s/2InV7z1wcWic5ifmAXSiew
當 WASM 遇見 eBPF ：使用 WebAssembly 編寫、分發、加載運作 eBPF 程式：https://zhuanlan.zhihu.com/p/573941739
Docker+Wasm技術預覽：https://zhuanlan.zhihu.com/p/583614628
LMP eBPF-Hub: https://github.com/linuxkerneltravel/lmp
wasm-to-oci: https://github.com/engineerd/wasm-to-oci
btf2wit: https://github.com/eunomia-bpf/btf2wit

在 WebAssembly 中使用 Rust 編寫 eBPF 程式并釋出 OCI 鏡像

使用 Wasm-bpf 工具鍊在 Wasm 中編寫、動态加載、分發運作 eBPF 程式

編寫 eBPF 程式并編譯為 Wasm 的大緻流程

使用 Rust 編寫 eBPF 程式并編譯為 Wasm

使用 wit-bindgen 生成類型資訊，用于核心态和 Wasm 子產品之間通信

編寫使用者态加載和處理代碼

使用 OCI 鏡像釋出和管理 eBPF 程式

總結

參考資料

繼續閱讀

Apache (You don't have permission to access / on this server.）

debian9更新4.9.0核心到4.19.2核心過程

centOS7 配置 vsftpd 虛拟使用者及權限Vsftpd配置虛拟使用者及權限

linux-svn解除安裝與安裝

vsftp虛拟多使用者多權限一鍵部署腳本

Ubuntu14.04 LTS下安裝mongodb

httpd服務的部署、啟動、配置和簡單優化一、部署二、啟動三、配置檔案

配置網頁内容通路

手動安裝Intel network I217-LM網卡的Linux驅動

禁止ubuntu系統彈出報錯界面

Ubuntu Linux下Apache的配置檔案

samba伺服器的功能

【Linux】UDP廣播封包接收速率問題

Linux裝置模型（中）之上層容器

PowerPC平台 Linux移植三