天天看點

零入門kubernetes網絡實戰-15->基于golang程式設計實作給ns網絡命名空間添加額外的網卡

《零入門kubernetes網絡實戰》視訊專欄位址

https://www.ixigua.com/7193641905282875942

本篇文章視訊位址(稍後上傳)

本篇文章主要是想通過golang程式設計來實作,為veth pair連結的網絡命名空間添加網卡,配置veth pair的IP

即,使用代碼建立一對veth pair,将其中一端放入到某個網絡命名空間下

1、測試環境介紹

一台centos虛拟機

# 檢視作業系統版本
cat /etc/centos-release
# 核心版本
uname -a
uname -r 
# 檢視網卡資訊
ip a s eth0
           
零入門kubernetes網絡實戰-15->基于golang程式設計實作給ns網絡命名空間添加額外的網卡
2、建立命名空間–>啟動一個程序–>擷取程序号

打開xshell一個終端,輸入下面的指令:

相關指令如下

ip netns list
ip netns add ns1
ip netns exec ns1 ip a s
ip netns exec ns1 sh
echo $$
           
零入門kubernetes網絡實戰-15->基于golang程式設計實作給ns網絡命名空間添加額外的網卡

擷取到ns1使用的程序号

此終端,不要關閉。

重新再打開一個終端,編譯,運作下面的測試代碼。

3、編寫代碼,為ns1網絡命名空間,添加veth2虛拟網卡,并設定IP

下面代碼的主要過程:

建立veth pair —>擷取ns1的程序号—>将veth2網卡移動到ns1網絡命名空間裡—>擷取目前二進制檔案所在主網絡命名空間—>切換到ns1網絡命名空間裡—>給veth2網卡設定IP—>再切換到主網絡命名空間裡—>給veth1網卡設定IP

package main

import (
	"flag"
	"fmt"
	"github.com/vishvananda/netlink"
	"github.com/vishvananda/netns"
	"golang.org/x/sys/unix"
	"net"
	"os"
	"runtime"
)

const (
	veth1Name = "veth1"
	veth2Name = "veth2"
)

var pid int

func main() {

	flag.IntVar(&pid, "pid", 0, "Use -pid xxx")
	flag.Parse()

	l, err := netlink.LinkByName(veth1Name)
	if err == nil {
		// 删除掉 已經存在的 veth pair
		netlink.LinkDel(l)
	}

	vethpeer := &netlink.Veth{
		LinkAttrs: netlink.LinkAttrs{
			Name:  veth1Name,
			Flags: net.FlagUp,
			MTU:   1500,
		},
		PeerName: veth2Name,
	}
	err = netlink.LinkAdd(vethpeer)
	if err != nil {
		panic(err)
	}

	// 擷取到某個容器,如11101容器對應的網絡命名空間
	// 11101是容器的PID,就是容器的程序号
	// /proc/11101/ns/net
	// 如何擷取到某個容器的Pid呢?
	// 假設,容器名稱是 my-sw
	// docker inspect my-sw | grep -w Pid
	// 将得到的值,複制過來
	nsPath := fmt.Sprintf("/proc/%d/ns", pid)
	ns, err := netns.GetFromPath(fmt.Sprintf("%s/%s", nsPath, "net"))
	if err != nil {
		panic(err)
	}
	// 因為是打開檔案的,是一個句柄,是以必須close
	defer ns.Close()

	veth2, err := netlink.LinkByName(veth2Name)
	if err != nil {
		panic(err)
	}

	// ip link set veth2 netns
	//  /proc/11101/ns/net命名空間裡
	// 就是将veth2網卡,移動到容器裡的網絡空間裡
	err = netlink.LinkSetNsFd(veth2, int(ns))
	if err != nil {
		panic(err)
	}

	// 再切換到容器網絡命名空間裡前,先擷取目前主網絡命名空間;
	// 以便能切換回來
	hostNS, err := GetCurrentNS()
	if err != nil {
		panic(err)
	}

	// 設定目前網絡命名空間
	// 假設,已經将veth2移動了容器裡了
	// 此時在實體機上,直接ifconfig是檢視不到veth2網卡的
	// 而你的二進制檔案是在實體機上的,此二進制檔案想操作veth2網卡的話
	// 隻能先設定網絡命名空間了
	err = netns.Set(ns)
	if err != nil {
		panic(err)
	}

	// 因為網絡命名空間切換了,進入到容器網絡命名空間裡,必須再擷取一次veth2r裝置
	veth2, err = netlink.LinkByName(veth2Name)
	if err != nil {
		panic(err)
	}

	// 僅僅是設定IP
	addr, _ := netlink.ParseAddr("10.244.1.2/24")
	err = netlink.AddrAdd(veth2, addr)
	if err != nil {
		panic(err)
	}

	// 可以将容器裡的網卡名稱,改為通用的名稱,如eth0; 非必須步驟
	//netlink.LinkSetName(veth2, "eth0")

	// 将容器裡的網卡eth0啟動
	err = netlink.LinkSetUp(veth2)
	if err != nil {
		panic(err)
	}

	// 切換回到主網絡命名空間裡
	err = unix.Setns(int(hostNS.Fd()), unix.CLONE_NEWNET)
	if err != nil {
		panic(err)
	}

	addr, _ = netlink.ParseAddr("10.244.1.3/24")
	veth1, err := netlink.LinkByName(veth1Name)
	if err != nil {
		panic(err)
	}

	// 在主網絡命名空間裡設定veth1網卡的IP
	err = netlink.AddrAdd(veth1, addr)
	if err != nil {
		panic(err)
	}

	// 将veth1網卡設定為up狀态
	netlink.LinkSetUp(veth1)
}

func GetCurrentNS() (*os.File, error) {
	runtime.LockOSThread()
	defer runtime.UnlockOSThread()
	return GetNS(getCurrentThreadNetNSPath())
}

func getCurrentThreadNetNSPath() string {
	currentNetNSPath := fmt.Sprintf("/proc/%d/task/%d/ns/net", os.Getpid(), unix.Gettid())
	return currentNetNSPath
}

func GetNS(nspath string) (*os.File, error) {

	fd, err := os.Open(nspath)
	if err != nil {
		return nil, err
	}

	return fd, nil
}

           
4、Makefile
build:
	CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o createveth main.go

scp:
	scp createveth [email protected]:/root

all:
	make build && make scp
           

執行運作

make all
           

将編譯後二進制檔案,上傳到目标伺服器上

5、在伺服器上,運作createveth二進制檔案
零入門kubernetes網絡實戰-15->基于golang程式設計實作給ns網絡命名空間添加額外的網卡
6、總結

本篇文章最主要的幾點:(僅供參考)

  • 如何擷取某個網絡的命名空間,
    • 就是擷取 /proc/容器程序号/ns/net
  • 如何擷取某個線程的網絡命名空間
    • 就是擷取 /proc/程序号/task/線程号/ns/net
  • 如何進入到某個網絡命名空間裡
  • 在cni插件中,建立網橋時,就用到了這個知識點。

這樣的話,就實作了為某個網絡命名空間,添加虛拟網卡的目的。

既然,可以給ip netns建立的網絡命名空間,添加虛拟網卡,

那麼,能不能為docker環境下的容器,添加額外的虛拟網卡呢?

實作,多網絡功能?

類似于multus-cni

點選 下面 傳回 專欄目錄

<<零入門kubernetes網絡實戰>>技術專欄之文章目錄