【转】KVM使用Pass-through和SR-IOV

https://blog.csdn.net/yzy1103203312/article/details/81092647 

本文介绍了如何在KVM虚拟机平台上使用Pass-through和SR-IOV，至于Pass-through和SR-IOV的原理可以查阅其他文章。

所谓Pass-through技术是指可以将PCI/PCIe设备绕过虚拟机平台直接分配给虚拟机使用，而SR-IOV设备除了有一个物理功能 (Physical Function, PF)之外，还可以提供许多虚拟功能 (Virtual Function, VF)给虚拟机使用。

本文使用的环境是：CentOS 7 + Linux Kernel 3.10.0 + Intel 82599网卡

PCI Pass-through的使用

使用PCI Pass-through需要硬件的支持：

主机需要支持Intel VT-d 或者 AMD IOMMU技术

在 Linux 内核需要启用 PCI Pass-through

编辑 /etc/default/grub 文件，添加 intel_iommu=on 参数：

# cat /etc/default/grub 

GRUB_TIMEOUT=5

GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"

GRUB_DEFAULT=saved

GRUB_DISABLE_SUBMENU=true

GRUB_TERMINAL_OUTPUT="console"

GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet intel_iommu=on"

GRUB_DISABLE_RECOVERY="true"

更新GRUB后重启使之生效：

# grub2-mkconfig -o /etc/grub2.cfg

要使用Pass-through，首先要找到设备的BDF (Bus, Device, Function)，BDF由三个或者四个数字组成： DDDD:bb:dd.f，其中：

DDDD is a 4-digit hex for the PCI domain. This is optional (if not included, it will be assumed to be 0000).

bb is a 2-digit hex of the PCI bus number.

dd is a 2-digit hex of the PCI device number.

 f is a 1-digit decimal of the PCI function number.

使用lspci命令可以很方便的找到设备的BDF：

# lspci | grep 82599

05:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)

05:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)

在分配pci设备给虚拟机之前，首先要让libvirt识别到pci设备，libvirt使用了与BDF相似的标记，只不过libvirt是用下划线(_)来分隔设备的BDF：

# virsh nodedev-list | grep 05_00

pci_0000_05_00_0

pci_0000_05_00_1

KVM是通过设定pci设备的xml配置文件给虚拟机分配的，所以我们需要事先编辑好pci设备的xml文件:

# virsh nodedev-dumpxml pci_0000_05_00_0

<device>

  <name>pci_0000_05_00_0</name>

  <path>/sys/devices/pci0000:00/0000:00:03.2/0000:05:00.0</path>

  <parent>pci_0000_00_03_2</parent>

  <driver>

    <name>ixgbe</name>

  </driver>

  <capability type='pci'>

    <domain>0</domain>

    <bus>5</bus>

    <slot>0</slot>

    <function>0</function>

    <product id='0x10fb'>82599ES 10-Gigabit SFI/SFP+ Network Connection</product>

    <vendor id='0x8086'>Intel Corporation</vendor>

    <capability type='virt_functions' maxCount='63'>

      <address domain='0x0000' bus='0x05' slot='0x10' function='0x0'/>

      <address domain='0x0000' bus='0x05' slot='0x10' function='0x2'/>

      <address domain='0x0000' bus='0x05' slot='0x10' function='0x4'/>

      <address domain='0x0000' bus='0x05' slot='0x10' function='0x6'/>

    </capability>

    <iommuGroup number='17'>

      <address domain='0x0000' bus='0x05' slot='0x00' function='0x0'/>

    </iommuGroup>

    <numa node='0'/>

    <pci-express>

      <link validity='cap' port='2' speed='5' width='8'/>

      <link validity='sta' speed='5' width='8'/>

    </pci-express>

  </capability>

</device>

在配置xml文件时需要bus, slot 和 function等参数，创建一个新的xml文件并复制这些参数：

# cat pci_0.xml 

<interface type='hostdev' managed='yes'>

     <source>

       <address type='pci' domain='0x0000' bus='0x05' slot='0x00' function='0x0'/>

     </source>

</interface>

注意：如果配置了pci设备为 managed  模式，pci设备分配给虚拟机时会自动从主机上分离，pci设备从虚拟机上分离时会自动 归还给主机。

接下来就可以分配指定的pci设备给虚拟机了：

# virsh list

 Id    Name                           State

----------------------------------------------------

 1     vm1                            running

 2     vm2                            running

# virsh attach-device vm1 pci_0.xml  --live --config

注意：使用--live 参数是将pci设备attach到正在运行的虚拟机，使用 --config 参数是设置的同时更改虚拟机xml文件，这样就可以保证虚拟机重启后仍然生效。

查看虚拟机的pci设备：

# virsh dumpxml vm1 | grep interface -A8

    <interface type='bridge'>

      <mac address='52:54:00:56:28:68'/>

      <source bridge='br0'/>

      <target dev='vnet0'/>

      <model type='virtio'/>

      <alias name='net0'/>

      <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>

    </interface>

    <interface type='hostdev' managed='yes'>

      <mac address='52:54:00:01:9e:e3'/>

      <driver name='vfio'/>

      <source>

        <address type='pci' domain='0x0000' bus='0x05' slot='0x10' function='0x0'/>

      </source>

      <alias name='hostdev0'/>

      <address type='pci' domain='0x0000' bus='0x00' slot='0x08' function='0x0'/>

    </interface>

    <serial type='pty'>

      <source path='/dev/pts/1'/>

      <target type='isa-serial' port='0'>

        <model name='isa-serial'/>

      </target>

      <alias name='serial0'/>

    </serial>

    <console type='pty' tty='/dev/pts/1'>

使用完后从虚拟机上分离：

# virsh detach-device vm1 pci_0.xml

使用SR-IOV

使用SR-IOV也需要硬件的支持，我使用的是Intel 82599网卡。

首先查看硬件是否被Linux检测到：

[email protected]:/home/ye# lspci | grep 82599 

05:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)

05:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)

以及查看该硬件的驱动：

[email protected]:/home/ye# ethtool -i p5p1

driver: ixgbe

version: 4.2.1-k

firmware-version: 0x61bd0001

bus-info: 0000:05:00.0

supports-statistics: yes

supports-test: yes

supports-eeprom-access: yes

supports-register-dump: yes

supports-priv-flags: no

可以看到我的82599网卡的驱动是ixgbe，可以使用lsmod 命令查看ixgbe驱动是否工作正常：

[email protected]:/home/ye# lsmod | grep ixgbe

ixgbevf                53248  0 

ixgbe                 274432  0 

vxlan                  45056  1 ixgbe

mdio                   16384  1 ixgbe

dca                    16384  2 igb,ixgbe

ptp                    20480  3 igb,tg3,ixgbe

接下来就可以激活82599的虚拟功能(Virtual Functions)了，使用参数max_vfs 可以在加载模块的时候指定设备可以分配的最大虚拟功能(Virtual Functions)的数目。

首先移除ixgbe模块：

# modprobe -r ixgbe

重新加载ixgbe模块并使用max_vfs参数指定设备可以分配虚拟功能的最大数目：

# modprobe ixgbe max_vfs=7

注意：激活VF也可以在启动加载ixgb模块时实现，编辑 /etc/default/grub 文件， 添加参数 ixgbe.max_vfs=4 即可。

激活的虚拟功能：

[email protected]:/home/ye# lspci | grep 82599 

05:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)

05:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)

05:10.0 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:10.1 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:10.2 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:10.3 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:10.4 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:10.5 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:10.6 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:10.7 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:11.0 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:11.1 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:11.2 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:11.3 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:11.4 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

05:11.5 Ethernet controller: Intel Corporation 82599 Ethernet Controller Virtual Function (rev 01)

激活后的虚拟功能就可以通过Pass-through方式分配给DomU使用啦！

参考文献：

[1]. USING SR-IOV

[2]. PCI DEVICE ASSIGNMENT

--------------------- 

作者：为幸福写歌 

来源：CSDN 

原文：https://blog.csdn.net/yzy1103203312/article/details/81092647 

版权声明：本文为博主原创文章，转载请附上博文链接！