多队列网卡简介以及Linux通过网卡发送数据包源码解读

首先我们看一下一个主流多队列网卡（E1000）跟多核CPU之间的关系图：

非多队列：

linux的网卡由结构体net_device表示，一个该结构体对应一个可以调度的数据包发送队列。

数据包的实体在内核中以结构体sk_buff（skb），形如：

多队列：

一个网卡可以拥有多个队列

接下来，看看TX引擎是如何工作的（注：对于发送和接收数据包有两个名词，分别应对TX，RX）

解释：

函数-dev_queue_xmit()：入队一个buffer以传输到网络驱动设备。

配合该函数的源码来解释上图的传输过程：

步骤一：可以看到如果设备支持队列，则数据包入设备队列。在入队操作前后，有加锁和释放队列锁的过程。

步骤二：调出设备的qdisc（该对象是队列的排队规则）

QDisc(排队规则)是queueingdiscipline的简写，它是理解流量控制(traffic

control)的基础。无论何时，内核如果需要通过某个网络接口发送数据包，它都需要按照为这个接口配置的qdisc(排队规则)把数据包加入队列。然后，内核会尽可能多地从qdisc里面取出数据包，把它们交给网络适配器驱动模块。最简单的QDisc是pfifo它不对进入的数据包做任何的处理，数据包采用先入先出的方式通过队列。不过，它会保存网络接口一时无法处理的数据包。

步骤三：重置skb的队列映射，置为0

步骤四：tx lock->hard_start_xmit

到这里，我们好像没有看到tx_lock、hard_start_xmit函数，反而我们在无队列的设备分支中看到了这些：

Dev_hard_start_xmit的定义：

很明显我们应该拨开云雾看到一些本质，再次回到设备支持队列的分支中（这才是我们关心的）：

不管怎么样，你总该有发送的函数调用吧，就是下面圈起来的这个：

果不其然，这是一个封装函数：

参考：

<a href="http://www.landley.net/kdocs/ols/2007/ols2007v2-pages-305-310.pdf" target="_blank">http://www.landley.net/kdocs/ols/2007/ols2007v2-pages-305-310.pdf</a>

<a href="http://vger.kernel.org/~davem/davem_nyc09.pdf" target="_blank">http://vger.kernel.org/~davem/davem_nyc09.pdf</a>

<a href="http://www.chineselinuxuniversity.net/kerneldocs/networking/API-dev-queue-xmit.html" target="_blank">http://www.chineselinuxuniversity.net/kerneldocs/networking/API-dev-queue-xmit.html</a>

<a href="http://apps.hi.baidu.com/share/detail/36206005" target="_blank">http://apps.hi.baidu.com/share/detail/36206005</a>

<a href="http://cache.baidu.com/c?m=9d78d513d98017f419bc837f7d01d0120e55f0237b8bc7150ec3e54c84145d563164f4cd25351174c4b5777075d95e2cebe74703234460e99492ce0c9fac935b3295776a2d499141658243f4971532c157c304b2ff4ab7e9e732e4ff8f8cc2040d97061832daabc8015c41ca65ed4771a5fdc816424240b8fa3013a4537d2c992742b750f997682858df&amp;p=ce7ddc1187904eac59b5c4710e14d625&amp;user=baidu&amp;fm=sc&amp;query=qdisc_run+%D6%B4%D0%D0%B9%FD%B3%CC&amp;qid=f6ae9cf00151dde4&amp;p1=1" target="_blank">http://cache.baidu.com/c?m=9d78d513d98017f419bc837f7d01d0120e55f0237b8bc7150ec3e54c84145d563164f4cd25351174c4b5777075d95e2cebe74703234460e99492ce0c9fac935b3295776a2d499141658243f4971532c157c304b2ff4ab7e9e732e4ff8f8cc2040d97061832daabc8015c41ca65ed4771a5fdc816424240b8fa3013a4537d2c992742b750f997682858df&amp;p=ce7ddc1187904eac59b5c4710e14d625&amp;user=baidu&amp;fm=sc&amp;query=qdisc%5Frun+%D6%B4%D0%D0%B9%FD%B3%CC&amp;qid=f6ae9cf00151dde4&amp;p1=1</a>

<a href="http://lwn.net/Articles/289137/" target="_blank">http://lwn.net/Articles/289137/</a>

原文发布时间为：2012-04-21