一.网络io模型
tars服务端的网络io模型是用epoll(边缘触发)做io多路复用 + 非阻塞socket,即Reactor。
如果把线程也纳入考量,那么
- 有多个网络线程,每个网络线程都有自己的epoll实例,即每个网络线程一个Reactor
- 多线程与io:很关键的一点,每个socket fd的read,write,close都只由同一个网络线程操作;这样做的好处很明显,避免了很多竞争条件
- 由于每个fd只由一个网络线程处理,所以网络线程中不能出现耗时比较久的操作(例如长时间的阻塞),否则将阻塞该线程其他的fd事件
总结起来,每个网络线程都是一个基于epoll的循环:

另外,tars还将epoll监听的文件描述符划分为几种类型:
enum
{
ET_LISTEN = 1, //socket listening
ET_CLOSE = 2, //暂时没用
ET_NOTIFY = 3, //handle线程通知网络线程用的
ET_NET = 0, //socket read,write
};
Reactor模式还需要注意:
- 怎么保证不漏掉io事件?
- write到一半,tcp发送队列满了,要怎么处理?不可能一直在原地等待重试
我们以单个网络线程,TCP链接为例来看一下整个io流程:
- 主线程调用NetThread::bind和NetThread::createEpoll创建socket和epoll。之后网络io部分都在网络线程的run()中执行
- 灰色部分,由于边缘触发非阻塞模式,在进行accept,read和send时都需要由一个循环包住,直到返回EAGAIN为止,防止漏掉IO事件(解决上面提到的第1个问题)
- 绿色部分,在第一次把socket fd注册到epoll时,就可以同时注册EPOLLIN,EPOLLOUT,而且之后无需取消这两个事件。因为是边缘触发模式,所以不用担心会频繁触发EPOLLIN,EPOLLOUT事件。
- 蓝色部分,在accept,read,send结束后,又回到_epoller.wait继续等待网络io事件
- 黄色部分,在accept到一个新链接之后,都会创建一个Connection实例来接管这个链接的读写。Connection还有一个重要的功能,当该链接的socket发送队列已满(即send返回EAGAIN),把未发送出去的包缓存在发送缓存_sendbuffer中(解决了上面提到的第2个问题)
- 发送的逻辑比较复杂:
- 首先需要判断Connection的发送缓存是否为空。如果为空,则直接write;如果不为空,不能直接写,原因是会打破数据顺序(缓存里的数据应先发送),而且此时socket很大概率也还是处于不可写状态,所以应该把发送包push到缓存,等待socket可写;
- 当epoll监听到socket可写时,如果缓存区有未发送的数据,则把缓存发送完;否则回到_epoller.wait()
- 此流程没有把socket的close画出来,关闭链接主要有几种情况:(1)read返回0,对端关闭;(2)read,write出错 (3)服务端主动关闭。在关闭链接的时候,还需要考虑如果缓存中还有数据没发出去,应该怎么处理?在链接管理的时候再来看tars是如何解决的。
二.线程模型:N收发,M处理
在tars服务端(一):server的启动流程中,有粗略的讲过tars服务端的网络线程和处理线程,这一节会详细的分析N网络线程-M业务线程的细节。
上节讲到,每个网络线程都是一个基于epoll循环的Reactor,而且一个socket fd只能由一个网络线程进行io操作。如果再加上多个业务线程则变成Reactors + thread pool模式:
按上图标示的顺序:
- 所有的监听端口都是在第一个网络线程中进行socket创建,bind,listen;该socket创建后的fd也只由第一个网络线程accept
- 当accept到一个客户端socket fd后,会创建一个新的Connection实例来接管这个fd的读写
- 新的Connection按照分配策略被分配到一个网络线程后,该Connection的读,写,关闭等IO都只能由这一个线程操作。每个网络线程会有一个ConnectionList来管理该线程的所有Connection
- 属于同个Adapter(即同个端口)的链接收到的所有请求都插入到Adapter所属的接收队列中
- 每个Adapter都有属于自己的一组M个业务线程去处理接收队列中的请求
- 业务线程在处理完请求后,如果需要回包,会根据分配策略把包push到对应的网络线程的发送队列中。注意,这里的分配策略和第3步选择网络线程时的分配策略是一样的,所以两次选出来的网络线程都是同一个,这样才能保证同个socket的收发包都是在同个网络线程中。
- 每个网络线程处理自己的发送队列,把包发给客户端
这里有一点需要注意:在配置了网络线程数后,网络线程的个数就是确定的了,例如这里的N个;而业务线程是和Adapter的个数有关的,每个Adapter都有自己的接收队列和一组业务线程。假设一个Server有2个Adapter,每个Adapter都有M个业务线程,则总的业务线程数就是2*M个。