一、NIO Reactor模型
1、Reactor模式思想:分而治之+事件驅動
1)分而治之
一個連接配接裡完整的網絡處理過程一般分為accept、read、decode、process、encode、send這幾步。
Reactor模式将每個步驟映射為一個Task,服務端線程執行的最小邏輯單元不再是一次完整的網絡請求,而是Task,且采用非阻塞方式執行。
2)事件驅動
每個Task對應特定網絡事件。當Task準備就緒時,Reactor收到對應的網絡事件通知,并将Task分發給綁定了對應網絡事件的Handler執行。
3)幾個角色
Reactor:負責響應事件,将事件分發給綁定了該事件的Handler處理;
Handler:事件處理器,綁定了某類事件,負責執行對應事件的Task對事件進行處理;
Acceptor:Handler的一種,綁定了connect事件。當用戶端發起connect請求時,Reactor會将accept事件分發給Acceptor處理。
2、單線程Reactor
所有I/O操作都由一個線程完成,即多路複用、事件分發和處理都是在一個Reactor線程上完成的
1)優點:
不需要做并發控制,代碼實作簡單清晰。
2)缺點:
a)不能利用多核CPU;
b)一個線程需要執行處理所有的accept、read、decode、process、encode、send事件,處理成百上千的鍊路時性能上無法支撐;
c)一旦reactor線程意外跑飛或者進入死循環,會導緻整個系統通信子產品不可用。
3、多線程Reactor
一個Acceptor負責接收請求,一個Reactor Thread Pool負責處理I/O操作
特點:
a)有專門一個reactor線程用于監聽服務端ServerSocketChannel,接收用戶端的TCP連接配接請求;
b)網絡IO的讀/寫操作等由一個worker reactor線程池負責,由線程池中的NIO線程負責監聽SocketChannel事件,進行消息的讀取、解碼、編碼和發送。
c)一個NIO線程可以同時處理N條鍊路,但是一個鍊路隻注冊在一個NIO線程上處理,防止發生并發操作問題。
4、主從多線程
一個Acceptor負責接收請求,一個Main Reactor Thread Pool負責連接配接,一個Sub Reactor Thread Pool負責處理I/O操作。
在絕大多數場景下,Reactor多線程模型都可以滿足性能需求;但是在極個别特殊場景中,一個NIO線程負責監聽和處理所有的用戶端連接配接可能會存在性能問題。
特點:
a)服務端用于接收用戶端連接配接的不再是個1個單獨的reactor線程,而是一個boss reactor線程池;
b)服務端啟用多個ServerSocketChannel監聽不同端口時,每個ServerSocketChannel的監聽工作可以由線程池中的一個NIO線程完成。
二、Netty線程模型
netty線程模型采用“服務端監聽線程”和“IO線程”分離的方式,與多線程Reactor模型類似。
抽象出NioEventLoop來表示一個不斷循環執行處理任務的線程,每個NioEventLoop有一個selector,用于監聽綁定在其上的socket鍊路。
1、串行化設計避免線程競争
netty采用串行化設計理念,從消息的讀取->解碼->處理->編碼->發送,始終由IO線程NioEventLoop負責。整個流程不會進行線程上下文切換,資料無并發修改風險。
一個NioEventLoop聚合一個多路複用器selector,是以可以處理多個用戶端連接配接。
netty隻負責提供和管理“IO線程”,其他的業務線程模型由使用者自己內建。
時間可控的簡單業務建議直接在“IO線程”上處理,複雜和時間不可控的業務建議投遞到後端業務線程池中處理。
2、定時任務與時間輪
NioEventLoop中的Thread線程按照時間輪中的步驟不斷循環執行:
a)在時間片Tirck内執行selector.select()輪詢監聽IO事件;
b)處理監聽到的就緒IO事件;
c)執行任務隊列taskQueue/delayTaskQueue中的非IO任務。
3、線程管理
Netty線程模型的卓越性能取決于它對目前執行的Thread的身份确定,也就是說,确定他是否是配置設定給目前Channel以及它的EventLoop的那個線程(通過調用inEventLoop(Thread))。
為了確定一個Channel的整個生命周期中的I/O事件會被一個EventLoop負責,Netty通過inEventLoop()方法來判斷目前執行的線程的身份,确定它是否是配置設定給目前Channel以及它的EventLoop的那一個線程。如果目前(調用)線程正是EventLoop中的線程,那麼所送出的任務将會被直接執行,否則,EventLoop将排程該任務以便稍後執行,并将它放入内部的任務隊列(每個EventLoop都有它自己的任務隊列,從SingleThreadEventLoop的源碼就能發現很多用于排程内部任務隊列的方法),在下次處理它的事件時,将會執行隊列中的那些任務。這種設計可以讓任何線程與Channel直接互動,而無需在ChannelHandler中進行額外的同步。
從性能上來考慮,千萬不要将一個需要長時間來運作的任務放入到任務隊列中,它會影響到該隊列中的其他任務的執行。解決方案是使用一個專門的EventExecutor來執行它(ChannelPipeline提供了帶有EventExecutorGroup參數的addXXX()方法,該方法可以将傳入的ChannelHandler綁定到你傳入的EventExecutor之中),這樣它就會在另一條線程中執行,與其他任務隔離。
4、線程模型選擇
下面以服務端的配置為例,說明如何選擇不同的線程模型。
①單線程模型
EventLoopGroup bossGroup = new NioEventLoopGroup(1);
try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup)
.channel(NioServerSocketChannel.class)
......
以上示例中執行個體化了一個NIOEventLoopGroup,并傳入線程數量為1,然後調用ServerBootstrap的group方法綁定線程組,看實作:
@Override
public ServerBootstrap group(EventLoopGroup group) {
return group(group, group);
}
public ServerBootstrap group(EventLoopGroup parentGroup, EventLoopGroup childGroup) {
super.group(parentGroup);
if (childGroup == null) {
throw new NullPointerException("childGroup");
}
if (this.childGroup != null) {
throw new IllegalStateException("childGroup set already");
}
this.childGroup = childGroup;
return this;
}
從源碼可知,實際仍然綁定了 bossGroup 和 workerGroup,隻是都是同一個NioEventLoopGroup執行個體而已,這樣Netty中的acceptor和後續的所有用戶端連接配接的IO操作都是在一個線程中處理,這就相當于Reactor的單線程模型。
②多線程模型
EventLoopGroup bossGroup = new NioEventLoopGroup(1);
EventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
......
建立1個線程的bossGroup線程組,這個線程負責處理用戶端的連接配接請求,而workerGroup預設使用處理器個數*2的線程數量來處理I/O操作。這就相當于Reactor的多線程模型。
③主從多線程模型
EventLoopGroup bossGroup = new NioEventLoopGroup(4);
EventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
......
三、NioEventLoop與NioChannel類關系
一個NioEventLoopGroup下包含多個NioEventLoop
每個NioEventLoop中包含有一個Selector,一個taskQueue,一個delayedTaskQueue
每個NioEventLoop的Selector上可以注冊監聽多個AbstractNioChannel
每個AbstractNioChannel隻會綁定在唯一的NioEventLoop上
每個AbstractNioChannel都綁定有一個自己的DefaultChannelPipeline
四、NioEventLoop線程執行過程
1、輪詢監聽的IO事件
1)netty的輪詢注冊機制
netty将AbstractNioChannel内部的jdk類SelectableChannel對象注冊到NioEventLoopGroup中的jdk類Selector對象上去,并且将AbstractNioChannel作為SelectableChannel對象的一個attachment附屬上。
這樣在Selector輪詢到某個SelectableChannel有IO事件發生時,就可以直接取出IO事件對應的AbstractNioChannel進行後續操作。
2)循環執行阻塞selector.select(timeoutMIllis)操作直到以下條件産生
a)輪詢到了IO事件(selectedKey != 0)
b)oldWakenUp參數為true
c)任務隊列裡面有待處理任務(hasTasks())
d)第一個定時任務即将要被執行(hasScheduledTasks())
e)使用者主動喚醒(wakenUp.get()==true)
2、處理任務隊列
1)處理使用者産生的普通任務
NioEventLoop中的Queue<Runnable> taskQueue被用來承載使用者産生的普通Task。
taskQueue被實作為netty的mpscQueue,即多生産者單消費者隊列。netty使用該隊列将外部使用者線程産生的Task聚集,并在reactor線程内部用單線程的方式串行執行隊列中的Task。
當使用者在非IO線程調用Channel的各種方法執行Channel相關的操作時,比如channel.write()、channel.flush()等,netty會将相關操作封裝成一個Task并放入taskQueue中,保證相關操作在IO線程中串行執行。
2)處理使用者産生的定時任務
NioEventLoop中的Queue<ScheduledFutureTask<?>>delayedTaskQueue = new PriorityQueue被用來承載使用者産生的定時Task。
當使用者在非IO線程需要産生定時操作時,netty将使用者的定時操作封裝成ScheduledFutureTask,即一個netty内部的定時Task,并将定時Task放入delayedTaskQueue中等待對應Channel的IO線程串行執行。
為了解決多線程并發寫入delayedTaskQueue的問題,netty将添加ScheduledFutureTask到delayedTaskQueue中的操作封裝成普通Task,放入taskQueue中,通過NioEventLoop的IO線程對delayedTaskQueue進行單線程寫操作。
3)處理任務隊列的邏輯
a)将已到期的定時Task從delayedTaskQueue中轉移到taskQueue中
b)計算本次循環執行的截止時間
c)循環執行taskQueue中的任務,每隔64個任務檢查一下是否已過截止時間,直到taskQueue中任務全部執行完或者超過執行截止時間。
五、Netty中Reactor線程和worker線程所處理的事件
1、Server端NioEventLoop處理的事件
2、Client端NioEventLoop處理的事件