天天看點

Netty之EventLoop

一、NIO Reactor模型

1、Reactor模式思想:分而治之+事件驅動

1)分而治之

一個連接配接裡完整的網絡處理過程一般分為accept、read、decode、process、encode、send這幾步。

Reactor模式将每個步驟映射為一個Task,服務端線程執行的最小邏輯單元不再是一次完整的網絡請求,而是Task,且采用非阻塞方式執行。

2)事件驅動

每個Task對應特定網絡事件。當Task準備就緒時,Reactor收到對應的網絡事件通知,并将Task分發給綁定了對應網絡事件的Handler執行。

3)幾個角色

Reactor:負責響應事件,将事件分發給綁定了該事件的Handler處理;

Handler:事件處理器,綁定了某類事件,負責執行對應事件的Task對事件進行處理;

Acceptor:Handler的一種,綁定了connect事件。當用戶端發起connect請求時,Reactor會将accept事件分發給Acceptor處理。

2、單線程Reactor

Netty之EventLoop

所有I/O操作都由一個線程完成,即多路複用、事件分發和處理都是在一個Reactor線程上完成的

1)優點:

不需要做并發控制,代碼實作簡單清晰。

2)缺點:

a)不能利用多核CPU;

b)一個線程需要執行處理所有的accept、read、decode、process、encode、send事件,處理成百上千的鍊路時性能上無法支撐;

c)一旦reactor線程意外跑飛或者進入死循環,會導緻整個系統通信子產品不可用。

3、多線程Reactor

Netty之EventLoop

一個Acceptor負責接收請求,一個Reactor Thread Pool負責處理I/O操作

特點:

a)有專門一個reactor線程用于監聽服務端ServerSocketChannel,接收用戶端的TCP連接配接請求;

b)網絡IO的讀/寫操作等由一個worker reactor線程池負責,由線程池中的NIO線程負責監聽SocketChannel事件,進行消息的讀取、解碼、編碼和發送。

c)一個NIO線程可以同時處理N條鍊路,但是一個鍊路隻注冊在一個NIO線程上處理,防止發生并發操作問題。

4、主從多線程

Netty之EventLoop

一個Acceptor負責接收請求,一個Main Reactor Thread Pool負責連接配接,一個Sub Reactor Thread Pool負責處理I/O操作。

在絕大多數場景下,Reactor多線程模型都可以滿足性能需求;但是在極個别特殊場景中,一個NIO線程負責監聽和處理所有的用戶端連接配接可能會存在性能問題。

特點:

a)服務端用于接收用戶端連接配接的不再是個1個單獨的reactor線程,而是一個boss reactor線程池;

b)服務端啟用多個ServerSocketChannel監聽不同端口時,每個ServerSocketChannel的監聽工作可以由線程池中的一個NIO線程完成。

二、Netty線程模型

Netty之EventLoop

netty線程模型采用“服務端監聽線程”和“IO線程”分離的方式,與多線程Reactor模型類似。

抽象出NioEventLoop來表示一個不斷循環執行處理任務的線程,每個NioEventLoop有一個selector,用于監聽綁定在其上的socket鍊路。

1、串行化設計避免線程競争

netty采用串行化設計理念,從消息的讀取->解碼->處理->編碼->發送,始終由IO線程NioEventLoop負責。整個流程不會進行線程上下文切換,資料無并發修改風險。

一個NioEventLoop聚合一個多路複用器selector,是以可以處理多個用戶端連接配接。

netty隻負責提供和管理“IO線程”,其他的業務線程模型由使用者自己內建。

時間可控的簡單業務建議直接在“IO線程”上處理,複雜和時間不可控的業務建議投遞到後端業務線程池中處理。

2、定時任務與時間輪

NioEventLoop中的Thread線程按照時間輪中的步驟不斷循環執行:

a)在時間片Tirck内執行selector.select()輪詢監聽IO事件;

b)處理監聽到的就緒IO事件;

c)執行任務隊列taskQueue/delayTaskQueue中的非IO任務。

3、線程管理

Netty線程模型的卓越性能取決于它對目前執行的Thread的身份确定,也就是說,确定他是否是配置設定給目前Channel以及它的EventLoop的那個線程(通過調用inEventLoop(Thread))。

為了確定一個Channel的整個生命周期中的I/O事件會被一個EventLoop負責,Netty通過inEventLoop()方法來判斷目前執行的線程的身份,确定它是否是配置設定給目前Channel以及它的EventLoop的那一個線程。如果目前(調用)線程正是EventLoop中的線程,那麼所送出的任務将會被直接執行,否則,EventLoop将排程該任務以便稍後執行,并将它放入内部的任務隊列(每個EventLoop都有它自己的任務隊列,從SingleThreadEventLoop的源碼就能發現很多用于排程内部任務隊列的方法),在下次處理它的事件時,将會執行隊列中的那些任務。這種設計可以讓任何線程與Channel直接互動,而無需在ChannelHandler中進行額外的同步。

從性能上來考慮,千萬不要将一個需要長時間來運作的任務放入到任務隊列中,它會影響到該隊列中的其他任務的執行。解決方案是使用一個專門的EventExecutor來執行它(ChannelPipeline提供了帶有EventExecutorGroup參數的addXXX()方法,該方法可以将傳入的ChannelHandler綁定到你傳入的EventExecutor之中),這樣它就會在另一條線程中執行,與其他任務隔離。

4、線程模型選擇

下面以服務端的配置為例,說明如何選擇不同的線程模型。

①單線程模型

EventLoopGroup bossGroup = new NioEventLoopGroup(1);
 try {
        ServerBootstrap b = new ServerBootstrap();
        b.group(bossGroup)
         .channel(NioServerSocketChannel.class)
        ......
           

以上示例中執行個體化了一個NIOEventLoopGroup,并傳入線程數量為1,然後調用ServerBootstrap的group方法綁定線程組,看實作:

@Override
    public ServerBootstrap group(EventLoopGroup group) {
        return group(group, group);
    }
    public ServerBootstrap group(EventLoopGroup parentGroup, EventLoopGroup childGroup) {
        super.group(parentGroup);
        if (childGroup == null) {
            throw new NullPointerException("childGroup");
        }
        if (this.childGroup != null) {
            throw new IllegalStateException("childGroup set already");
        }
        this.childGroup = childGroup;
        return this;
    }
           

從源碼可知,實際仍然綁定了 bossGroup 和 workerGroup,隻是都是同一個NioEventLoopGroup執行個體而已,這樣Netty中的acceptor和後續的所有用戶端連接配接的IO操作都是在一個線程中處理,這就相當于Reactor的單線程模型。

②多線程模型

EventLoopGroup bossGroup = new NioEventLoopGroup(1);
EventLoopGroup workerGroup = new NioEventLoopGroup();
try {
      ServerBootstrap b = new ServerBootstrap();
      b.group(bossGroup, workerGroup)
       .channel(NioServerSocketChannel.class)
       ......
           

建立1個線程的bossGroup線程組,這個線程負責處理用戶端的連接配接請求,而workerGroup預設使用處理器個數*2的線程數量來處理I/O操作。這就相當于Reactor的多線程模型。

③主從多線程模型

EventLoopGroup bossGroup = new NioEventLoopGroup(4);
EventLoopGroup workerGroup = new NioEventLoopGroup();
try {
      ServerBootstrap b = new ServerBootstrap();
      b.group(bossGroup, workerGroup)
       .channel(NioServerSocketChannel.class)
       ......
           

三、NioEventLoop與NioChannel類關系

Netty之EventLoop

一個NioEventLoopGroup下包含多個NioEventLoop

每個NioEventLoop中包含有一個Selector,一個taskQueue,一個delayedTaskQueue

每個NioEventLoop的Selector上可以注冊監聽多個AbstractNioChannel

每個AbstractNioChannel隻會綁定在唯一的NioEventLoop上

每個AbstractNioChannel都綁定有一個自己的DefaultChannelPipeline

四、NioEventLoop線程執行過程

1、輪詢監聽的IO事件

1)netty的輪詢注冊機制

netty将AbstractNioChannel内部的jdk類SelectableChannel對象注冊到NioEventLoopGroup中的jdk類Selector對象上去,并且将AbstractNioChannel作為SelectableChannel對象的一個attachment附屬上。

這樣在Selector輪詢到某個SelectableChannel有IO事件發生時,就可以直接取出IO事件對應的AbstractNioChannel進行後續操作。

2)循環執行阻塞selector.select(timeoutMIllis)操作直到以下條件産生

a)輪詢到了IO事件(selectedKey != 0)

b)oldWakenUp參數為true

c)任務隊列裡面有待處理任務(hasTasks())

d)第一個定時任務即将要被執行(hasScheduledTasks())

e)使用者主動喚醒(wakenUp.get()==true)

2、處理任務隊列

1)處理使用者産生的普通任務

NioEventLoop中的Queue<Runnable> taskQueue被用來承載使用者産生的普通Task。

taskQueue被實作為netty的mpscQueue,即多生産者單消費者隊列。netty使用該隊列将外部使用者線程産生的Task聚集,并在reactor線程内部用單線程的方式串行執行隊列中的Task。

當使用者在非IO線程調用Channel的各種方法執行Channel相關的操作時,比如channel.write()、channel.flush()等,netty會将相關操作封裝成一個Task并放入taskQueue中,保證相關操作在IO線程中串行執行。

2)處理使用者産生的定時任務

NioEventLoop中的Queue<ScheduledFutureTask<?>>delayedTaskQueue = new PriorityQueue被用來承載使用者産生的定時Task。

當使用者在非IO線程需要産生定時操作時,netty将使用者的定時操作封裝成ScheduledFutureTask,即一個netty内部的定時Task,并将定時Task放入delayedTaskQueue中等待對應Channel的IO線程串行執行。

為了解決多線程并發寫入delayedTaskQueue的問題,netty将添加ScheduledFutureTask到delayedTaskQueue中的操作封裝成普通Task,放入taskQueue中,通過NioEventLoop的IO線程對delayedTaskQueue進行單線程寫操作。

3)處理任務隊列的邏輯

a)将已到期的定時Task從delayedTaskQueue中轉移到taskQueue中

b)計算本次循環執行的截止時間

c)循環執行taskQueue中的任務,每隔64個任務檢查一下是否已過截止時間,直到taskQueue中任務全部執行完或者超過執行截止時間。

五、Netty中Reactor線程和worker線程所處理的事件

1、Server端NioEventLoop處理的事件

Netty之EventLoop

2、Client端NioEventLoop處理的事件

Netty之EventLoop