NIO(一)

NIO

NIO 最初是為 New Input/Output 的縮寫。然而，Java 的 API 已經存在足夠長的時間，它不再是新的。現在普遍使用的縮寫來表示Nonblocking I/O (非阻塞 I/O)。另一方面，一般（包括作者）指阻塞 I/O 為 OIO 或 Old Input/Output。你也可能會遇到普通 I/O。

标準的IO基于位元組流和字元流進行操作的，而NIO是基于通道（Channel）和緩沖區（Buffer）進行操作，資料總是從通道讀取到緩沖區中，或者從緩沖區寫入到通道中。

Java NIO引入了選擇器的概念，選擇器用于監聽多個通道的事件（比如：連接配接打開，資料到達）。是以，單個的線程可以監聽多個資料通道。Selector 最終決定哪一組注冊的 socket 準備執行 I/O。正如我們之前所解釋的那樣，這 I/O 操作設定為非阻塞模式。通過通知，一個線程可以同時處理多個并發連接配接。（一個 Selector 由一個線程通常處理，但具體實施可以使用多個線程。）是以，每次讀或寫操作執行能立即檢查完成。總體而言，該模型提供了比阻塞 I/O 模型更好的資源使用，因為

可以用較少的線程處理更多連接配接，這意味着更少的開銷在記憶體和上下文切換上
當沒有 I/O 處理時，線程可以被重定向到其他任務上。

如果你要直接使用這些 Java API 建構的 NIO 建立你的應用程式，隻是這樣做正确和安全是無法保證的。實作可靠和可擴充的 event-processing（事件處理器）來處理和排程資料并保證盡可能有效地，這是一個繁瑣和容易出錯的任務，最好留給專家 - Netty。

核心組成

Channels
Buffers
Selectors

1. Channel

Java NIO的通道類似流，但又有些不同：

既可以從通道中讀取資料，又可以寫資料到通道。但流的讀寫通常是單向的。
通道可以異步地讀寫。
通道中的資料總是要先讀到一個Buffer，或者總是要從一個Buffer中寫入。

Channel的實作

這些是Java NIO中最重要的通道的實作：

FileChannel
DatagramChannel
SocketChannel
ServerSocketChannel

FileChannel 從檔案中讀寫資料。

DatagramChannel 能通過UDP讀寫網絡中的資料。

SocketChannel 能通過TCP讀寫網絡中的資料。

ServerSocketChannel可以監聽新進來的TCP連接配接，像Web伺服器那樣。對每一個新進來的連接配接都會建立一個SocketChannel。

讀取資料

public static void main(String[] args) throws Exception {
    RandomAccessFile aFile = new RandomAccessFile("D:\\caseProblem.ftl", "rw");
    FileChannel inChannel = aFile.getChannel();

    ByteBuffer buf = ByteBuffer.allocate(48);
    int bytesRead = inChannel.read(buf);
    while (bytesRead != -1) {
        buf.flip();
        while (buf.hasRemaining()) {
            System.out.print((char) buf.get());
        }
        buf.clear();
        bytesRead = inChannel.read(buf);
    }
    aFile.close();
}

寫入資料

public static void main(String[] args) throws Exception {
     FileOutputStream aFile = new FileOutputStream("D:\\1.txt");
     FileChannel outChannel = aFile.getChannel();

     /*ByteBuffer buf = ByteBuffer.allocate(48);
        buf.put("this is a test".getBytes(StandardCharsets.UTF_8));*/
     ByteBuffer buf = ByteBuffer.wrap("this is a test".getBytes(StandardCharsets.UTF_8));
     /*buf.flip();*/
     outChannel.write(buf);
     buf.clear();

     outChannel.close();
     aFile.close();
 }

2.Bufer

Java NIO中的Buffer用于和NIO通道進行互動。如你所知，資料是從通道讀入緩沖區，從緩沖區寫入到通道中的。

緩沖區本質上是一塊可以寫入資料，然後可以從中讀取資料的記憶體。這塊記憶體被包裝成NIO Buffer對象，并提供了一組方法，用來友善的通路該塊記憶體。Buffer的基本用法

使用Buffer讀寫資料一般遵循以下四個步驟：

寫入資料到Buffer
調用 flip() 方法
從Buffer中讀取資料
clear() 方法或者 compact()

當向buffer寫入資料時，buffer會記錄下寫了多少資料。一旦要讀取資料，需要通過flip()方法将Buffer從寫模式切換到讀模式。在讀模式下，可以讀取之前寫入到buffer的所有資料。

一旦讀完了所有的資料，就需要清空緩沖區，讓它可以再次被寫入。有兩種方式能清空緩沖區：調用clear()或compact()方法。clear()方法會清空整個緩沖區。compact()方法隻會清除已經讀過的資料。任何未讀的資料都被移到緩沖區的起始處，新寫入的資料将放到緩沖區未讀資料的後面。

Buffer的capacity,position和limit

緩沖區本質上是一塊可以寫入資料，然後可以從中讀取資料的記憶體。這塊記憶體被包裝成NIO Buffer對象，并提供了一組方法，用來友善的通路該塊記憶體。

為了了解Buffer的工作原理，需要熟悉它的三個屬性：

capacity
position
limit

position和limit的含義取決于Buffer處在讀模式還是寫模式。不管Buffer處在什麼模式，capacity的含義總是一樣的。

作為一個記憶體塊，Buffer有一個固定的大小值，也叫“capacity”.你隻能往裡寫capacity個byte、long，char等類型。一旦Buffer滿了，需要将其清空（通過讀資料或者清除資料）才能繼續寫資料往裡寫資料。

當你寫資料到Buffer中時，position表示目前的位置。初始的position值為0.當一個byte、long等資料寫到Buffer後， position會向前移動到下一個可插入資料的Buffer單元。position最大可為capacity – 1.

當讀取資料時，也是從某個特定位置讀。當将Buffer從寫模式切換到讀模式，position會被重置為0. 當從Buffer的position處讀取資料時，position向前移動到下一個可讀的位置。

在寫模式下，Buffer的limit表示你最多能往Buffer裡寫多少資料。寫模式下，limit等于Buffer的capacity。

當切換Buffer到讀模式時， limit表示你最多能讀到多少資料。是以，當切換Buffer到讀模式時，limit會被設定成寫模式下的position值。換句話說，你能讀到之前寫入的所有資料（limit被設定成已寫資料的數量，這個值在寫模式下就是position）

Buffer的類型

Java NIO 有以下Buffer類型

ByteBuffer
MappedByteBuffer
CharBuffer
DoubleBuffer
FloatBuffer
IntBuffer
LongBuffer
ShortBuffer

如你所見，這些Buffer類型代表了不同的資料類型。換句話說，就是可以通過char，short，int，long，float 或 double類型來操作緩沖區中的位元組。

Buffer的配置設定

要想獲得一個Buffer對象首先要進行配置設定。每一個Buffer類都有一個allocate方法。下面是一個配置設定48位元組capacity的ByteBuffer的例子。

ByteBuffer buf = ByteBuffer.allocate("48");

這是配置設定一個可存儲1024個字元的CharBuffer：

CharBuffer buf = CharBuffer.allocate(``1024``);

向Buffer中寫資料

寫資料到Buffer有兩種方式：

從Channel寫到Buffer。
通過Buffer的put()方法寫到Buffer裡。

從Channel寫到Buffer的例子

int bytesRead = inChannel.read(buf);

通過put方法寫Buffer的例子：

buf.put(``127``)

put方法有很多版本，允許你以不同的方式把資料寫入到Buffer中。例如，寫到一個指定的位置，或者把一個位元組數組寫入到Buffer。更多Buffer實作的細節參考JavaDoc。

flip()方法

flip方法将Buffer從寫模式切換到讀模式。調用flip()方法會将position設回0，并将limit設定成之前position的值。

換句話說，position現在用于标記讀的位置，limit表示之前寫進了多少個byte、char等 —— 現在能讀取多少個byte、char等。

從Buffer中讀取資料有兩種方式：

從Buffer讀取資料到Channel。
使用get()方法從Buffer中讀取資料。

從Buffer讀取資料到Channel的例子：

int bytesWritten = inChannel.write(buf);

使用get()方法從Buffer中讀取資料的例子

byte aByte = buf.get();

get方法有很多版本，允許你以不同的方式從Buffer中讀取資料。例如，從指定position讀取，或者從Buffer中讀取資料到位元組數組。更多Buffer實作的細節參考JavaDoc。

rewind()方法

Buffer.rewind()将position設回0，是以你可以重讀Buffer中的所有資料。limit保持不變，仍然表示能從Buffer中讀取多少個元素（byte、char等）。

clear()與compact()方法

一旦讀完Buffer中的資料，需要讓Buffer準備好再次被寫入。可以通過clear()或compact()方法來完成。

如果調用的是clear()方法，position将被設回0，limit被設定成 capacity的值。換句話說，Buffer 被清空了。Buffer中的資料并未清除，隻是這些标記告訴我們可以從哪裡開始往Buffer裡寫資料。

如果Buffer中有一些未讀的資料，調用clear()方法，資料将“被遺忘”，意味着不再有任何标記會告訴你哪些資料被讀過，哪些還沒有。

如果Buffer中仍有未讀的資料，且後續還需要這些資料，但是此時想要先先寫些資料，那麼使用compact()方法。

compact()方法将所有未讀的資料拷貝到Buffer起始處。然後将position設到最後一個未讀元素正後面。limit屬性依然像clear()方法一樣，設定成capacity。現在Buffer準備好寫資料了，但是不會覆寫未讀的資料。

mark()與reset()方法

通過調用Buffer.mark()方法，可以标記Buffer中的一個特定position。之後可以通過調用Buffer.reset()方法恢複到這個position。例如：

buffer.mark();
buffer.reset();

equals()與compareTo()方法

可以使用equals()和compareTo()方法兩個Buffer。

equals()

當滿足下列條件時，表示兩個Buffer相等：

有相同的類型（byte、char、int等）。
Buffer中剩餘的byte、char等的個數相等。
Buffer中所有剩餘的byte、char等都相同。

如你所見，equals隻是比較Buffer的一部分，不是每一個在它裡面的元素都比較。實際上，它隻比較Buffer中的剩餘元素。

compareTo()方法

compareTo()方法比較兩個Buffer的剩餘元素(byte、char等)，如果滿足下列條件，則認為一個Buffer“小于”另一個Buffer：

第一個不相等的元素小于另一個Buffer中對應的元素。
所有元素都相等，但第一個Buffer比另一個先耗盡(第一個Buffer的元素個數比另一個少)。

3. Scatter/Gather

Java NIO開始支援scatter/gather，scatter/gather用于描述從Channel（譯者注：Channel在中文經常翻譯為通道）中讀取或者寫入到Channel的操作。

分散（scatter）從Channel中讀取是指在讀操作時将讀取的資料寫入多個buffer中。是以，Channel将從Channel中讀取的資料“分散（scatter）”到多個Buffer中。

聚集（gather）寫入Channel是指在寫操作時将多個buffer的資料寫入同一個Channel，是以，Channel 将多個Buffer中的資料“聚集（gather）”後發送到Channel。

scatter / gather經常用于需要将傳輸的資料分開處理的場合，例如傳輸一個由消息頭和消息體組成的消息，你可能會将消息體和消息頭分散到不同的buffer中，這樣你可以友善的處理消息頭和消息體。

Scattering Reads

Scattering Reads是指資料從一個channel讀取到多個buffer中。

ByteBuffer header = ByteBuffer.allocate(128);
ByteBuffer body   = ByteBuffer.allocate(1024);
ByteBuffer[] bufferArray = { header, body };
channel.read(bufferArray);

注意buffer首先被插入到數組，然後再将數組作為channel.read() 的輸入參數。read()方法按照buffer在數組中的順序将從channel中讀取的資料寫入到buffer，當一個buffer被寫滿後，channel緊接着向另一個buffer中寫。

Scattering Reads在移動下一個buffer前，必須填滿目前的buffer，這也意味着它不适用于動态消息(譯者注：消息大小不固定)。換句話說，如果存在消息頭和消息體，消息頭必須完成填充（例如 128byte），Scattering Reads才能正常工作。

Gathering Writes

Gathering Writes是指資料從多個buffer寫入到同一個channel。

ByteBuffer header = ByteBuffer.allocate(128);
ByteBuffer body   = ByteBuffer.allocate(1024);
ByteBuffer[] bufferArray = { header, body };
channel.write(bufferArray);

buffers數組是write()方法的入參，write()方法會按照buffer在數組中的順序，将資料寫入到channel，注意隻有position和limit之間的資料才會被寫入。是以，如果一個buffer的容量為128byte，但是僅僅包含58byte的資料，那麼這58byte的資料将被寫入到channel中。是以與Scattering Reads相反，Gathering Writes能較好的處理動态消息。

4. 通道之間的資料傳輸

在Java NIO中，如果兩個通道中有一個是FileChannel，那你可以直接将資料從一個channel（譯者注：channel中文常譯作通道）傳輸到另外一個channel。

transferFrom()

NIO(一)

NIO

1. Channel

Channel的實作

2.Bufer

Buffer的capacity,position和limit

Buffer的類型

Buffer的配置設定

向Buffer中寫資料

flip()方法

rewind()方法

clear()與compact()方法

mark()與reset()方法

equals()與compareTo()方法

equals()

compareTo()方法

3. Scatter/Gather

4. 通道之間的資料傳輸

繼續閱讀

Netty EventLoop 和 EventLoopGroupNetty的線程模型NioEventLoop的源碼分析

netty的eventLoop元件

網絡程式設計-netty

Netty入門前言一、Netty簡介二、Netty特征三、選Netty棄NIO的原因四、 Netty使用案例

Netty (6)-解碼和編碼

Netty：測試 Encoder 和 Decoder

Netty3.10.1:關于MessageReceived

Netty 學習（六）實作自定義協定通信前言一、通信協定設計二、Netty 實作自定義通信協定三、抽象編碼類四、抽象解碼類五、通信協定實戰總結

Netty4.0學習筆記系列之五：自定義通訊協定

自定義簡單協定

深入golang之---goroutine并發控制與通信通知多個子goroutine退出運作控制并發的方法參考連結

Memory中的Channel/Rank/Bank解析Memory中的Channel/Rank/Bank解析

JAVA并發, 反射, NIO

go中channel和goroutine以及select的配合使用

Go語言并發同步初體驗

Netty——自定義協定解決TCP粘包拆包問題什麼是TCP粘包拆包自定義協定解決拆包粘包問題