關于JavaNIO的API,可以看我上篇博文有較長的描述:http://blog.csdn.net/mango_song/article/details/8561427
下面是大牛逸情公子中關于NIO的解讀,結合小例子更容易了解NIO原理,原文位址http://weixiaolu.iteye.com/blog/1477774
Java NIO原理圖文分析及代碼實作
前言:
最近在分析hadoop的RPC(Remote Procedure Call Protocol ,遠端過程調用協定,它是一種通過網絡從遠端計算機程式上請求服務,而不需要了解底層網絡技術的協定。可以參考:http://baike.baidu.com/view/32726.htm )機制時,發現hadoop的RPC機制的實作主要用到了兩個技術:動态代理(動态代理可以參考部落格:http://blog.csdn.net/mango_song/article/details/8554007 )和java NIO。為了能夠正确地分析hadoop的RPC源碼,我覺得很有必要先研究一下java NIO的原理和具體實作。
這篇部落格我主要從兩個方向來分析java NIO
目錄:
一.java NIO 和阻塞I/O的差別
1. 阻塞I/O通信模型
2. java NIO原理及通信模型
二.java NIO服務端和用戶端代碼實作
具體分析:
一.java NIO 和阻塞I/O的差別
1. 阻塞I/O通信模型
假如現在你對阻塞I/O已有了一定了解,我們知道阻塞I/O在調用InputStream.read()方法時是阻塞的,它會一直等到資料到來時(或逾時)才會傳回;同樣,在調用ServerSocket.accept()方法時,也會一直阻塞到有用戶端連接配接才會傳回,每個用戶端連接配接過來後,服務端都會啟動一個線程去處理該用戶端的請求。阻塞I/O的通信模型示意圖如下:
如果你細細分析,一定會發現阻塞I/O存在一些缺點。根據阻塞I/O通信模型,我總結了它的兩點缺點:
1. 當用戶端多時,會建立大量的處理線程。且每個線程都要占用棧空間和一些CPU時間
2. 阻塞可能帶來頻繁的上下文切換,且大部分上下文切換可能是無意義的。
在這種情況下非阻塞式I/O就有了它的應用前景。
2. java NIO原理及通信模型
Java NIO是在jdk1.4開始使用的,它既可以說成“新I/O”,也可以說成非阻塞式I/O。下面是java NIO的工作原理:
1. 由一個專門的線程來處理所有的 IO 事件,并負責分發。
2. 事件驅動機制:事件到的時候觸發,而不是同步的去監視事件。
3. 線程通訊:線程之間通過 wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的線程切換。
閱讀過一些資料之後,下面貼出我了解的java NIO的工作原理圖:
(注:每個線程的處理流程大概都是讀取資料、解碼、計算處理、編碼、發送響應。)
Java NIO的服務端隻需啟動一個專門的線程來處理所有的 IO 事件,這種通信模型是怎麼實作的呢?呵呵,我們一起來探究它的奧秘吧。java NIO采用了雙向通道(channel)進行資料傳輸,而不是單向的流(stream),在通道上可以注冊我們感興趣的事件。一共有以下四種事件:
事件名 | 對應值 |
服務端接收用戶端連接配接事件 | SelectionKey.OP_ACCEPT(16) |
用戶端連接配接服務端事件 | SelectionKey.OP_CONNECT(8) |
讀事件 | SelectionKey.OP_READ(1) |
寫事件 | SelectionKey.OP_WRITE(4) |
服務端和用戶端各自維護一個管理通道的對象,我們稱之為selector,該對象能檢測一個或多個通道 (channel) 上的事件。我們以服務端為例,如果服務端的selector上注冊了讀事件,某時刻用戶端給服務端發送了一些資料,阻塞I/O這時會調用read()方法阻塞地讀取資料,而NIO的服務端會在selector中添加一個讀事件。服務端的處理線程會輪詢地通路selector,如果通路selector時發現有感興趣的事件到達,則處理這些事件,如果沒有感興趣的事件到達,則處理線程會一直阻塞直到感興趣的事件到達為止。下面是我了解的java NIO的通信模型示意圖:
二.java NIO服務端和用戶端代碼實作
為了更好地了解java NIO,下面貼出服務端和用戶端的簡單代碼實作。Server和Client每隔5秒鐘互相發送一下自己的時間戳
Server端代碼
package rpc.nio;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
import java.util.Set;
public class NIOServer {
private Selector selector;
public NIOServer() throws IOException{
//ͨ通道管理器
this.selector=Selector.open();
//建立一個ServerSocketChannel
ServerSocketChannel serverChannel=ServerSocketChannel.open();
//設定成non-block模式
serverChannel.configureBlocking(false);
//将serverChannel對應的server socket綁定IP 和 端口
serverChannel.socket().bind(new InetSocketAddress("localhost",8001));
//将serverChannel注冊到selector
serverChannel.register(selector, SelectionKey.OP_ACCEPT);
}
public void listen() throws IOException{
while(true){
int keysAdded=0;
//用select()函數來監控注冊在selector上的SelectableChannel
//傳回值代表了有多少個channel可以進行IO操作
keysAdded=selector.select();
System.out.println("keysAdded="+keysAdded);
Set<SelectionKey> readyKeys=selector.selectedKeys();
Iterator<SelectionKey> iter=readyKeys.iterator();
while(iter.hasNext()){
//擷取一個SelectionKey
SelectionKey key=iter.next();
//将目前key從readyKeys集合中删除,避免後續重複操作
iter.remove();
//
if(key.isAcceptable()){//如果有ACCEPT_OP事件發生,即有連接配接接入
//從對key的到對應的channel
ServerSocketChannel myServerChannel=
(ServerSocketChannel) key.channel();
//接受新的TCP連接配接,将目前時間寫入新的TCP連接配接中
SocketChannel myChannel=myServerChannel.accept();
//将要發給用戶端的資料寫入通道
myChannel.write(ByteBuffer.wrap(
new String("Message From Server: connection has been connected!").getBytes()));
//為myChannel注冊讀事件
myChannel.configureBlocking(false);
myChannel.register(selector,SelectionKey.OP_READ);
}else if(key.isReadable()){
//讀取
read(key);
}
}//while
}//while
}
private void read(SelectionKey key) throws IOException {
if(!(key.isReadable())){
return;
}
// 伺服器可讀取消息:得到事件發生的Socket通道
SocketChannel myChannel=(SocketChannel) key.channel();
//建立讀取資料的緩沖區
ByteBuffer buf=ByteBuffer.allocate(1024);
//讀取資料
myChannel.read(buf);
String msg=new String(buf.array());
System.out.println("server receive message:msg="+msg);
//向client端寫資料
myChannel.write(ByteBuffer.wrap(
new String("from server:"+"hello"+System.currentTimeMillis()).getBytes()));
}
/**
* @param args
* @throws IOException
*/
public static void main(String[] args) throws IOException {
// TODO Auto-generated method stub
System.out.println("begin");
NIOServer server =new NIOServer();
server.listen();
System.out.println("end");
}
}
Client端代碼:
package rpc.nio;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
import java.util.Set;
public class NIOServer {
private Selector selector;
public NIOServer() throws IOException{
//ͨ通道管理器
this.selector=Selector.open();
//建立一個ServerSocketChannel
ServerSocketChannel serverChannel=ServerSocketChannel.open();
//設定成non-block模式
serverChannel.configureBlocking(false);
//将serverChannel對應的server socket綁定IP 和 端口
serverChannel.socket().bind(new InetSocketAddress("localhost",8001));
//将serverChannel注冊到selector
serverChannel.register(selector, SelectionKey.OP_ACCEPT);
}
public void listen() throws IOException{
while(true){
int keysAdded=0;
//用select()函數來監控注冊在selector上的SelectableChannel
//傳回值代表了有多少個channel可以進行IO操作
keysAdded=selector.select();
System.out.println("keysAdded="+keysAdded);
Set<SelectionKey> readyKeys=selector.selectedKeys();
Iterator<SelectionKey> iter=readyKeys.iterator();
while(iter.hasNext()){
//擷取一個SelectionKey
SelectionKey key=iter.next();
//将目前key從readyKeys集合中删除,避免後續重複操作
iter.remove();
//
if(key.isAcceptable()){//如果有ACCEPT_OP事件發生,即有連接配接接入
//從對key的到對應的channel
ServerSocketChannel myServerChannel=
(ServerSocketChannel) key.channel();
//接受新的TCP連接配接,将目前時間寫入新的TCP連接配接中
SocketChannel myChannel=myServerChannel.accept();
//将要發給用戶端的資料寫入通道
myChannel.write(ByteBuffer.wrap(
new String("Message From Server: connection has been connected!").getBytes()));
//為myChannel注冊讀事件
myChannel.configureBlocking(false);
myChannel.register(selector,SelectionKey.OP_READ);
}else if(key.isReadable()){
//讀取
read(key);
}
}//while
}//while
}
private void read(SelectionKey key) throws IOException {
if(!(key.isReadable())){
return;
}
// 伺服器可讀取消息:得到事件發生的Socket通道
SocketChannel myChannel=(SocketChannel) key.channel();
//建立讀取資料的緩沖區
ByteBuffer buf=ByteBuffer.allocate(1024);
//讀取資料
myChannel.read(buf);
String msg=new String(buf.array());
System.out.println("server receive message:msg="+msg);
//向client端寫資料
myChannel.write(ByteBuffer.wrap(
new String("from server:"+"hello"+System.currentTimeMillis()).getBytes()));
}
/**
* @param args
* @throws IOException
*/
public static void main(String[] args) throws IOException {
// TODO Auto-generated method stub
System.out.println("begin");
NIOServer server =new NIOServer();
server.listen();
System.out.println("end");
}
}