天天看點

[Java] Java NIO 詳解

關于JavaNIO的API,可以看我上篇博文有較長的描述:http://blog.csdn.net/mango_song/article/details/8561427

下面是大牛逸情公子中關于NIO的解讀,結合小例子更容易了解NIO原理,原文位址http://weixiaolu.iteye.com/blog/1477774

Java NIO原理圖文分析及代碼實作 

前言: 

最近在分析hadoop的RPC(Remote Procedure Call Protocol ,遠端過程調用協定,它是一種通過網絡從遠端計算機程式上請求服務,而不需要了解底層網絡技術的協定。可以參考:http://baike.baidu.com/view/32726.htm )機制時,發現hadoop的RPC機制的實作主要用到了兩個技術:動态代理(動态代理可以參考部落格:http://blog.csdn.net/mango_song/article/details/8554007 )和java NIO。為了能夠正确地分析hadoop的RPC源碼,我覺得很有必要先研究一下java NIO的原理和具體實作。

這篇部落格我主要從兩個方向來分析java NIO

目錄:

一.java NIO 和阻塞I/O的差別

     1. 阻塞I/O通信模型

     2. java NIO原理及通信模型

二.java NIO服務端和用戶端代碼實作 

具體分析: 

一.java NIO 和阻塞I/O的差別 

1. 阻塞I/O通信模型 

假如現在你對阻塞I/O已有了一定了解,我們知道阻塞I/O在調用InputStream.read()方法時是阻塞的,它會一直等到資料到來時(或逾時)才會傳回;同樣,在調用ServerSocket.accept()方法時,也會一直阻塞到有用戶端連接配接才會傳回,每個用戶端連接配接過來後,服務端都會啟動一個線程去處理該用戶端的請求。阻塞I/O的通信模型示意圖如下:

[Java] Java NIO 詳解

如果你細細分析,一定會發現阻塞I/O存在一些缺點。根據阻塞I/O通信模型,我總結了它的兩點缺點:

1. 當用戶端多時,會建立大量的處理線程。且每個線程都要占用棧空間和一些CPU時間

2. 阻塞可能帶來頻繁的上下文切換,且大部分上下文切換可能是無意義的。

在這種情況下非阻塞式I/O就有了它的應用前景。

2. java NIO原理及通信模型 

Java NIO是在jdk1.4開始使用的,它既可以說成“新I/O”,也可以說成非阻塞式I/O。下面是java NIO的工作原理:

1. 由一個專門的線程來處理所有的 IO 事件,并負責分發。 

2. 事件驅動機制:事件到的時候觸發,而不是同步的去監視事件。 

3. 線程通訊:線程之間通過 wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的線程切換。 

閱讀過一些資料之後,下面貼出我了解的java NIO的工作原理圖:

[Java] Java NIO 詳解

(注:每個線程的處理流程大概都是讀取資料、解碼、計算處理、編碼、發送響應。)

Java NIO的服務端隻需啟動一個專門的線程來處理所有的 IO 事件,這種通信模型是怎麼實作的呢?呵呵,我們一起來探究它的奧秘吧。java NIO采用了雙向通道(channel)進行資料傳輸,而不是單向的流(stream),在通道上可以注冊我們感興趣的事件。一共有以下四種事件:

事件名 對應值
服務端接收用戶端連接配接事件 SelectionKey.OP_ACCEPT(16)
用戶端連接配接服務端事件 SelectionKey.OP_CONNECT(8)
讀事件 SelectionKey.OP_READ(1)
寫事件 SelectionKey.OP_WRITE(4)

服務端和用戶端各自維護一個管理通道的對象,我們稱之為selector,該對象能檢測一個或多個通道 (channel) 上的事件。我們以服務端為例,如果服務端的selector上注冊了讀事件,某時刻用戶端給服務端發送了一些資料,阻塞I/O這時會調用read()方法阻塞地讀取資料,而NIO的服務端會在selector中添加一個讀事件。服務端的處理線程會輪詢地通路selector,如果通路selector時發現有感興趣的事件到達,則處理這些事件,如果沒有感興趣的事件到達,則處理線程會一直阻塞直到感興趣的事件到達為止。下面是我了解的java NIO的通信模型示意圖:

[Java] Java NIO 詳解

二.java NIO服務端和用戶端代碼實作 

為了更好地了解java NIO,下面貼出服務端和用戶端的簡單代碼實作。Server和Client每隔5秒鐘互相發送一下自己的時間戳

Server端代碼

package rpc.nio;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
import java.util.Set;

public class NIOServer {
	
	private Selector selector;
	
	public NIOServer() throws IOException{
		//ͨ通道管理器
		this.selector=Selector.open();
		//建立一個ServerSocketChannel
		ServerSocketChannel serverChannel=ServerSocketChannel.open();
		//設定成non-block模式
		serverChannel.configureBlocking(false);
		//将serverChannel對應的server socket綁定IP 和 端口
		serverChannel.socket().bind(new InetSocketAddress("localhost",8001));
		//将serverChannel注冊到selector	
		serverChannel.register(selector, SelectionKey.OP_ACCEPT);
	}
	
	public void listen() throws IOException{
		while(true){
			
			int keysAdded=0;
			//用select()函數來監控注冊在selector上的SelectableChannel
			//傳回值代表了有多少個channel可以進行IO操作
			keysAdded=selector.select();
			System.out.println("keysAdded="+keysAdded);
			Set<SelectionKey> readyKeys=selector.selectedKeys();
			Iterator<SelectionKey> iter=readyKeys.iterator();
			while(iter.hasNext()){
				//擷取一個SelectionKey
				SelectionKey key=iter.next();
				//将目前key從readyKeys集合中删除,避免後續重複操作
				iter.remove();
				//
				if(key.isAcceptable()){//如果有ACCEPT_OP事件發生,即有連接配接接入
					//從對key的到對應的channel
					ServerSocketChannel myServerChannel=
							(ServerSocketChannel) key.channel();
					
					//接受新的TCP連接配接,将目前時間寫入新的TCP連接配接中
					SocketChannel myChannel=myServerChannel.accept();
					//将要發給用戶端的資料寫入通道
					myChannel.write(ByteBuffer.wrap(
							new String("Message From Server: connection has been connected!").getBytes()));
					
					//為myChannel注冊讀事件
					myChannel.configureBlocking(false);
					myChannel.register(selector,SelectionKey.OP_READ);
			
				}else if(key.isReadable()){
					//讀取
					read(key);
				}
			}//while
		}//while
	}

	

	private void read(SelectionKey key) throws IOException {
		 
		if(!(key.isReadable())){
			return;
		}
		// 伺服器可讀取消息:得到事件發生的Socket通道 
		SocketChannel myChannel=(SocketChannel) key.channel();
		
		//建立讀取資料的緩沖區
		ByteBuffer buf=ByteBuffer.allocate(1024);
		//讀取資料
		myChannel.read(buf);
		
		String msg=new String(buf.array());
		System.out.println("server receive message:msg="+msg);

		//向client端寫資料
		myChannel.write(ByteBuffer.wrap(
				new String("from server:"+"hello"+System.currentTimeMillis()).getBytes()));
	}

	/**
	 * @param args
	 * @throws IOException 
	 */
	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub

		System.out.println("begin");

		NIOServer server =new NIOServer();
		server.listen();
		
		System.out.println("end");
		
	}
}
           

Client端代碼:

package rpc.nio;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
import java.util.Set;

public class NIOServer {
	
	private Selector selector;
	
	public NIOServer() throws IOException{
		//ͨ通道管理器
		this.selector=Selector.open();
		//建立一個ServerSocketChannel
		ServerSocketChannel serverChannel=ServerSocketChannel.open();
		//設定成non-block模式
		serverChannel.configureBlocking(false);
		//将serverChannel對應的server socket綁定IP 和 端口
		serverChannel.socket().bind(new InetSocketAddress("localhost",8001));
		//将serverChannel注冊到selector	
		serverChannel.register(selector, SelectionKey.OP_ACCEPT);
	}
	
	public void listen() throws IOException{
		while(true){
			
			int keysAdded=0;
			//用select()函數來監控注冊在selector上的SelectableChannel
			//傳回值代表了有多少個channel可以進行IO操作
			keysAdded=selector.select();
			System.out.println("keysAdded="+keysAdded);
			Set<SelectionKey> readyKeys=selector.selectedKeys();
			Iterator<SelectionKey> iter=readyKeys.iterator();
			while(iter.hasNext()){
				//擷取一個SelectionKey
				SelectionKey key=iter.next();
				//将目前key從readyKeys集合中删除,避免後續重複操作
				iter.remove();
				//
				if(key.isAcceptable()){//如果有ACCEPT_OP事件發生,即有連接配接接入
					//從對key的到對應的channel
					ServerSocketChannel myServerChannel=
							(ServerSocketChannel) key.channel();
					
					//接受新的TCP連接配接,将目前時間寫入新的TCP連接配接中
					SocketChannel myChannel=myServerChannel.accept();
					//将要發給用戶端的資料寫入通道
					myChannel.write(ByteBuffer.wrap(
							new String("Message From Server: connection has been connected!").getBytes()));
					
					//為myChannel注冊讀事件
					myChannel.configureBlocking(false);
					myChannel.register(selector,SelectionKey.OP_READ);
			
				}else if(key.isReadable()){
					//讀取
					read(key);
				}
			}//while
		}//while
	}

	

	private void read(SelectionKey key) throws IOException {
		 
		if(!(key.isReadable())){
			return;
		}
		// 伺服器可讀取消息:得到事件發生的Socket通道 
		SocketChannel myChannel=(SocketChannel) key.channel();
		
		//建立讀取資料的緩沖區
		ByteBuffer buf=ByteBuffer.allocate(1024);
		//讀取資料
		myChannel.read(buf);
		
		String msg=new String(buf.array());
		System.out.println("server receive message:msg="+msg);

		//向client端寫資料
		myChannel.write(ByteBuffer.wrap(
				new String("from server:"+"hello"+System.currentTimeMillis()).getBytes()));
	}

	/**
	 * @param args
	 * @throws IOException 
	 */
	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub

		System.out.println("begin");

		NIOServer server =new NIOServer();
		server.listen();
		
		System.out.println("end");
		
	}
}