天天看點

深入分析 java IO的工作機制

   通過閱讀java IO 源碼可以發現 IO 的基本架構

注:此篇内容純粹是為了記錄和分享一下學到的内容,圖檔和代碼部分來源于其他部落格,請見諒,希望閱讀到此篇部落格的人能夠留下您的意見,給一個學習的機會,在此非常感謝!!!

深入分析 java IO的工作機制
深入分析 java IO的工作機制

 *    基于位元組操作的IO接口: InputStream,  OutputStream 

 *  

深入分析 java IO的工作機制

 *    基于字元操作的接口:Reader,Writer

深入分析 java IO的工作機制

 *    

 *    基于磁盤操作的IO接口:File

 *    

 *    基于網絡操作的IO接口 :Socket

 *    

 *   字元解碼相關類結構

 * 

 * 字元編碼相關類結構

 *

 * 

  磁盤IO的工作機制

 * (1)标準的通路檔案的方式

 * 由于通路磁盤檔案,需要調用作業系統的接口,程式通路實體裝置隻能通過作業系統調用的方式工作。

 * 利用作業系統調用就會存在使用者位址空間和系統核心空間位址切換的問題(作業系統為了保護系統本身運作安全将核心程式的位址空間和應用程位址空間隔離)。

 * 标準通路檔案的方式就是當使用者調用read()接口時,作業系統會檢查核心的高速緩存中是否已經緩存,如果有那麼直接傳回緩存,否則從磁盤中讀取,然後緩存到使用者的應用緩存中

 * 對于寫入就是從使用者位址空間複制到核心的告訴頁面緩存,至于什麼時候複制到磁盤由系統決定,應用程式可以調用sync顯式的同步

 * 

 * (2)直接檔案通路方式

 * 直接IO 通路就是應用程式不經過作業系統的核心緩存而直接通路磁盤空間,這樣就減少了一次從從核心緩存到應用程式緩存的複制

 *

 * (3)同步通路檔案方式

 * 同步通路檔案的方式就是當寫入到磁盤空間時其才會傳回成功寫入的标志

 * 

 * (4)異步檔案通路方式

 * 對于異步檔案通路方式來說,當應用程式發出read()的請求時,不需要阻塞的等待核心緩存将聚聚寫入應用程式的緩存,

 * 當請求的資料傳回時才會繼續處理請求的資料,異步的方式隻是提高了程式的效率,但沒有改變通路檔案的效率

 *

 * (5)位址映射方式

 * 記憶體映射的方式就是将磁盤中的檔案和作業系統中的一塊記憶體位址映射,當要通路這個檔案時直接将記憶體中的這段資料轉換為通路檔案的某段資料

 * 目的是為了減少資料從記憶體空間到使用者位址空間的複制操作。

 *

 *

 * java 通路磁盤檔案的方式

 * 虛拟的File 對象, FileDescripter    

 *

 * java序列化技術

 * 通用的資料結構 JSON XML

 *     -

 *

NIO的工作方式

 *

 * 傳統的IO方式在通路檔案時,可能會出現阻塞,而一旦出現阻塞目前線程就睡失去CPU的使用權,當用采用每個連接配接建立一個線程的方式,

 *       出現阻塞隻會阻塞一個線程而不會影響其他工作,為了避免頻繁建立線程對系統資源的占用,可以通過建立線程池的方式

 *       減少系統資源的開銷,

 *       

 *       NIO 的相關類圖

 *       

深入分析 java IO的工作機制

   一個關于NIO的例子

/**  
 * NIO服務端  
 * 
 * 
 * 在 NIO 庫中,所有資料都是用緩沖區處理的。在讀取資料時,
 * 它是直接讀到緩沖區中的。在寫入資料時,它是寫入到緩沖區中的。任何時候通路 NIO 中的資料,您都是将它放到緩沖區中。

緩沖區實質上是一個數組。通常它是一個位元組數組,但是也可以使用其他種類的數組。
但是一個緩沖區不 僅僅 是一個數組。緩沖區提供了對資料的結構化通路,而且還可以跟蹤系統的讀/寫程序。
 * 
 * 
 */ 
public class NIOServer {  
    //通道管理器  
    private Selector selector;  
 
    /**  
     * 獲得一個ServerSocket通道,并對該通道做一些初始化的工作  
     * @param port  綁定的端口号  
     * @throws IOException  
     */ 
    public void initServer(int port) throws IOException {  
        // 獲得一個ServerSocket通道  
        ServerSocketChannel serverChannel = ServerSocketChannel.open();  
        // 設定通道為非阻塞  
        serverChannel.configureBlocking(false);  
        // 将該通道對應的ServerSocket綁定到port端口  
        serverChannel.socket().bind(new InetSocketAddress(port));  
        // 獲得一個通道管理器  
        this.selector = Selector.open();  
        //将通道管理器和該通道綁定,并為該通道注冊SelectionKey.OP_ACCEPT事件,注冊該事件後,  
        //當該事件到達時,selector.select()會傳回,如果該事件沒到達selector.select()會一直阻塞。  
        serverChannel.register(selector, SelectionKey.OP_ACCEPT);  
    }  
 
    /**  
     * 采用輪詢的方式監聽selector上是否有需要處理的事件,如果有,則進行處理  
     * @throws IOException  
     */ 
    @SuppressWarnings("unchecked")  
    public void listen() throws IOException {  
        System.out.println("服務端啟動成功!");  
        // 輪詢通路selector  
        while (true) {  
            //當注冊的事件到達時,方法傳回;否則,該方法會一直阻塞  
            selector.select();  
            // 獲得selector中選中的項的疊代器,選中的項為注冊的事件  
            Iterator ite = this.selector.selectedKeys().iterator();  
            while (ite.hasNext()) {  
                SelectionKey key = (SelectionKey) ite.next();  
                // 删除已選的key,以防重複處理  
                ite.remove();  
                // 用戶端請求連接配接事件  
                if (key.isAcceptable()) {  
                    ServerSocketChannel server = (ServerSocketChannel) key  
                            .channel();  
                    // 獲得和用戶端連接配接的通道  
                    SocketChannel channel = server.accept();  
                    // 設定成非阻塞  
                    channel.configureBlocking(false);  
 
                    //在這裡可以給用戶端發送資訊哦  
                    channel.write(ByteBuffer.wrap(new String("向用戶端發送了一條資訊").getBytes()));  
                    //在和用戶端連接配接成功之後,為了可以接收到用戶端的資訊,需要給通道設定讀的權限。  
                    channel.register(this.selector, SelectionKey.OP_READ);  
                      
                    // 獲得了可讀的事件  
                } else if (key.isReadable()) {  
                        read(key);  
                }  
 
            }  
 
        }  
    }  
    /**  
     * 處理讀取用戶端發來的資訊 的事件  
     * @param key  
     * @throws IOException   
     */ 
    public void read(SelectionKey key) throws IOException{  
        // 伺服器可讀取消息:得到事件發生的Socket通道  
        SocketChannel channel = (SocketChannel) key.channel();  
        // 建立讀取的緩沖區  
        ByteBuffer buffer = ByteBuffer.allocate(10);  
        channel.read(buffer);  
        byte[] data = buffer.array();  
        String msg = new String(data).trim();  
        System.out.println("服務端收到資訊:"+msg);  
        ByteBuffer outBuffer = ByteBuffer.wrap(msg.getBytes());  
        channel.write(outBuffer);// 将消息回送給用戶端  
    }  
      
    /**  
     * 啟動服務端測試  
     * @throws IOException   
     */ 
    public static void main(String[] args) throws IOException {  
        NIOServer server = new NIOServer();  
        server.initServer(8000);  
        server.listen();  
    }  
 
}
           
/**  
 * NIO用戶端  
 */ 
public class NIOClient {  
    //通道管理器  
    private Selector selector;  
 
    /**  
     * 獲得一個Socket通道,并對該通道做一些初始化的工作  
     * @param ip 連接配接的伺服器的ip  
     * @param port  連接配接的伺服器的端口号           
     * @throws IOException  
     */ 
    public void initClient(String ip,int port) throws IOException {  
        // 獲得一個Socket通道  
        SocketChannel channel = SocketChannel.open();  
        // 設定通道為非阻塞  
        channel.configureBlocking(false);  
        // 獲得一個通道管理器  
        this.selector = Selector.open();  
          
        // 用戶端連接配接伺服器,其實方法執行并沒有實作連接配接,需要在listen()方法中調  
        //用channel.finishConnect();才能完成連接配接  
        channel.connect(new InetSocketAddress(ip,port));  
        //将通道管理器和該通道綁定,并為該通道注冊SelectionKey.OP_CONNECT事件。  
        channel.register(selector, SelectionKey.OP_CONNECT);  
    }  
 
    /**  
     * 采用輪詢的方式監聽selector上是否有需要處理的事件,如果有,則進行處理  
     * @throws IOException  
     */ 
    @SuppressWarnings("unchecked")  
    public void listen() throws IOException {  
        // 輪詢通路selector  
        while (true) {  
            // 選擇一組可以進行I/O操作的事件,放在selector中,用戶端的該方法不會阻塞,  
            //這裡和服務端的方法不一樣,檢視api注釋可以知道,當至少一個通道被選中時,  
            //selector的wakeup方法被調用,方法傳回,而對于用戶端來說,通道一直是被選中的  
            selector.select();  
            // 獲得selector中選中的項的疊代器  
            Iterator ite = this.selector.selectedKeys().iterator();  
            while (ite.hasNext()) {  
                SelectionKey key = (SelectionKey) ite.next();  
                // 删除已選的key,以防重複處理  
                ite.remove();  
                // 連接配接事件發生  
                if (key.isConnectable()) {  
                    SocketChannel channel = (SocketChannel) key  
                            .channel();  
                    // 如果正在連接配接,則完成連接配接  
                    if(channel.isConnectionPending()){  
                        channel.finishConnect();  
                          
                    }  
                    // 設定成非阻塞  
                    channel.configureBlocking(false);  
 
                    //在這裡可以給服務端發送資訊哦  
                    channel.write(ByteBuffer.wrap(new String("向服務端發送了一條資訊").getBytes()));  
                    //在和服務端連接配接成功之後,為了可以接收到服務端的資訊,需要給通道設定讀的權限。  
                    channel.register(this.selector, SelectionKey.OP_READ);  
                      
                    // 獲得了可讀的事件  
                } else if (key.isReadable()) {  
                        read(key);  
                }  
 
            }  
 
        }  
    }  
    /**  
     * 處理讀取服務端發來的資訊 的事件  
     * @param key  
     * @throws IOException   
     */ 
    public void read(SelectionKey key) throws IOException{  
        //和服務端的read方法一樣  
    }  
      
      
    /**  
     * 啟動用戶端測試  
     * @throws IOException   
     */ 
    public static void main(String[] args) throws IOException {  
        NIOClient client = new NIOClient();  
        client.initClient("localhost",8000);  
        client.listen();  
    }  

}  
           

Buffer 的工作方式:

 *       通過閱讀ByteBuffer源碼可以知道其通過底層位元組數組實作,裡面包括 limit(限制)、position(位置)、mark(标記)、capacity(容量)四個字段

 *      

 *       可以通過 ByteBuffer.allocate(size)或者ByteBuffer.allocateDirect(size)的方式來建立緩沖區,

 *       前者的(HeapByteBuffer) 建立位置在java 對記憶體中,需要使用者位址空間和作業系統位址空間之間複制資料,有java GC回收,建立和回收的開銷較小

 *       而後者(DirectByteBuffer)就是與底層的存儲空間關聯的緩沖區,不需要複制,但要通過System.gc()釋放掉java對象引用的DirectByteBuffer記憶體

 *       可能會導緻記憶體洩露,建立和回收的開銷較大。

 *       

NIO 通路資料的方式

 *       

 *       NIO提供了兩個更好的通路檔案的方式:

 *       FileChannel.transferTo()、FileChannel.transferFrom()

 *       這兩種方式資料直接在記憶體位址空間移動,減少了記憶體位址空間到使用者位址空間的複制

 *       

 *       FileChannel.map()

 *       将檔案映射為一塊兒記憶體區域,應用程式通路這塊記憶體區域可以直接操作檔案,省去了從記憶體位址空間到使用者位址空間的複制的損耗。适合于對大檔案的隻讀性操作。

 *       具體實作和MappedByteBuffer 有關,可以參考其源碼。

 *      

/** 
     * 檔案複制 
     * @param srcfilePath   源檔案路徑
     * @param targetPath  目标檔案路徑
     * @throws IOException  
     */  
    private static void copy(String srcfilePath, String targetPath) throws IOException {   
        File file = new File(targetPath);    
        if (!file.getParentFile().exists()) {    
            file.mkdirs();    
        }    
        
        FileChannel inFileChannel = new RandomAccessFile(srcfilePath, "r").getChannel();  //擷取源檔案的檔案通道
        
        MappedByteBuffer inMappedByteBuffer = inFileChannel.map(MapMode.READ_ONLY, 0, inFileChannel.size());   //将其映射到記憶體空間
        
        inFileChannel.close();  
          
        FileChannel outFileChannel = new RandomAccessFile(targetPath, "rw").getChannel();    //擷取目标檔案的檔案通道
        
        MappedByteBuffer outMappedByteBuffer = outFileChannel.map(MapMode.READ_WRITE, 0, inMappedByteBuffer.capacity());  //将其映射的記憶體空間
       
        outMappedByteBuffer.put(inMappedByteBuffer);  
       
        outFileChannel.close();  
    }  
	
    
/**
 * 向磁盤總追加内容
 * @param file  要追加的檔案
 * @param str   需要追加的字元串内容
 * @throws IOException
 */
    
    public static void add(File file,String str) throws IOException
    {
    	FileChannel channel = new RandomAccessFile(file,"rw").getChannel();//擷取檔案通道
    	
    	byte[] bytes  = str.getBytes(); //要追加的位元組内容
    	
    	int length = bytes.length;//位元組的長度
    	//将檔案映射到記憶體中去
    	MappedByteBuffer   map = channel.map(MapMode.READ_WRITE, 0, channel.size()+length); 
    	int position = map.limit()-length;//擷取map指針對應的位置
    	map.position(position);
    	
    	map.put(bytes);
    	
    	map.force();//強制其将磁盤内容同步,不是必須的;
    	
    	channel.close();
    	
    }
           

 **/