天天看點

Java NIO系列教程(五)Buffer

Java NIO中的Buffer用于和NIO通道進行互動。如你所知,資料是從通道讀入緩沖區,從緩沖區寫入到通道中的。互動圖如下:

Java NIO系列教程(五)Buffer

緩沖區本質上是一塊可以寫入資料,然後可以從中讀取資料的記憶體。這塊記憶體被包裝成NIO Buffer對象,并提供了一組方法,用來友善的通路該塊記憶體。緩沖區實際上是一個容器對象,更直接的說,其實就是一個數組,在NIO庫中,所有資料都是用緩沖區處理的。在讀取資料時,它是直接讀到緩沖區中的; 在寫入資料時,它也是寫入到緩沖區中的;任何時候通路 NIO 中的資料,都是将它放到緩沖區中。而在面向流I/O系統中,所有資料都是直接寫入或者直接将資料讀取到Stream對象中。

在NIO中,所有的緩沖區類型都繼承于抽象類Buffer,最常用的就是ByteBuffer,對于Java中的基本類型,基本都有一個具體Buffer類型與之相對應,它們之間的繼承關系如下圖所示:

Java NIO系列教程(五)Buffer
下面是NIO Buffer相關的話題清單:

  1. ​​Buffer的基本用法​​
  2. ​​Buffer的capacity,position和limit​​
  3. ​​Buffer的類型​​
  4. ​​Buffer的配置設定​​
  5. ​​向Buffer中寫資料​​
  6. ​​flip()方法​​
  7. ​​從Buffer中讀取資料​​
  8. ​​clear()與compact()方法​​
  9. ​​mark()與reset()方法​​
  10. ​​equals()與compareTo()方法​​

Buffer的基本用法

使用Buffer讀寫資料一般遵循以下四個步驟:

  1. 寫入資料到Buffer
  2. 調用​

    ​flip()​

    ​方法
  3. 從Buffer中讀取資料
  4. ​clear()​

    ​方法或者​

    ​compact()​

當向buffer寫入資料時,buffer會記錄下寫了多少資料。一旦要讀取資料,需要通過flip()方法将Buffer從寫模式切換到讀模式。在讀模式下,可以讀取之前寫入到buffer的所有資料。

一旦讀完了所有的資料,就需要清空緩沖區,讓它可以再次被寫入。有兩種方式能清空緩沖區:調用clear()或compact()方法。clear()方法會清空整個緩沖區。compact()方法隻會清除已經讀過的資料。任何未讀的資料都被移到緩沖區的起始處,新寫入的資料将放到緩沖區未讀資料的後面。

下面是一個使用Buffer的例子:

RandomAccessFile aFile = new RandomAccessFile("data/nio-data.txt", "rw");         FileChannel inChannel = aFile.getChannel();         //create buffer with capacity of 48 bytes         ByteBuffer buf = ByteBuffer.allocate(48);         int bytesRead = inChannel.read(buf); //read into buffer.         while (bytesRead != -1) {           buf.flip();  //make buffer ready for read           while(buf.hasRemaining()){               System.out.print((char) buf.get()); // read 1 byte at a time           }           buf.clear(); //make buffer ready for writing           bytesRead = inChannel.read(buf);         }         aFile.close();      

示例2:

下面是一個簡單的使用IntBuffer的例子:

package com.dxz.nio;     import java.nio.IntBuffer;     public class TestIntBuffer {           public static void main(String[] args) {               // 配置設定新的int緩沖區,參數為緩沖區容量               // 新緩沖區的目前位置将為零,其界限(限制位置)将為其容量。它将具有一個底層實作數組,其數組偏移量将為零。               IntBuffer buffer = IntBuffer.allocate(8);               for (int i = 0; i < buffer.capacity(); ++i) {                   int j = 2 * (i + 1);                  // 将給定整數寫入此緩沖區的目前位置,目前位置遞增                   buffer.put(j);               }               // 重設此緩沖區,将限制設定為目前位置,然後将目前位置設定為0               buffer.flip();               // 檢視在目前位置和限制位置之間是否有元素               while (buffer.hasRemaining()) {                   // 讀取此緩沖區目前位置的整數,然後目前位置遞增                   int j = buffer.get();                   System.out.print(j + "  ");               }           }       }      

結果:

2  4  6  8  10  12  14  16      

Buffer的capacity,position和limit

緩沖區本質上是一塊可以寫入資料,然後可以從中讀取資料的記憶體。這塊記憶體被包裝成NIO Buffer對象,并提供了一組方法,用來友善的通路該塊記憶體。

為了了解Buffer的工作原理,需要熟悉它的三個屬性:

  • capacity
  • position
  • limit

position和limit的含義取決于Buffer處在讀模式還是寫模式。不管Buffer處在什麼模式,capacity的含義總是一樣的。

這裡有一個關于capacity,position和limit在讀寫模式中的說明,詳細的解釋在插圖後面。

Java NIO系列教程(五)Buffer

作為一個記憶體塊,Buffer有一個固定的大小值,也叫“capacity”.你隻能往裡寫capacity個byte、long,char等類型。一旦Buffer滿了,需要将其清空(通過讀資料或者清除資料)才能繼續寫資料往裡寫資料。

當你寫資料到Buffer中時,position表示目前的位置。初始的position值為0.當一個byte、long等資料寫到Buffer後, position會向前移動到下一個可插入資料的Buffer單元。position最大可為capacity – 1.

當讀取資料時,也是從某個特定位置讀。當将Buffer從寫模式切換到讀模式,position會被重置為0. 當從Buffer的position處讀取資料時,position向前移動到下一個可讀的位置。

在寫模式下,Buffer的limit表示你最多能往Buffer裡寫多少資料。 寫模式下,limit等于Buffer的capacity。

當切換Buffer到讀模式時, limit表示你最多能讀到多少資料。是以,當切換Buffer到讀模式時,limit會被設定成寫模式下的position值。換句話說,你能讀到之前寫入的所有資料(limit被設定成已寫資料的數量,這個值在寫模式下就是position)

Buffer的類型

Java NIO 有以下Buffer類型

  • ByteBuffer
  • MappedByteBuffer
  • CharBuffer
  • DoubleBuffer
  • FloatBuffer
  • IntBuffer
  • LongBuffer
  • ShortBuffer

p<>

如你所見,這些Buffer類型代表了不同的資料類型。換句話說,就是可以通過char,short,int,long,float 或 double類型來操作緩沖區中的位元組。

MappedByteBuffer 有些特别,在涉及它的專門章節中再講。

Buffer的配置設定

要想獲得一個Buffer對象首先要進行配置設定。 每一個Buffer類都有一個allocate方法。下面是一個配置設定48位元組capacity的ByteBuffer的例子。

​1​

​ByteBuffer buf = ByteBuffer.allocate(​

​​

​48​

​);​

這是配置設定一個可存儲1024個字元的CharBuffer:

​1​

​CharBuffer buf = CharBuffer.allocate(​

​1024​

​);​

向Buffer中寫資料

寫資料到Buffer有兩種方式:

  • 從Channel寫到Buffer。
  • 通過Buffer的put()方法寫到Buffer裡。

從Channel寫到Buffer的例子

​1​

​int​

​ ​

​bytesRead = inChannel.read(buf); ​

​//read into buffer.​

通過put方法寫Buffer的例子:

​1​

​buf.put(​

​127​

​);​

put方法有很多版本,允許你以不同的方式把資料寫入到Buffer中。例如, 寫到一個指定的位置,或者把一個位元組數組寫入到Buffer。 更多Buffer實作的細節參考JavaDoc。

flip()方法

flip英 [flɪp] 美 [flɪp] 及物動詞 輕彈,輕擊; 按(開關); 快速翻轉; 急揮

flip方法将Buffer從寫模式切換到讀模式。調用flip()方法會将position設回0,并将limit設定成之前position的值。

換句話說,position現在用于标記讀的位置,limit表示之前寫進了多少個byte、char等 —— 現在能讀取多少個byte、char等。

從Buffer中讀取資料有兩種方式:

  1. 從Buffer讀取資料到Channel。
  2. 使用get()方法從Buffer中讀取資料。

從Buffer讀取資料到Channel的例子:

//read from buffer into channel.     int bytesWritten = inChannel.write(buf);      

使用get()方法從Buffer中讀取資料的例子

byte aByte = buf.get();      

get方法有很多版本,允許你以不同的方式從Buffer中讀取資料。例如,從指定position讀取,或者從Buffer中讀取資料到位元組數組。更多Buffer實作的細節參考JavaDoc。

rewind()方法

Buffer.rewind()将position設回0,是以你可以重讀Buffer中的所有資料。limit保持不變,仍然表示能從Buffer中讀取多少個元素(byte、char等)。

clear()與compact()方法

一旦讀完Buffer中的資料,需要讓Buffer準備好再次被寫入。可以通過clear()或compact()方法來完成。

如果調用的是clear()方法,position将被設回0,limit被設定成 capacity的值。換句話說,Buffer 被清空了。Buffer中的資料并未清除,隻是這些标記告訴我們可以從哪裡開始往Buffer裡寫資料。

如果Buffer中有一些未讀的資料,調用clear()方法,資料将“被遺忘”,意味着不再有任何标記會告訴你哪些資料被讀過,哪些還沒有。

如果Buffer中仍有未讀的資料,且後續還需要這些資料,但是此時想要先先寫些資料,那麼使用compact()方法。

compact()方法将所有未讀的資料拷貝到Buffer起始處。然後将position設到最後一個未讀元素正後面。limit屬性依然像clear()方法一樣,設定成capacity。現在Buffer準備好寫資料了,但是不會覆寫未讀的資料。

mark()與reset()方法

通過調用Buffer.mark()方法,可以标記Buffer中的一個特定position。之後可以通過調用Buffer.reset()方法恢複到這個position。例如:

​1​

​buffer.mark();​

​2​

​3​

​//call buffer.get() a couple of times, e.g. during parsing.​

​4​

​5​

​buffer.reset();  ​

​//set position back to mark.​

equals()與compareTo()方法

可以使用equals()和compareTo()方法兩個Buffer。

equals()

當滿足下列條件時,表示兩個Buffer相等:

  1. 有相同的類型(byte、char、int等)。
  2. Buffer中剩餘的byte、char等的個數相等。
  3. Buffer中所有剩餘的byte、char等都相同。

如你所見,equals隻是比較Buffer的一部分,不是每一個在它裡面的元素都比較。實際上,它隻比較Buffer中的剩餘元素。

compareTo()方法

compareTo()方法比較兩個Buffer的剩餘元素(byte、char等), 如果滿足下列條件,則認為一個Buffer“小于”另一個Buffer:

  1. 第一個不相等的元素小于另一個Buffer中對應的元素 。
  2. 所有元素都相等,但第一個Buffer比另一個先耗盡(第一個Buffer的元素個數比另一個少)。

緩沖區分片

  在NIO中,除了可以配置設定或者包裝一個緩沖區對象外,還可以根據現有的緩沖區對象來建立一個子緩沖區,即在現有緩沖區上切出一片來作為一個新的緩沖區,但現有的緩沖區與建立的子緩沖區在底層數組層面上是資料共享的,也就是說,子緩沖區相當于是現有緩沖區的一個視圖視窗。調用slice()方法可以建立一個子緩沖區,讓我們通過例子來看一下:

Java NIO系列教程(五)Buffer
package com.dxz.nio;     import java.nio.ByteBuffer;     public class BufferDemo1 {         static public void main(String args[]) throws Exception {             ByteBuffer buffer = ByteBuffer.allocate(10);             // 緩沖區中的資料0-9             for (int i = 0; i < buffer.capacity(); ++i) {                 buffer.put((byte) i);             }             // 建立子緩沖區             buffer.position(3);             buffer.limit(7);             ByteBuffer slice = buffer.slice();             // 改變子緩沖區的内容             for (int i = 0; i < slice.capacity(); ++i) {                 byte b = slice.get(i);                 b *= 10;                 slice.put(i, b);             }             buffer.position(0);             buffer.limit(buffer.capacity());             while (buffer.remaining() > 0) {                 System.out.println(buffer.get());             }         }     }      
Java NIO系列教程(五)Buffer
Java NIO系列教程(五)Buffer
1     2     30     40     50     60     7     8     9      
Java NIO系列教程(五)Buffer

隻讀緩沖區

隻讀緩沖區非常簡單,可以讀取它們,但是不能向它們寫入資料。可以通過調用緩沖區的asReadOnlyBuffer()方法,将任何正常緩沖區轉 換為隻讀緩沖區,這個方法傳回一個與原緩沖區完全相同的緩沖區,并與原緩沖區共享資料,隻不過它是隻讀的。如果原緩沖區的内容發生了變化,隻讀緩沖區的内容也随之發生變化:

Java NIO系列教程(五)Buffer
package com.dxz.nio;     import java.nio.ByteBuffer;     public class BufferDemo2 {         static public void main(String args[]) throws Exception {             ByteBuffer buffer = ByteBuffer.allocate(10);             // 緩沖區中的資料0-9             for (int i = 0; i < buffer.capacity(); ++i) {                 buffer.put((byte) i);             }             // 建立隻讀緩沖區             ByteBuffer readonly = buffer.asReadOnlyBuffer();             // 改變原緩沖區的内容             for (int i = 0; i < buffer.capacity(); ++i) {                 byte b = buffer.get(i);                 b *= 10;                 buffer.put(i, b);             }             readonly.position(0);             readonly.limit(buffer.capacity());             // 隻讀緩沖區的内容也随之改變             while (readonly.remaining() > 0) {                 System.out.println(readonly.get());             }         }     }      
Java NIO系列教程(五)Buffer
Java NIO系列教程(五)Buffer
10     20     30     40     50     60     70     80     90      
Java NIO系列教程(五)Buffer

  如果嘗試修改隻讀緩沖區的内容,則會報ReadOnlyBufferException異常。隻讀緩沖區對于保護資料很有用。在将緩沖區傳遞給某個 對象的方法時,無法知道這個方法是否會修改緩沖區中的資料。建立一個隻讀的緩沖區可以保證該緩沖區不會被修改。隻可以把正常緩沖區轉換為隻讀緩沖區,而不能将隻讀的緩沖區轉換為可寫的緩沖區。

直接緩沖區(DirectByteBuffer堆外緩存)

  直接緩沖區是為加快I/O速度,使用一種特殊方式為其配置設定記憶體的緩沖區,JDK文檔中的描述為:給定一個直接位元組緩沖區,Java虛拟機将盡最大努 力直接對它執行本機I/O操作。也就是說,它會在每一次調用底層作業系統的本機I/O操作之前(或之後),嘗試避免将緩沖區的内容拷貝到一個中間緩沖區中 或者從一個中間緩沖區中拷貝資料。要配置設定直接緩沖區,需要調用allocateDirect()方法,而不是allocate()方法,使用方式與普通緩沖區并無差別,如下面的拷貝檔案示例:

Java NIO系列教程(五)Buffer
package com.dxz.nio;     import java.io.FileInputStream;     import java.io.FileOutputStream;     import java.nio.ByteBuffer;     import java.nio.channels.*;     public class BufferDemo3 {         static public void main(String args[]) throws Exception {             String infile = "e:\\logs\\test.txt";             FileInputStream fin = new FileInputStream(infile);             FileChannel fcin = fin.getChannel();             String outfile = String.format("e:\\logs\\testcopy.txt");             FileOutputStream fout = new FileOutputStream(outfile);             FileChannel fcout = fout.getChannel();             // 使用allocateDirect,而不是allocate             ByteBuffer buffer = ByteBuffer.allocateDirect(1024);             while (true) {                 buffer.clear();                 int r = fcin.read(buffer);                 if (r == -1) {                     break;                 }                 buffer.flip();                 fcout.write(buffer);             }         }     }      
Java NIO系列教程(五)Buffer

記憶體映射檔案I/O

  記憶體映射檔案I/O是一種讀和寫檔案資料的方法,它可以比正常的基于流或者基于通道的I/O快的多。記憶體映射檔案I/O是通過使檔案中的資料出現為 記憶體數組的内容來完成的,這其初聽起來似乎不過就是将整個檔案讀到記憶體中,但是事實上并不是這樣。一般來說,隻有檔案中實際讀取或者寫入的部分才會映射到記憶體中。如下面的示例代碼:

Java NIO系列教程(五)Buffer
package com.dxz.nio;     import java.io.RandomAccessFile;     import java.nio.MappedByteBuffer;     import java.nio.channels.*;     public class BufferDemo4 {         static private final int start = 0;         static private final int size = 1024;         static public void main(String args[]) throws Exception {             RandomAccessFile raf = new RandomAccessFile("e:\\logs\\test.txt", "rw");             FileChannel fc = raf.getChannel();             MappedByteBuffer mbb = fc.map(FileChannel.MapMode.READ_WRITE, start, size);             mbb.put(0, (byte) 97);             mbb.put(1023, (byte) 122);             raf.close();         }     }      
Java NIO系列教程(五)Buffer