作者:開源人
博文背景:最近在使用開源軟體fio進行性能優化,對于fio的了解限于使用,想進一步做好性能優化。必須對fio的原理做一個初步了解,再研讀fio源碼的過程中,誕生了此篇博文。
fio代碼中有如下一段:
if (endian_check()) {
log_err("fio: endianness settings appear wrong.\n");
log_err("fio: please report this to [email protected]\n");
return 1;
}
#如果需要跨硬體平台,需要檢測 endian
在各種計算機體系結構中,對于位元組、字等的存儲機制有所不同,因而引發了計算機
通信領
域中一個很重要的問題,即通信雙方交流的資訊單元(比特、位元組、字、雙字等等)應該以什麼樣的順序進行傳送。如果不達成一緻的規則,通信雙方将無法進行正
确的編/譯碼進而導緻通信失敗。目前在各種體系的計算機中通常采用的位元組存儲機制主要有兩種:Big-Endian和Little-Endian,下面先
從位元組序說起。
一、什麼是位元組序
位元組序,顧名思義位元組的順序,再多說兩句就是大于一個位元組類型的資料在記憶體中的存放順序(一個位元組的資料當然就無需談順序的問題了)。其實大部分人在實際的開 發中都很少會直接和位元組序打交道。唯有在跨平台以及網絡程式中位元組序才是一個應該被考慮的問題。
在所有的介紹位元組序的文章中都會提到字 節序分為兩類:Big-Endian和Little-Endian,引用标準的Big-Endian和Little-Endian的定義如下:
a) Little-Endian就是低位位元組排放在記憶體的低位址端,高位位元組排放在記憶體的高位址端。
b) Big-Endian就是高位位元組排放在記憶體的低位址端,低位位元組排放在記憶體的高位址端。
c) 網絡位元組序:TCP/IP各層協定将位元組序定義為Big-Endian,是以TCP/IP協定中使用的位元組序通常稱之為網絡位元組序。
1.1 什麼是高/低位址端
首先我們要知道我們C程式映像中記憶體的空間布局情況:在《C專 家程式設計》中或者《Unix環境進階程式設計》中有關于記憶體空間布局情況的說明,大緻如下圖:
----------------------- 最高記憶體位址 0xffffffff
棧底
棧
棧頂
-----------------------
NULL (空洞)
堆
未初始 化的資料
----------------------- 統稱資料段
初始化的資料
正 文段(代碼段)
----------------------- 最低記憶體位址 0x00000000
以上圖為例如果我們在棧 上配置設定一個unsigned char buf[4],那麼這個數組變量在棧上是如何布局的呢?看下圖:
棧底 (高位址)
----------
buf[3]
buf[2]
buf[1]
buf[0]
棧頂 (低位址)
1.2 什麼是高/低位元組
現在我們弄清了高/低位址,接着考慮高/低位元組。有些文章中稱低位位元組為最低有效位,高位位元組為最高有效位。如果我們有一個32位無符号整型0x12345678,那麼高位是什麼,低位又是什麼呢? 其實很簡單。在十進制中我們都說靠左邊的是高位,靠右邊的是低位,在其他進制也是如此。就拿 0x12345678來說,從高位到低位的位元組依次是0x12、0x34、0x56和0x78。
高/低位址端和高/低位元組都弄清了。我們再來回顧 一下Big-Endian和Little-Endian的定義,并用圖示說明兩種位元組序:
以unsigned int value = 0x12345678為例,分别看看在兩種位元組序下其存儲情況,我們可以用unsigned char buf[4]來表示value:
Big-Endian: 低位址存放高位,如下圖:
---------------
buf[3] (0x78) -- 低位
buf[2] (0x56)
buf[1] (0x34)
buf[0] (0x12) -- 高位
Little-Endian: 低位址存放低位,如下圖:
buf[3] (0x12) -- 高位
buf[2] (0x34)
buf[1] (0x56)
buf[0] (0x78) -- 低位
--------------
棧 頂 (低位址)
二、各種Endian
2.1 Big-Endian
計算機體系結構中一種描述多位元組存儲順序的術語,在這種機制中最重要位元組(MSB)存放在最低端的位址 上。采用這種機制的處理器有IBM3700系列、PDP-10、Mortolora微處理器系列和絕大多數的RISC處理器。
+----------+
| 0x34 |
| 0x12 |
圖 1:雙位元組數0x1234以Big-Endian的方式存在起始位址0x00000020中
在Big-Endian中,對于bit序列 中的序号編排方式如下(以雙位元組數0x8B8A為例):
bit 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
+-----------------------------------------+
val | 1 0 0 0 1 0 1 1 | 1 0 0 0 1 0 1 0 |
+----------------------------------------+
圖 2:Big-Endian的bit序列編碼方式
2.2 Little-Endian
計算機體系結構中 一種描述多位元組存儲順序的術語,在這種機制中最不重要位元組(LSB)存放在最低端的位址上。采用這種機制的處理器有PDP-11、VAX、Intel系列 微處理器和一些網絡通信裝置。該術語除了描述多位元組存儲順序外還常常用來描述一個位元組中各個比特的排放次序。
| 0x34 |0x00000020
圖3:雙位元組數0x1234以Little-Endian的方式存在起始位址0x00000020中
在 Little-Endian中,對于bit序列中的序号編排和Big-Endian剛好相反,其方式如下(以雙位元組數0x8B8A為例):
bit 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0
圖 4:Little-Endian的bit序列編碼方式
注2:通常我們說的主機序(Host Order)就是遵循Little-Endian規則。是以當兩台主機之間要通過TCP/IP協定進行通信的時候就需要調用相應的函數進行主機序 (Little-Endian)和網絡序(Big-Endian)的轉換。
注3:正因為這兩種機制對于同一bit序列的序号編排方式恰 恰相反,是以《現代英漢詞典》中對MSB的翻譯為“最高有效位”欠妥,故本文定義為“最重要的bit/byte”。
2.3 Middle-Endian
除了Big-Endian和Little-Endian之外的多位元組存儲順序就是Middle- Endian,比如以4個位元組為例:象以3-4-1-2或者2-1-4-3這樣的順序存儲的就是Middle-Endian。這種存儲順序偶爾會在一些小 型機體系中的十進制數的壓縮格式中出現。
嵌入式系統開發者應該對Little-endian和Big-endian模式非常了解。采用 Little-endian模式的CPU對操作數的存放方式是從低位元組到高位元組,而Big-endian模式對操作數的存放方式是從高位元組到低位元組。 32bit寬的數0x12345678在Little-endian模式CPU記憶體中的存放方式(假設從位址0x4000開始存放)為:
記憶體 位址
0x4000
0x4001
0x4002
0x4003
存放内容
0x78
0x56
0x34
0x12
而在Big- endian模式CPU記憶體中的存放方式則為:
記憶體位址
三、Big-Endian和Little-Endian優缺點
Big-Endian優點:靠首先提取高位位元組,你總是可以由看看在偏移位置為0的位元組來确定這個數字是 正數還是負數。你不必知道這個數值有多長,或者你也不必過一些位元組來看這個數值是否含有符号位。這個數值是以它們被列印出來的順序存放的,是以從二進制到十進制的函數特别有效。因而,對于不同要求的機器,在設計存取方式時就會不同。
Little-Endian優點:提取一個,兩個,四個或者更長位元組資料的彙編指令以與其他所有格式相同的方式進行:首先在偏移位址為0的地方提取最低位的位元組,因為位址偏移和位元組數是一對 一的關系,多重精度的數學函數就相對地容易寫了。
如果你增加數字的值,你可能在左邊增加數字(高位非指數函數需要更多的數字)。
是以, 經常需要增加兩位數字并移動存儲器裡所有Big-endian順序的數字,把所有數向右移,這會增加計算機的工作量。不過,使用Little-
Endian的存儲器中不重要的位元組可以存在它原來的位置,新的數可以存在它的右邊的高位位址裡。這就意味着計算機中的某些計算可以變得更加簡單和快速。
四、如何檢查處理器是Big-Endian還是Little-Endian?
由于聯合體union的存放順序是所有成員都從低位址開始存放,利用該特性就可以輕松地獲得了CPU對記憶體采用Little- endian還是Big-endian模式讀寫。例如:
int checkCPUendian(){
union {
unsigned int a;
unsigned char b;
}c;
c.a = 1;
return (c.b == 1);
} /*return 1 : little-endian, return 0:big-endian*/
五、Big-Endian和Little-Endian轉 換
現有的平台上Intel的X86采用的是Little-Endian,而像 Sun的SPARC采用的就是Big-Endian。那麼在跨平台或網絡程式中如何實作位元組序的轉換呢?這個通過C語言的移位操作很容易實作,例如下面的 宏:
#if defined(BIG_ENDIAN) && !defined(LITTLE_ENDIAN)
#define htons(A) (A)
#define htonl(A) (A)
#define ntohs(A) (A)
#define ntohl(A) (A)
#elif defined(LITTLE_ENDIAN) && !defined(BIG_ENDIAN)
#define htons(A) ((((uint16)(A) & 0xff00) >> 8) | \
(((uint16)(A) & 0x00ff)
#define htonl(A) ((((uint32)(A) & 0xff000000) >> 24) | \
(((uint32)(A) & 0x00ff0000) >> 8) | \
(((uint32)(A) & 0x0000ff00)
(((uint32)(A) & 0x000000ff)
#define ntohs htons
#define ntohl htohl
#else
#error "Either BIG_ENDIAN or LITTLE_ENDIAN must be #defined, but not both."
網絡位元組順序
1、位元組内的比特位不受這種順序的影響
比如一個位元組 1000 0000 (或表示為十六進制 80H)不管是什麼順序其記憶體中的表示法都是這樣。
2、大于1個位元組的資料類型才有位元組順序問題
比如 Byte A,這個變量隻有一個位元組的長度,是以根據上一條沒有位元組順序問題。是以位元組順序是“位元組之間的相對順序”的意思。
3、大于1個位元組的資料類型的位元組順序有兩種
比如 short B,這是一個兩位元組的資料類型,這時就有位元組之間的相對順序問題了。
網絡位元組順序是“所見即所得”的順序。而Intel類型的CPU的位元組順序與此相反。
比如上面的 short B=0102H(十六進制,每兩位表示一個位元組的寬度)。所見到的是“0102”,按一般數學常識,數軸從左到右的方向增加,即記憶體位址從左到右增加的話,在記憶體中這個 short B的位元組順序是:
01 02
這就是網絡位元組順序。所見到的順序和在記憶體中的順序是一緻的!
假設通過抓包得到網絡資料的兩個位元組流為:01 02
而相反的位元組順序就不同了,其在記憶體中的順序為:02 01
如果這表示兩個 Byte類型的變量,那麼自然不需要考慮位元組順序的問題。如果這表示一個 short 變量,那麼就需要考慮位元組順序問題。根據網絡位元組順序“所見即所得”的規則,這個變量的值就是:0102
假設本地主機是Intel類型的,那麼要表示這個變量,有點麻煩:
定義變量 short X,位元組流位址為:pt,按順序讀取記憶體是為x=*((short*)pt);
那麼X的記憶體順序當然是 01 02按非“所見即所得”的規則,這個記憶體順序和看到的一樣顯然是不對的,是以要把這兩個位元組的位置調換。調換的方法可以自己定義,但用已經有的API還是更為友善。
網絡位元組順序與主機位元組順序
NBO
與HBO 網絡位元組順序NBO(Network Byte
Order):按從高到低的順序存儲,在網絡上使用統一的網絡位元組順序,可以避免相容性問題。主機位元組順序(HBO,Host Byte
Order):不同的機器HBO不相同,與CPU設計有關計算機資料存儲有兩種位元組優先順序:高位位元組優先和低位位元組優先。Internet上資料以高位位元組優先順序在網絡上傳輸,是以對于在内部是以低位位元組優先方式存儲資料的機器,在Internet上傳輸資料時就需要進行轉換。
htonl()
簡述:
将主機的無符号長整形數轉換成網絡位元組順序。
#include
u_long PASCAL FAR htonl( u_long hostlong);
hostlong:主機位元組順序表達的32位數。
注釋:
本函數将一個32位數從主機位元組順序轉換成網絡位元組順序。
傳回值:
htonl()傳回一個網絡位元組順序的值。
inet_ntoa()
将網絡位址轉換成“.”點隔的字元串格式。
#include
char FAR* PASCAL FAR inet_ntoa( struct in_addr in);
in:一個表示Internet主機位址的結構。
本
函數将一個用in參數所表示的Internet位址結構轉換成以“.”
間隔的諸如“a.b.c.d”的字元串形式。請注意inet_ntoa()傳回的字元串存放在WINDOWS套接口實作所配置設定的記憶體中。應用程式不應假設
該記憶體是如何配置設定的。在同一個線程的下一個WINDOWS套接口調用前,資料将保證是有效。
若無錯誤發生,inet_ntoa()傳回一個字元指針。否則的話,傳回NULL。其中的資料應在下一個WINDOWS套接口調用前複制出來。
網
絡中傳輸的資料有的和本地位元組存儲順序一緻,而有的則截然不同,為了資料的一緻性,就要把本地的資料轉換成網絡上使用的格式,然後發送出去,接收的時候也
是一樣的,經過轉換然後才去使用這些資料,基本的庫函數中提供了這樣的可以進行位元組轉換的函數,如和htons( ) htonl( ) ntohs( )
ntohl( ),這裡n表示network,h表示host,htons( ) htonl(
)用于本地位元組向網絡位元組轉換的場合,s表示short,即對2位元組操作,l表示long即對4位元組操作。同樣ntohs( )ntohl(
)用于網絡位元組向本地格式轉換的場合。
#endif