字元編碼：ASCII，Unicode 和 UTF-8

關系總結：ASCII，Unicode 是字元與數字一一對應的字元集，UTF-8是字元對應的數字在計算機中的存儲方式。

ASCII編碼

我們知道，計算機内部，所有資訊最終都是一個二進制值。每一個二進制位（bit）有0和1兩種狀态，是以八個二進制位就可以組合出256種狀态，這被稱為一個位元組（byte）。也就是說，一個位元組一共可以用來表示256種不同的狀态，每一個狀态對應一個符号，就是256個符号，從00000000到11111111。

上個世紀60年代，美國制定了一套字元編碼，對英語字元與二進制位之間的關系，做了統一規定。這被稱為 ASCII 碼，一直沿用至今。

ASCII 碼一共規定了128個字元的編碼，比如空格SPACE是32（二進制00100000），大寫的字母A是65（二進制01000001）。這128個符号（包括32個不能列印出來的控制符号），隻占用了一個位元組的後面7位，最前面的一位統一規定為0。

非ASCII編碼

英語用128個符号編碼就夠了，但是用來表示其他語言，128個符号是不夠的。比如，在法語中，字母上方有注音符号，它就無法用 ASCII 碼表示。于是，一些歐洲國家就決定，利用位元組中閑置的最高位編入新的符号。比如，法語中的é的編碼為130（二進制10000010）。這樣一來，這些歐洲國家使用的編碼體系，可以表示最多256個符号。

但是，這裡又出現了新的問題。不同的國家有不同的字母，是以，哪怕它們都使用256個符号的編碼方式，代表的字母卻不一樣。比如，130在法語編碼中代表了é，在希伯來語編碼中卻代表了字母Gimel (ג)，在俄語編碼中又會代表另一個符号。但是不管怎樣，所有這些編碼方式中，0–127表示的符号是一樣的，不一樣的隻是128–255的這一段。

至于亞洲國家的文字，使用的符号就更多了，漢字就多達10萬左右。一個位元組隻能表示256種符号，肯定是不夠的，就必須使用多個位元組表達一個符号。比如，簡體中文常見的編碼方式是 GB2312，使用兩個位元組表示一個漢字，是以理論上最多可以表示 256 x 256 = 65536 個符号。

中文編碼的問題需要專文讨論，這篇筆記不涉及。這裡隻指出，雖然都是用多個位元組表示一個符号，但是GB類的漢字編碼與後文的 Unicode 和 UTF-8 是毫無關系的。

Unicode

正如上一節所說，世界上存在着多種編碼方式，同一個二進制數字可以被解釋成不同的符号。是以，要想打開一個文本檔案，就必須知道它的編碼方式，否則用錯誤的編碼方式解讀，就會出現亂碼。為什麼電子郵件常常出現亂碼？就是因為發信人和收信人使用的編碼方式不一樣。

可以想象，如果有一種編碼，将世界上所有的符号都納入其中。每一個符号都給予一個獨一無二的編碼，那麼亂碼問題就會消失。這就是 Unicode，就像它的名字都表示的，這是一種所有符号的編碼。

Unicode 當然是一個很大的集合，現在的規模可以容納100多萬個符号。每個符号的編碼都不一樣，比如，U+0639表示阿拉伯字母Ain，U+0041表示英語的大寫字母A，U+4E25表示漢字嚴。具體的符号對應表，可以查詢unicode.org，或者專門的漢字對應表。

Unicode的問題

需要注意的是，Unicode 隻是一個符号集，它隻規定了符号的二進制代碼，卻沒有規定這個二進制代碼應該如何存儲。

比如，漢字嚴的 Unicode 是十六進制數4E25，轉換成二進制數足足有15位（100111000100101），也就是說，這個符号的表示至少需要2個位元組。表示其他更大的符号，可能需要3個位元組或者4個位元組，甚至更多。

這裡就有兩個嚴重的問題，第一個問題是，如何才能差別 Unicode 和 ASCII ？計算機怎麼知道三個位元組表示一個符号，而不是分别表示三個符号呢？第二個問題是，我們已經知道，英文字母隻用一個位元組表示就夠了，如果 Unicode 統一規定，每個符号用三個或四個位元組表示，那麼每個英文字母前都必然有二到三個位元組是0，這對于存儲來說是極大的浪費，文本檔案的大小會是以大出二三倍，這是無法接受的。

它們造成的結果是：1）出現了 Unicode 的多種存儲方式，也就是說有許多種不同的二進制格式，可以用來表示 Unicode。2）Unicode 在很長一段時間内無法推廣，直到網際網路的出現。

UTF-8

網際網路的普及，強烈要求出現一種統一的編碼方式。UTF-8 就是在網際網路上使用最廣的一種 Unicode 的實作方式。其他實作方式還包括 UTF-16（字元用兩個位元組或四個位元組表示）和 UTF-32（字元用四個位元組表示），不過在網際網路上基本不用。重複一遍，這裡的關系是，UTF-8 是 Unicode 的實作方式之一。

UTF-8 最大的一個特點，就是它是一種變長的編碼方式。它可以使用1~4個位元組表示一個符号，根據不同的符号而變化位元組長度。

UTF-8 的編碼規則很簡單，隻有二條：

• 1：對于單位元組的符号，位元組的第一位設為0，後面7位為這個符号的 Unicode 碼。是以對于英語字母，UTF-8 編碼和 ASCII 碼是相同的。
• 2：對于n位元組的符号（n > 1），第一個位元組的前n位都設為1，第n + 1位設為0，後面位元組的前兩位一律設為10。剩下的沒有提及的二進制位，全部為這個符号的 Unicode 碼。

下表總結了編碼規則，字母x表示可用編碼的位。

Unicode編碼範圍（十六進制）	UTF-8 編碼方式（二進制）	描述
000000-00007F	0xxxxxxx	一個位元組7位可用
000080-0007FF	110xxxxx 10xxxxxx	2個位元組11位可用
000800-00FFFF	1110xxxx 10xxxxxx 10xxxxxx	3個位元組16位可用
010000-10FFFF	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx	4個位元組21為可用

跟據上表，解讀 UTF-8 編碼非常簡單。如果一個位元組的第一位是0，則這個位元組單獨就是一個字元；如果第一位是1，則連續有多少個1，就表示目前字元占用多少個位元組。

從統一碼網站截取到一部分編碼表如下圖所示。漢字 “丁” 的十六進制數值是

4E01

， 二進制數值是

0100 1110 0000 0001

，需要15個二進制位來存儲，是以 utf-8 編碼要使用3個位元組16個有效二進制位來存儲，從 “丁” 字的最後一個二進制編碼開始，從後向前填充，得到utf-8 編碼結果為：

11100100 10111000 10000001

。轉化為十六進制就是

E4B881

.

利用python把二進制轉十進制

>>> int('10100111110',)      

           

十進制轉十六進制

>>> hex()
'0x409'
           

二級制到十六進制 （就是 二進制先轉成 十進制， 再轉成 十六進制）

>>> hex(int('101010',))
'0x2a'
           

十六進制轉 二進制（十六進制->十進制->二進制）

>>> bin(int('ff',))
'0b11111111'
           

Little endian和Big endian（小端，大端）

上一節已經提到，UCS-2 格式可以存儲 Unicode 碼（碼點不超過0xFFFF，2個位元組16位）。以漢字嚴為例，Unicode 碼是

4E25

，需要用兩個位元組存儲，一個位元組是

4E

，另一個位元組是

25

。存儲的時候，

4E

在前，

25

在後，這就是大端方式（ Big endian）；

25

在前，

4E

在後，這是小端方式（ Little endian）。

正常的排列順序就是大端方式（ Big endian）

那麼很自然的，就會出現一個問題：計算機怎麼知道某一個檔案到底采用哪一種方式編碼？

Unicode 規範定義：

每一個檔案的最前面分别加入一個表示編碼順序的字元

，這個字元的名字叫做”零寬度非換行空格”（zero width no-break space）

• 如果一個文本檔案的頭兩個位元組是

  FE FF

  ，就表示該檔案采用

  大端方式

  ；
• 如果頭兩個位元組是

  FF FE

  ，就表示該檔案采用

  小端方式

  。

執行個體

下面，舉一個執行個體。

打開程式notepad，建立一個文本檔案，内容就是一個嚴字，依次采用

• ANSI，UTF-8, UCS-2 Big Endian，UCS-2 Little Endian編碼方式儲存。

然後，用文本編輯軟體UltraEdit 中的 “編輯”->”十六進制功能”，觀察該檔案的内部編碼方式。

• 1：ANSI：檔案的編碼就是兩個位元組

  D1 CF

  ，這正是嚴的 GB2312 編碼，這也暗示 GB2312 是采用大端方式存儲的。

  

• 2：UTF-8：編碼是三個位元組

  E4 B8 A5

  

• 3：UCS-2 Big Endian：編碼是四個位元組

  FE FF 4E 25

  ，其中

  FE FF

  表明是大端方式存儲。

  

• 4：UCS-2 Little Endian：編碼是六個位元組

  FF FE 25 4E

  ， 其中

  FF FE

  表明是小端方式存儲。

  

  參考