字元集編碼問題研究

1. 概述

本文主要包括以下幾個方面：編碼基本知識，java，系統軟體，url，工具軟體等。

在下面的描述中，将以"中文"兩個字為例，經查表可以知道其GB2312編碼是"d6d0 cec4"，Unicode編碼為"4e2d 6587"，UTF編碼就是"e4b8ad e69687"。注意，這兩個字沒有iso8859-1編碼，但可以用iso8859-1編碼來"表示"。

2. 編碼基本知識

最早的編碼是iso8859-1，和ascii編碼相似。但為了友善表示各種各樣的語言，逐漸出現了很多标準編碼，重要的有如下幾個。

2.1. iso8859-1

屬于單位元組編碼，最多能表示的字元範圍是0-255，應用于英文系列。比如，字母'a'的編碼為0x61=97。

很明顯，iso8859-1編碼表示的字元範圍很窄，無法表示中文字元。但是，由于是單位元組編碼，和計算機最基礎的表示機關一緻，是以很多時候，仍舊使用 iso8859-1編碼來表示。而且在很多協定上，預設使用該編碼。比如，雖然"中文"兩個字不存在iso8859-1編碼，以gb2312編碼為例，應 該是"d6d0 cec4"兩個字元，使用iso8859-1編碼的時候則将它拆開為4個位元組來表示："d6 d0 ce c4"(事實上，在進行存儲的時候，也是以位元組為機關處理的)。而如果是UTF編碼，則是6個位元組"e4 b8 ad e6 96 87"。很明顯，這種表示方法還需要以另一種編碼為基礎。

2.2. GB2312/GBK

這就是漢子的國标碼，專門用來表示漢字，是雙位元組編碼，而英文字母和iso8859-1一緻(相容iso8859-1編碼)。其中gbk編碼能夠用來同時表示繁體字和簡體字，而gb2312隻能表示簡體字，gbk是相容gb2312編碼的。

2.3. unicode

這是最統一的編碼，可以用來表示所有語言的字元，而且是定長雙位元組(也有四位元組的)編碼，包括英文字母在内。是以可以說它是不相容iso8859-1編碼 的，也不相容任何編碼。不過，相對于iso8859-1編碼來說，uniocode編碼隻是在前面增加了一個0位元組，比如字母'a'為"00 61"。

需要說明的是，定長編碼便于計算機處理(注意GB2312/GBK不是定長編碼)，而unicode又可以用來表示所有字元，是以在很多軟體内部是使用unicode編碼來處理的，比如java。

2.4. UTF

考慮到unicode編碼不相容iso8859-1編碼，而且容易占用更多的空間：因為對于英文字母，unicode也需要兩個位元組來表示。是以 unicode不便于傳輸和存儲。是以而産生了utf編碼，utf編碼相容iso8859-1編碼，同時也可以用來表示所有語言的字元，不過，utf編碼 是不定長編碼，每一個字元的長度從1-6個位元組不等。另外，utf編碼自帶簡單的校驗功能。一般來講，英文字母都是用一個位元組表示，而漢字使用三個位元組。

注意，雖然說utf是為了使用更少的空間而使用的，但那隻是相對于unicode編碼來說，如果已經知道是漢字，則使用GB2312/GBK無疑是最節省 的。不過另一方面，值得說明的是，雖然utf編碼對漢字使用3個位元組，但即使對于漢字網頁，utf編碼也會比unicode編碼節省，因為網頁中包含了很 多的英文字元。

3. java對字元的處理

在java應用軟體中，會有多處涉及到字元集編碼，有些地方需要進行正确的設定，有些地方需要進行一定程度的處理。

3.1. getBytes(charset)

這是java字元串處理的一個标準函數，其作用是将字元串所表示的字元按照charset編碼，并以位元組方式表示。注意字元串在java記憶體中總是按 unicode編碼存儲的。比如"中文"，正常情況下(即沒有錯誤的時候)存儲為"4e2d 6587"，如果charset為"gbk"，則被編碼為"d6d0 cec4"，然後傳回位元組"d6 d0 ce c4"。如果charset為"utf8"則最後是"e4 b8 ad e6 96 87"。如果是"iso8859-1"，則由于無法編碼，最後傳回 "3f 3f"(兩個問号)。

3.2. new String(charset)

這是java字元串處理的另一個标準函數，和上一個函數的作用相反，将位元組數組按照charset編碼進行組合識别，最後轉換為unicode存儲。參考 上述getBytes的例子，"gbk" 和"utf8"都可以得出正确的結果"4e2d 6587"，但iso8859-1最後變成了"003f 003f"(兩個問号)。

因為utf8可以用來表示/編碼所有字元，是以new String( str.getBytes( "utf8" ), "utf8" ) === str，即完全可逆。

3.3. setCharacterEncoding()

該函數用來設定http請求或者相應的編碼。

對于request，是指送出内容的編碼，指定後可以通過getParameter()則直接獲得正确的字元串，如果不指定，則預設使用 iso8859-1編碼，需要進一步處理。參見下述"表單輸入"。值得注意的是在執行setCharacterEncoding()之前，不能執行任何 getParameter()。java doc上說明：This method must be called prior to reading request parameters or reading input using getReader()。而且，該指定隻對POST方法有效，對GET方法無效。分析原因，應該是在執行第一個getParameter()的時 候，java将會按照編碼分析所有的送出内容，而後續的getParameter()不再進行分析，是以setCharacterEncoding()無 效。而對于GET方法送出表單是，送出的内容在URL中，一開始就已經按照編碼分析所有的送出内容，setCharacterEncoding()自然就 無效。

對于response，則是指定輸出内容的編碼，同時，該設定會傳遞給浏覽器，告訴浏覽器輸出内容所采用的編碼。

3.4. 處理過程

下面分析兩個有代表性的例子，說明java對編碼有關問題的處理方法。

3.4.1. 表單輸入

User input  *(gbk:d6d0 cec4)  browser  *(gbk:d6d0 cec4)  web server  iso8859-1(00d6 00d 000ce 00c4)  class，需要在class中進行處理：getbytes("iso8859-1")為d6 d0 ce c4，new String("gbk")為d6d0 cec4，記憶體中以unicode編碼則為4e2d 6587。

l 使用者輸入的編碼方式和頁面指定的編碼有關，也和使用者的作業系統有關，是以是不确定的，上例以gbk為例。

l 從browser到web server，可以在表單中指定送出内容時使用的字元集，否則會使用頁面指定的編碼。而如果在url中直接用?的方式輸入參數，則其編碼往往是作業系統本身的編碼，因為這時和頁面無關。上述仍舊以gbk編碼為例。

l Web server接收到的是位元組流，預設時(getParameter)會以iso8859-1編碼處理之，結果是不正确的，是以需要進行處理。但如果預先設 置了編碼(通過request. setCharacterEncoding ())，則能夠直接擷取到正确的結果。

l 在頁面中指定編碼是個好習慣，否則可能失去控制，無法指定正确的編碼。

3.4.2. 檔案編譯

假設檔案是gbk編碼儲存的，而編譯有兩種編碼選擇：gbk或者iso8859-1，前者是中文windows的預設編碼，後者是linux的預設編碼，當然也可以在編譯時指定編碼。

Jsp  *(gbk:d6d0 cec4)  java file  *(gbk:d6d0 cec4)  compiler read  uincode(gbk: 4e2d 6587; iso8859-1: 00d6 00d 000ce 00c4)  compiler write  utf(gbk: e4b8ad e69687; iso8859-1: *)  compiled file  unicode(gbk: 4e2d 6587; iso8859-1: 00d6 00d 000ce 00c4)  class。是以用gbk編碼儲存，而用iso8859-1編譯的結果是不正确的。

class  unicode(4e2d 6587)  system.out / jsp.out  gbk(d6d0 cec4)  os console / browser。

l 檔案可以以多種編碼方式儲存，中文windows下，預設為ansi/gbk。

l 編譯器讀取檔案時，需要得到檔案的編碼，如果未指定，則使用系統預設編碼。一般class檔案，是以系統預設編碼儲存的，是以編譯不會出問題，但對于 jsp檔案，如果在中文windows下編輯儲存，而部署在英文linux下運作/編譯，則會出現問題。是以需要在jsp檔案中用 pageEncoding指定編碼。

l Java編譯的時候會轉換成統一的unicode編碼處理，最後儲存的時候再轉換為utf編碼。

l 當系統輸出字元的時候，會按指定編碼輸出，對于中文windows下，System.out将使用gbk編碼，而對于response(浏覽器)，則使用 jsp檔案頭指定的contentType，或者可以直接為response指定編碼。同時，會告訴browser網頁的編碼。如果未指定，則會使用 iso8859-1編碼。對于中文，應該為browser指定輸出字元串的編碼。

l browser顯示網頁的時候，首先使用response中指定的編碼(jsp檔案頭指定的contentType最終也反映在response上)，如果未指定，則會使用網頁中meta項指定中的contentType。

3.5. 幾處設定

對于web應用程式，和編碼有關的設定或者函數如下。

3.5.1. jsp編譯

指定檔案的存儲編碼，很明顯，該設定應該置于檔案的開頭。例如：<%@page pageEncoding="GBK"%>。另外，對于一般class檔案，可以在編譯的時候指定編碼。

3.5.2. jsp輸出

指定檔案輸出到browser是使用的編碼，該設定也應該置于檔案的開頭。例如：<%@ page contentType="text/html; charset= GBK" %>。該設定和response.setCharacterEncoding("GBK")等效。

3.5.3. meta設定

指定網頁使用的編碼，該設定對靜态網頁尤其有作用。因為靜态網頁無法采用jsp的設定，而且也無法執行 response.setCharacterEncoding()。例如：<META http-equiv="Content-Type" content="text/html; charset=GBK" />

如果同時采用了jsp輸出和meta設定兩種編碼指定方式，則jsp指定的優先。因為jsp指定的直接展現在response中。

需要注意的是，apache有一個設定可以給無編碼指定的網頁指定編碼，該指定等同于jsp的編碼指定方式，是以會覆寫靜态網頁中的meta指定。是以有人建議關閉該設定。

3.5.4. form設定

當浏覽器送出表單的時候，可以指定相應的編碼。例如：<form accept-charset= "gb2312">。一般不必不使用該設定，浏覽器會直接使用網頁的編碼。

4. 系統軟體

下面讨論幾個相關的系統軟體。

4.1. mysql資料庫

很明顯，要支援多語言，應該将資料庫的編碼設定成utf或者unicode，而utf更适合與存儲。但是，如果中文資料中包含的英文字母很少，其實unicode更為适合。

資料庫的編碼可以通過mysql的配置檔案設定，例如default-character-set=utf8。還可以在資料庫連結URL中設定，例如： useUnicode=true&characterEncoding=UTF-8。注意這兩者應該保持一緻，在新的sql版本裡，在資料庫連結 URL裡可以不進行設定，但也不能是錯誤的設定。

4.2. apache

appache和編碼有關的配置在httpd.conf中，例如AddDefaultCharset UTF-8。如前所述，該功能會将所有靜态頁面的編碼設定為UTF-8，最好關閉該功能。

另外，apache還有單獨的子產品來處理網頁響應頭，其中也可能對編碼進行設定。

4.3. linux預設編碼

這裡所說的linux預設編碼，是指運作時的環境變量。兩個重要的環境變量是LC_ALL和LANG，預設編碼會影響到java URLEncode的行為，下面有描述。

建議都設定為"zh_CN.UTF-8"。

4.4. 其它

為了支援中文檔案名，linux在加載磁盤時應該指定字元集，例如：mount /dev/hda5 /mnt/hda5/ -t ntfs -o iocharset=gb2312。

另外，如前所述，使用GET方法送出的資訊不支援request.setCharacterEncoding()，但可以通過tomcat的配置檔案指定 字元集，在tomcat的server.xml檔案中，形如：<Connector ... URIEncoding="GBK"/>。這種方法将統一設定所有請求，而不能針對具體頁面進行設定，也不一定和browser使用的編碼相同，所 以有時候并不是所期望的。

5. URL位址

URL位址中含有中文字元是很麻煩的，前面描述過使用GET方法送出表單的情況，使用GET方法時，參數就是包含在URL中。

5.1. URL編碼

對于URL中的一些特殊字元，浏覽器會自動進行編碼。這些字元除了"/?&"等外，還包括unicode字元，比如漢子。這時的編碼比較特殊。

IE有一個選項"總是使用UTF-8發送URL"，當該選項有效時，IE将會對特殊字元進行UTF-8編碼，同時進行URL編碼。如果改選項無效，則使用 預設編碼"GBK"，并且不進行URL編碼。但是，對于URL後面的參數，則總是不進行編碼，相當于UTF-8選項無效。比如"中文.html?a=中 文"，當UTF-8選項有效時，将發送連結"%e4%b8%ad%e6%96%87.html?a=\\x4e\\x2d\\x65\\x87";而 UTF-8選項無效時，将發送連結"\\x4e\\x2d\\x65\\x87.html?a=\\x4e\\x2d\\x65\\x87"。注意後者前 面的"中文"兩個字隻有4個位元組，而前者卻有18個位元組，這主要時URL編碼的原因。

當web server(tomcat)接收到該連結時，将會進行URL解碼，即去掉"%"，同時按照ISO8859-1編碼(上面已經描述，可以使用 URLEncoding來設定成其它編碼)識别。上述例子的結果分别是"\\ue4\\ub8\\uad\\ue6\\u96\\u87.html?a= \\u4e\\u2d\\u65\\u87"和"\\u4e\\u2d\\u65\\u87.html?a=\\u4e\\u2d\\u65 \\u87"，注意前者前面的"中文"兩個字恢複成了6個字元。這裡用"\\u"，表示是unicode。

是以，由于用戶端設定的不同，相同的連結，在伺服器上得到了不同結果。這個問題不少人都遇到，卻沒有很好的解決辦法。是以有的網站會建議使用者嘗試關閉UTF-8選項。不過，下面會描述一個更好的處理辦法。

5.2. rewrite

熟悉的人都知道，apache有一個功能強大的rewrite子產品，這裡不描述其功能。需要說明的是該子產品會自動将URL解碼(去除%)，即完成上述 web server(tomcat)的部分功能。有相關文檔介紹說可以使用[NE]參數來關閉該功能，但我試驗并未成功，可能是因為版本(我使用的是 apache 2.0.54)問題。另外，當參數中含有"?& "等符号的時候，該功能将導緻系統得不到正常結果。

rewrite本身似乎完全是采用位元組處理的方式，而不考慮字元串的編碼，是以不會帶來編碼問題。

5.3. URLEncode.encode()

這是Java本身提供對的URL編碼函數，完成的工作和上述UTF-8選項有效時浏覽器所做的工作相似。值得說明的是，java已經不贊成不指定編碼來使用該方法(deprecated)。應該在使用的時候增加編碼指定。

當不指定編碼的時候，該方法使用系統預設編碼，這會導緻軟體運作結果得不确定。比如對于"中文"，當系統預設編碼為"gb2312"時，結果是"%4e %2d%65%87"，而預設編碼為"UTF-8"，結果卻是"%e4%b8%ad%e6%96%87"，後續程式将難以處理。另外，這兒說的系統預設編 碼是由運作tomcat時的環境變量LC_ALL和LANG等決定的，曾經出現過tomcat重新開機後就出現亂碼的問題，最後才郁悶的發現是因為修改修改了 這兩個環境變量。

建議統一指定為"UTF-8"編碼，可能需要修改相應的程式。

5.4. 一個解決方案

上面說起過，因為浏覽器設定的不同，對于同一個連結，web server收到的是不同内容，而軟體系統有無法知道這中間的差別，是以這一協定目前還存在缺陷。

針對具體問題，不應該僥幸認為所有客戶的IE設定都是UTF-8有效的，也不應該粗暴的建議使用者修改IE設定，要知道，使用者不可能去記住每一個web server的設定。是以，接下來的解決辦法就隻能是讓自己的程式多一點智能：根據内容來分析編碼是否UTF-8。

比較幸運的是UTF-8編碼相當有規律，是以可以通過分析傳輸過來的連結内容，來判斷是否是正确的UTF-8字元，如果是，則以UTF-8處理之，如果不是，則使用客戶預設編碼(比如"GBK")，下面是一個判斷是否UTF-8的例子，如果你了解相應規律，就容易了解。

1. public static boolean isValidUtf8(byte[] b,int aMaxCount){  
2.        int lLen=b.length,lCharCount=0;  
3.        for(int i=0;i<lLen && lCharCount<aMaxCount;++lCharCount){  
4.               byte lByte=b[i++];//to fast operation, ++ now, ready for the following for(;;)  
5.               if(lByte>=0) continue;//>=0 is normal ascii  
6.               if(lByte<(byte)0xc0 || lByte>(byte)0xfd) return false;  
7.               int lCount=lByte>(byte)0xfc?5:lByte>(byte)0xf8?4  
8.                      :lByte>(byte)0xf0?3:lByte>(byte)0xe0?2:1;  
9.               if(i+lCount>lLen) return false;  
10.               for(int j=0;j<lCount;++j,++i) if(b[i]>=(byte)0xc0) return false;  
11.        }  
12.        return true;  
13. }  

相應地，一個使用上述方法的例子如下：

1. public static String getUrlParam(String aStr,String aDefaultCharset)  
2. throws UnsupportedEncodingException{  
3.        if(aStr==null) return null;  
4.        byte[] lBytes=aStr.getBytes("ISO-8859-1");  
5.        return new String(lBytes,StringUtil.isValidUtf8(lBytes)?"utf8":aDefaultCharset);  

不過，該方法也存在缺陷，如下兩方面：

l 沒有包括對使用者預設編碼的識别，這可以根據請求資訊的語言來判斷，但不一定正确，因為我們有時候也會輸入一些韓文，或者其他文字。

l 可能會錯誤判斷UTF-8字元，一個例子是"學習"兩個字，其GBK編碼是" \\xd1\\xa7\\xcf\\xb0"，如果使用上述isValidUtf8方法判斷，将傳回true。可以考慮使用更嚴格的判斷方法，不過估計效果不大。

有一個例子可以證明google也遇到了上述問題，而且也采用了和上述相似的處理方法，比如，如果在位址欄中輸 入"http://www.google.com/search?hl=zh-CN&newwindow=1&q=學習"，google 将無法正确識别，而其他漢字一般能夠正常識别。

最後，應該補充說明一下，如果不使用rewrite規則，或者通過表單送出資料，其實并不一定會遇到上述問題，因為這時可以在送出資料時指定希望的編碼。另外，中文檔案名确實會帶來問題，應該謹慎使用。

6. 其它

下面描述一些和編碼有關的其他問題。

6.1. SecureCRT

除了浏覽器和控制台與編碼有關外，一些用戶端也很有關系。比如在使用SecureCRT連接配接linux時，應該讓SecureCRT的顯示編碼(不同的session，可以有不同的編碼設定)和linux的編碼環境變量保持一緻。否則看到的一些幫助資訊，就可能是亂碼。

另外，mysql有自己的編碼設定，也應該保持和SecureCRT的顯示編碼一緻。否則通過SecureCRT執行sql語句的時候，可能無法進行中文字元，查詢結果也會出現亂碼。

對于Utf-8檔案，很多編輯器(比如記事本)會在檔案開頭增加三個不可見的标志位元組，如果作為mysql的輸入檔案，則必須要去掉這三個字元。(用 linux的vi儲存可以去掉這三個字元)。一個有趣的現象是，在中文windows下，建立一個新txt檔案，用記事本打開，輸入"連通"兩個字，保 存，再打開，你會發現兩個字沒了，隻留下一個小黑點。

6.2. 過濾器

如果需要統一設定編碼，則通過filter進行設定是個不錯的選擇。在filter class中，可以統一為需要的請求或者回應設定編碼。參加上述setCharacterEncoding()。這個類apache已經給出了可以直接使 用的例子SetCharacterEncodingFilter。

6.3. POST和GET

很明顯，以POST送出資訊時，URL有更好的可讀性，而且可以友善的使用setCharacterEncoding()來處理字元集問題。但GET方法形成的URL能夠更容易表達網頁的實際内容，也能夠用于收藏。

從統一的角度考慮問題，建議采用GET方法，這要求在程式中獲得參數是進行特殊處理，而無法使用setCharacterEncoding()的便利，如 果不考慮rewrite，就不存在IE的UTF-8問題，可以考慮通過設定URIEncoding來友善擷取URL中的參數。

6.4. 簡繁體編碼轉換

GBK同時包含簡體和繁體編碼，也就是說同一個字，由于編碼不同，在GBK編碼下屬于兩個字。有時候，為了正确取得完整的結果，應該将繁體和簡體進行統 一。可以考慮将UTF、GBK中的所有繁體字，轉換為相應的簡體字，BIG5編碼的資料，也應該轉化成相應的簡體字。當然，仍舊以UTF編碼存儲。