[目錄]
30分鐘内讓你明白正規表達式是什麼,并對它有一些基本的了解,讓你可以在自己的程式或網頁裡使用它。
别被下面那些複雜的表達式吓倒,隻要跟着我一步一步來,你會發現正規表達式其實并沒有想像中的那麼困難。當然,如果你看完了這篇教程之後,發現自己
明白了很多,卻又幾乎什麼都記不得,那也是很正常的——我認為,沒接觸過正規表達式的人在看完這篇教程後,能把提到過的文法記住80%以上的可能性為零。
這裡隻是讓你明白基本的原理,以後你還需要多練習,多使用,才能熟練掌握正規表達式。
在編寫處理字元串的程式或網頁時,經常會有查找符合某些複雜規則的字元串的需要。正規表達式就是用于描述這些規則的工具。換句話說,正規表達式就是記錄文本規則的代碼。
很可能你使用過<code>windows/dos</code>下用于檔案查找的通配符(wildcard),也就是<code>*</code>和<code>?</code>。如果你想查找某個目錄下的所有的word文檔的話,你會搜尋<code>*.doc</code>。
在這裡,*會被解釋成任意的字元串。和通配符類似,正規表達式也是用來進行文本比對的工具,隻不過比起通配符,它能更精确地描述你的需求——當然,代價就
是更複雜——比如你可以編寫一個正規表達式,用來查找所有以0開頭,後面跟着2-3個數字,然後是一個連字号"-",最後是7或8位數字的字元串(像<code>010-12345678</code>或<code>0376-7654321</code>)。
注:字元是計算機軟體處理文字時最基本的機關,可能是字母,數字,标點符号,空格,換行符,漢字等等。字元串是0個或更多個字元的序列。文本也就是文字,字元串。說某個字元串比對某個正規表達式,通常是指這個字元串裡有一部分(或幾部分分别)能滿足表達式給出的條件。
學習正規表達式的最好方法是從例子開始,了解例子之後再自己對例子進行修改,實驗。下面給出了不少簡單的例子,并對它們作了詳細的說明。
假設你在一篇英文小說裡查找hi,你可以使用正規表達式hi。
這幾乎是最簡單的正規表達式了,它可以精确比對這樣的字元串:由兩個字元組成,前一個字元是h,後一個是i。通常,處理正規表達式的工具會提供一個忽略大小寫的選項,如果選中了這個選項,它可以比對hi,hi,hi,hi這四種情況中的任意一種。
不幸的是,很多單詞裡包含hi這兩個連續的字元,比如him,history,high等等。用hi來查找的話,這裡邊的hi也會被找出來。如果要精确地查找hi這個單詞的話,我們應該使用<code>\bhi\b</code>。
<code>\b</code>是正規表達式規定的一個特殊代碼(好吧,某些人叫它元字元,metacharacter),代表着單詞的開頭或結尾,也就是單詞的分界處。雖然通常英文的單詞是由空格,标點符号或者換行來分隔的,但是\b并不比對這些單詞分隔字元中的任何一個,它隻比對一個位置。
注:如果需要更精确的說法,<code>\b</code>比對這樣的位置:它的前一個字元和後一個字元不全是(一個是,一個不是或不存在)<code>\w</code>。
假如你要找的是hi後面不遠處跟着一個lucy,你應該用<code>\bhi\b.*\blucy\b</code>。
這裡<code>.</code>是另一個元字元,比對除了換行符以外的任意字元。
<code>*</code>同樣是元字元,不過它代表的不是字元,也不是位置,而是數量——它指定*前邊的内容可以連續重複使用任意次以使整個表達式得到比對。
是以,<code>.*</code>連在一起就意味着任意數量的不包含換行的字元。現在<code>\bhi\b.*\blucy\b</code>的意思就很明顯了:先是一個單詞hi,然後是任意個任意字元(但不能是換行),最後是lucy這個單詞。
注:換行符就是<code>'\n'</code>,ascii編碼為10(十六進制0x0a)的字元。
如果同時使用其它元字元,我們就能構造出功能更強大的正規表達式。比如下面這個例子:
<code>0\d\d-\d\d\d\d\d\d\d\d</code>比對這樣的字元串:以0開頭,然後是兩個數字,然後是一個連字号"-",最後是8個數字(也就是中國的電話号碼。當然,這個例子隻能比對區号為3位的情形)。
這裡的\d是個新的元字元,比對一位數字(0,或1,或2,或……)。-不是元字元,隻比對它本身——連字元(或者減号,或者中橫線,或者随你怎麼稱呼它)。
為了避免那麼多煩人的重複,我們也可以這樣寫這個表達式:<code>0\d{2}-\d{8}</code>。這裡<code>\d</code>後面的<code>{2}({8})</code>的意思是前面\d必須連續重複比對2次(8次)。
如果你不覺得正規表達式很難讀寫的話,要麼你是一個天才,要麼,你不是地球人。正規表達式的文法很令人頭疼,即使對經常使用它的人來說也是如此。由于難于讀寫,容易出錯,是以找一種工具對正規表達式進行測試是很有必要的。
不同的環境下正規表達式的一些細節是不相同的,這裡介紹兩種可用的測試工具:
<a href="http://www.regexbuddy.com/">regexbuddy</a>
<a href="http://regexpal.com/">javascript正規表達式線上測試工具</a>
現在你已經知道幾個很有用的元字元了,如<code>\b,.,*</code>,還有<code>\d.</code>正規表達式裡還有更多的元字元,比如<code>\s</code>比對任意的空白符,包括空格,制表符(tab),換行符,中文全角空格等。<code>\w</code>比對字母或數字或下劃線或漢字等。
注:對中文/漢字的特殊處理是由.net提供的正規表達式引擎支援的,其它環境下的具體情況請檢視相關文檔。
下面來看看更多的例子:
<code>\ba\w*\b</code>比對以字母a開頭的單詞——先是某個單詞開始處(\b),然後是字母a,然後是任意數量的字母或數字(\w*),最後是單詞結束處(\b)。
注:好吧,現在我們說說正規表達式裡的單詞是什麼意思吧:就是不少于一個的連續的\w。不錯,這與學習英文時要背的成千上萬個同名的東西的确關系不大 :)
<code>\d+</code>比對1個或更多連續的數字。這裡的+是和類似的元字元,不同的是比對重複任意次(可能是0次),而+則比對重複1次或更多次。
<code>\b\w{6}\b</code> 比對剛好6個字元的單詞。
表1.常用的元字元
注:正規表達式引擎通常會提供一個"測試指定的字元串是否比對一個正規表達式"的方法,如javascript裡的<code>regexp.test()</code>方法或.net裡的<code>regex.ismatch()</code>方法。這裡的比對是指是字元串裡有沒有符合表達式規則的部分。如果不使用^和$的話,對于<code>\d{5,12}</code>而言,使用這樣的方法就隻能保證字元串裡包含5到12連續位數字,而不是整個字元串就是5到12位數字。
元字元<code>^</code>(和數字6在同一個鍵位上的符号)和<code>$</code>都比對一個位置,這和\b有點類似。<code>^</code>比對你要用來查找的字元串的開頭,<code>$</code>比對結尾。這兩個代碼在驗證輸入的内容時非常有用,比如一個網站如果要求你填寫的qq号必須為5位到12位數字時,可以使用:<code>^\d{5,12}$</code>。
這裡的<code>{5,12}</code>和前面介紹過的{2}是類似的,隻不過{2}比對隻能不多不少重複2次,<code>{5,12}</code>則是重複的次數不能少于5次,不能多于12次,否則都不比對。
因為使用了<code>^</code>和<code>$</code>,是以輸入的整個字元串都要用來和<code>\d{5,12}</code>來比對,也就是說整個輸入必須是5到12個數字,是以如果輸入的qq号能比對這個正規表達式的話,那就符合要求了。
和忽略大小寫的選項類似,有些正規表達式處理工具還有一個處理多行的選項。如果選中了這個選項,^和$的意義就變成了比對行的開始處和結束處。
如果你想查找元字元本身的話,比如你查找<code>.</code>或者<code>*</code>,就出現了問題:你沒辦法指定它們,因為它們會被解釋成别的意思。這時你就得使用\來取消這些字元的特殊意義。是以,你應該使用.和*。當然,要查找\本身,你也得用\.
例如:<code>deerchao\.net</code>比對deerchao.net,<code>c:\\windows</code>比對c:\windows。
你已經看過了前面的<code>*,+,{2},{5,12}</code>這幾個比對重複的方式了。下面是正規表達式中所有的限定符(指定數量的代碼,例如<code>*,{5,12}</code>等):
表2.常用的限定符
下面是一些使用重複的例子:
<code>windows\d+</code>比對windows後面跟1個或更多數字
<code>^\w+</code>比對一行的第一個單詞(或整個字元串的第一個單詞,具體比對哪個意思得看選項設定)
要想查找數字,字母或數字,空白是很簡單的,因為已經有了對應這些字元集合的元字元,但是如果你想比對沒有預定義元字元的字元集合(比如元音字母a,e,i,o,u),應該怎麼辦?
很簡單,你隻需要在方括号裡列出它們就行了,像[aeiou]就比對任何一個英文元音字母,<code>[.?!]</code>比對标點符号(.或?或!)。
我們也可以輕松地指定一個字元範圍,像[0-9]代表的含意與\d就是完全一緻的:一位數字;同理<code>[a-z0-9a-z_]</code>也完全等同于\w(如果隻考慮英文的話)。
下面是一個更複雜的表達式:<code>\(?0\d{2}[) -]?\d{8}</code>。
注意:<code>(</code>和<code>)</code>也是元字元,後面的分組節裡會提到,是以在這裡需要使用轉義。
這個表達式可以比對幾種格式的電話号碼,像(010)88886666,或022-22334455,或02912345678等。我們對它進行一些分析吧:首先是一個轉義字元<code>\(</code>,它能出現0次或1次<code>(?)</code>,然後是一個0,後面跟着2個數字<code>(\d{2})</code>,然後是<code>)</code>或<code>-</code>或空格中的一個,它出現1次或不出現<code>(?)</code>,最後是8個數字<code>(\d{8})</code>。
不幸的是,剛才那個表達式也能比對010)12345678或(022-87654321這樣的"不正确"的格式。要解決這個問題,我們需要用到分
枝條件。正規表達式裡的分枝條件指的是有幾種規則,如果滿足其中任意一種規則都應該當成比對,具體方法是用|把不同的規則分隔開。聽不明白?沒關系,看例
子:
<code>0\d{2}-\d{8}|0\d{3}-\d{7}</code>這個表達式能比對兩種以連字号分隔的電話号碼:一種是三位區号,8位本地号(如010-12345678),一種是4位區号,7位本地号(0376-2233445)。
<code>\(?0\d{2}\)?[- ]?\d{8}|0\d{2}[- ]?\d{8}</code>這個表達式比對3位區号的電話号碼,其中區号可以用小括号括起來,也可以不用,區号與本地号間可以用連字号或空格間隔,也可以沒有間隔。你可以試試用分枝條件把這個表達式擴充成也支援4位區号的。
<code>\d{5}-\d{4}|\d{5}</code>這個表達式用于比對美國的郵政編碼。美國郵編的規則是5位數字,或者用連字号間隔的9位數字。之是以要給出這個例子是因為它能說明一個問題:使用分枝條件時,要注意各個條件的順序。如果你把它改成<code>\d{5}|\d{5}-\d{4}</code>的話,那麼就隻會比對5位的郵編(以及9位郵編的前5位)。原因是比對分枝條件時,将會從左到右地測試每個條件,如果滿足了某個分枝的話,就不會去再管其它的條件了。
我們已經提到了怎麼重複單個字元(直接在字元後面加上限定符就行了);但如果想要重複多個字元又該怎麼辦?你可以用小括号來指定子表達式(也叫做分組),然後你就可以指定這個子表達式的重複次數了,你也可以對子表達式進行其它一些操作(後面會有介紹)。
<code>(\d{1,3}\.){3}\d{1,3}</code>是一個簡單的ip位址比對表達式。要了解這個表達式,請按下列順序分析它:<code>\d{1,3}</code>比對1到3位的數字,<code>(\d{1,3}\.){3}</code>比對三位數字加上一個英文句号(這個整體也就是這個分組)重複3次,最後再加上一個一到三位的數字<code>(\d{1,3})</code>。
注:ip位址中每個數字都不能大于255. 經常有人問我, 01.02.03.04 這樣前面帶有0的數字, 是不是正确的ip位址呢? 答案是: 是的, ip 位址裡的數字可以包含有前導 0 (leading zeroes).
不幸的是,它也将比對256.300.888.999這種不可能存在的ip位址。如果能使用算術比較的話,或許能簡單地解決這個問題,但是正規表達式中并不提供關于數學的任何功能,是以隻能使用冗長的分組,選擇,字元類來描述一個正确的ip位址:<code>((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)</code>。
了解這個表達式的關鍵是了解<code>2[0-4]\d|25[0-5]|[01]?\d\d?</code>,這裡我就不細說了,你自己應該能分析得出來它的意義。
有時需要查找不屬于某個能簡單定義的字元類的字元。比如想查找除了數字以外,其它任意字元都行的情況,這時需要用到反義:
表3.常用的反義代碼
例子:<code>\s+</code>比對不包含空白符的字元串。
<code><a[^>]+></code>比對用尖括号括起來的以a開頭的字元串。
使用小括号指定一個子表達式後,比對這個子表達式的文本(也就是此分組捕獲的内容)可以在表達式或其它程式中作進一步的處理。預設情況下,每個分組會自動擁有一個組号,規則是:從左向右,以分組的左括号為标志,第一個出現的分組的組号為1,第二個為2,以此類推。
呃……其實,組号配置設定還不像我剛說得那麼簡單:
分組0對應整個正規表達式。
實際上組号配置設定過程是要從左向右掃描兩遍的:第一遍隻給未命名組配置設定,第二遍隻給命名組配置設定--是以所有命名組的組号都大于未命名的組号
你可以使用<code>(?:exp)</code>這樣的文法來剝奪一個分組對組号配置設定的參與權
後向引用用于重複搜尋前面某個分組比對的文本。例如,<code>\1</code>代表分組1比對的文本。難以了解?請看示例:
<code>\b(\w+)\b\s+\1\b</code>可以用來比對重複的單詞,像go go, 或者kitty kitty。這個表達式首先是一個單詞,也就是單詞開始處和結束處之間的多于一個的字母或數字<code>(\b(\w+)\b)</code>,這個單詞會被捕獲到編号為1的分組中,然後是1個或幾個空白符<code>(\s+)</code>,最後是分組1中捕獲的内容(也就是前面比對的那個單詞)<code>(\1)</code>。
你也可以自己指定子表達式的組名。要指定一個子表達式的組名,請使用這樣的文法:<code>(?<word>\w+)</code>(或者把尖括号換成'也行:<code>(?'word'\w+)</code>),這樣就把<code>\w+</code>的組名指定為word了。要反向引用這個分組捕獲的内容,你可以使用<code>\k<word></code>,是以上一個例子也可以寫成這樣:<code>\b(?<word>\w+)\b\s+\k<word>\b</code>。
使用小括号的時候,還有很多特定用途的文法。下面列出了最常用的一些:
表4.常用分組文法
我們已經讨論了前兩種文法。第三個<code>(?:exp)</code>不會改變正規表達式的處理方式,隻是這樣的組比對的内容不會像前兩種那樣被捕獲到某個組裡面,也不會擁有組号。"我為什麼會想要這樣做?"——好問題,你覺得為什麼呢?
接下來的四個用于查找在某些内容(但并不包括這些内容)之前或之後的東西,也就是說它們像<code>\b,^,$</code>那樣用于指定一個位置,這個位置應該滿足一定的條件(即斷言),是以它們也被稱為零寬斷言。最好還是拿例子來說明吧:
注:斷言用來聲明一個應該為真的事實。正規表達式中隻有當斷言為真時才會繼續進行比對。
<code>(?=exp)</code>也叫零寬度正預測先行斷言,它斷言自身出現的位置的後面能比對表達式exp。比如<code>\b\w+(?=ing\b)</code>,比對以ing結尾的單詞的前面部分(除了ing以外的部分),如查找i'm singing while you're dancing.時,它會比對sing和danc。
<code>(?<=exp)</code>也叫零寬度正回顧後發斷言,它斷言自身出現的位置的前面能比對表達式exp。比如<code>(?<=\bre)\w+\b</code>會比對以re開頭的單詞的後半部分(除了re以外的部分),例如在查找reading a book時,它比對ading。
假如你想要給一個很長的數字中每三位間加一個逗号(當然是從右邊加起了),你可以這樣查找需要在前面和裡面添加逗号的部分:`((?<=\d)\d{3})+\b``,用它對1234567890進行查找時結果是234567890。
下面這個例子同時使用了這兩種斷言:<code>(?<=\s)\d+(?=\s)</code>比對以空白符間隔的數字(再次強調,不包括這些空白符)。
前面我們提到過怎麼查找不是某個字元或不在某個字元類裡的字元的方法(反義)。但是如果我們隻是想要確定某個字元沒有出現,但并不想去比對它時怎麼辦?例如,如果我們想查找這樣的單詞--它裡面出現了字母q,但是q後面跟的不是字母u,我們可以嘗試這樣:
<code>\b\w*q[^u]\w*\b</code>比對包含後面不是字母u的字母q的單詞。但是如果多做測試(或者你思維足夠敏銳,直接就觀察出來了),你會發現,如果q出現在單詞的結尾的話,像iraq,benq,這個表達式就會出錯。這是因為<code>[^u]</code>總要比對一個字元,是以如果q是單詞的最後一個字元的話,後面的<code>[^u]</code>将會比對q後面的單詞分隔符(可能是空格,或者是句号或其它的什麼),後面的<code>\w*\b</code>将會比對下一個單詞,于是<code>\b\w*q[^u]\w*\b</code>就能比對整個<code>iraq fighting</code>。負向零寬斷言能解決這樣的問題,因為它隻比對一個位置,并不消費任何字元。現在,我們可以這樣來解決這個問題:<code>\b\w*q(?!u)\w*\b</code>。
零寬度負預測先行斷言<code>(?!exp)</code>,斷言此位置的後面不能比對表達式exp。例如:<code>\d{3}(?!\d)</code>比對三位數字,而且這三位數字的後面不能是數字;<code>\b((?!abc)\w)+\b</code>比對不包含連續字元串abc的單詞。
同理,我們可以用<code>(?<!exp)</code>,零寬度負回顧後發斷言來斷言此位置的前面不能比對表達式<code>exp:(?<![a-z])\d{7}</code>比對前面不是小寫字母的七位數字。
一個更複雜的例子:<code>(?<=<(\w+)>).*(?=<\/\1>)</code>比對不包含屬性的簡單html标簽内裡的内容。<code>(?<=<(\w+)>)</code>指定了這樣的字首:被尖括号括起來的單詞(比如可能是<code><b></code>),然後是.*(任意的字元串),最後是一個字尾<code>(?=<\/\1>)</code>。注意字尾裡的<code>\/</code>,它用到了前面提過的字元轉義;<code>\1</code>則是一個反向引用,引用的正是捕獲的第一組,前面的<code>(\w+)</code>比對的内容,這樣如果字首實際上是<code><b></code>的話,字尾就是<code></b></code>了。整個表達式比對的是<code><b></code>和<code></b></code>之間的内容(再次提醒,不包括字首和字尾本身)。
注:請詳細分析表達式<code>(?<=<(\w+)>).*(?=<\/\1>)</code>,這個表達式最能表現零寬斷言的真正用途。
小括号的另一種用途是通過文法<code>(?#comment)</code>來包含注釋。例如:<code>2[0-4]\d(?#200-249)|25[0-5](?#250-255)|[01]?\d\d?(?#0-199)</code>。
要包含注釋的話,最好是啟用"忽略模式裡的空白符"選項,這樣在編寫表達式時能任意的添加空格,tab,換行,而實際使用時這些都将被忽略。啟用這個選項後,在#後面到這一行結束的所有文本都将被當成注釋忽略掉。例如,我們可以前面的一個表達式寫成這樣:
當正規表達式中包含能接受重複的限定符時,通常的行為是(在使整個表達式能得到比對的前提下)比對盡可能多的字元。以這個表達式為例:<code>a.*b</code>,它将會比對最長的以a開始,以b結束的字元串。如果用它來搜尋aabab的話,它會比對整個字元串aabab。這被稱為貪婪比對。
有時,我們更需要懶惰比對,也就是比對盡可能少的字元。前面給出的限定符都可以被轉化為懶惰比對模式,隻要在它後面加上一個問号?。這樣.*?就意味着比對任意數量的重複,但是在能使整個比對成功的前提下使用最少的重複。現在看看懶惰版的例子吧:
<code>a.*?b</code>比對最短的,以a開始,以b結束的字元串。如果把它應用于aabab的話,它會比對aab(第一到第三個字元)和ab(第四到第五個字元)。
注:為什麼第一個比對是aab(第一到第三個字元)而不是ab(第二到第三個字元)?簡單地說,因為正規表達式有另一條規則,比懶惰/貪婪規則的優先級更高:最先開始的比對擁有最高的優先權——the match that begins earliest wins。
表5.懶惰限定符
上面介紹了幾個選項如忽略大小寫,處理多行等,這些選項能用來改變處理正規表達式的方式。下面是.net中常用的正規表達式選項:
表6.常用的處理選項
一個經常被問到的問題是:是不是隻能同時使用多行模式和單行模式中的一種?答案是:不是。這兩個選項之間沒有任何關系,除了它們的名字比較相似(以至于讓人感到疑惑)以外。
注:在c#中,你可以使用<code>regex(string, regexoptions)</code>構造函數來設定正規表達式的處理選項。如:<code>regex regex = new regex(@"\ba\w{6}\b", regexoptions.ignorecase)</code>;
注:這裡介紹的平衡組文法是由.net framework支援的;其它語言/庫不一定支援這種功能,或者支援此功能但需要使用不同的文法。
有時我們需要比對像( 100 * ( 50 + 15 )
)這樣的可嵌套的層次性結構,這時簡單地使用(.+)則隻會比對到最左邊的左括号和最右邊的右括号之間的内容(這裡我們讨論的是貪婪模式,懶惰模式也有下
面的問題)。假如原來的字元串裡的左括号和右括号出現的次數不相等,比如( 5 / ( 3 + 2 ) )
),那我們的比對結果裡兩者的個數也不會相等。有沒有辦法在這樣的字元串裡比對到最長的,配對的括号之間的内容呢?
為了避免(和(把你的大腦徹底搞糊塗,我們還是用尖括号代替圓括号吧。現在我們的問題變成了如何把<code>xx <aa <bbb> <bbb> aa> yy</code>這樣的字元串裡,最長的配對的尖括号内的内容捕獲出來?
這裡需要用到以下的文法構造:
注:如果你不是一個程式員(或者你自稱程式員但是不知道堆棧是什麼東西),你就這樣了解上面的三種文法吧:第一個就是在黑闆上寫一
個"group",第二個就是從黑闆上擦掉一個"group",第三個就是看黑闆上寫的還有沒有"group",如果有就繼續比對yes部分,否則就比對
no部分。
我們需要做的是每碰到了左括号,就在壓入一個"open",每碰到一個右括号,就彈出一個,到了最後就看看堆棧是否為空--如果不為空那就證明左括号比右括号多,那比對就應該失敗。正規表達式引擎會進行回溯(放棄最前面或最後面的一些字元),盡量使整個表達式得到比對。
平衡組的一個最常見的應用就是比對html,下面這個例子可以比對嵌套的<code><div>标簽</code>:
上邊已經描述了構造正規表達式的大量元素,但是還有很多沒有提到的東西。下面是一些未提到的元素的清單,包含文法和簡單的說明。
表7.尚未詳細讨論的文法