資訊專欄INFORMATION COLUMN
摘要：非貪婪模式盡可能少的匹配所搜索的字符串，而默認(rèn)的貪婪模式則盡可能多的匹配所搜索的字符串。
導(dǎo)讀
你有沒有在搜索文本的時(shí)候絞盡腦汁, 試了一個(gè)又一個(gè)表達(dá)式, 還是不行.
你有沒有在表單驗(yàn)證的時(shí)候, 只是做做樣子(只要不為空就好), 然后燒香拜佛, 虔誠(chéng)祈禱, 千萬不要出錯(cuò).
你有沒有在使用sed 和 grep 命令的時(shí)候, 感覺莫名其妙, 明明應(yīng)該支持的元字符, 卻就是匹配不到.
甚至, 你壓根沒遇到過上述情況, 你只是一遍又一遍的調(diào)用 replace 而已 (把非搜索文本全部替換為空, 然后就只剩搜索文本了), 面對(duì)別人家的簡(jiǎn)潔高效的語句, 你只能在心中吶喊, replace 大法好.
為什么要學(xué)正則表達(dá)式. 有位網(wǎng)友這么說: 江湖傳說里, 程序員的正則表達(dá)式和醫(yī)生的處方, 道士的鬼符齊名, 曰: 普通人看不懂的三件神器. 這個(gè)傳說至少向我們透露了兩點(diǎn)信息: 一是正則表達(dá)式很牛, 能和醫(yī)生的處方, 道士的鬼符齊名, 并被大家提起, 可見其江湖地位. 二是正則表達(dá)式很難, 這也從側(cè)面說明了, 如果你可以熟練的掌握并應(yīng)用它, 在裝逼的路上, 你將如日中天 (別問我中天是誰……) !
顯然, 有關(guān)正則表達(dá)的介紹, 無須我多言. 這里就借助 Jeffrey Friedl 的《精通正則表達(dá)式》一書的序言正式拋個(gè)磚.
? "如果羅列計(jì)算機(jī)軟件領(lǐng)域的偉大發(fā)明, 我相信絕對(duì)不會(huì)超過二十項(xiàng), 在這個(gè)名單當(dāng)中, 當(dāng)然應(yīng)該包括分組交換網(wǎng)絡(luò), Web, Lisp, 哈希算法, UNIX, 編譯技術(shù), 關(guān)系模型, 面向?qū)ο? XML這些大名鼎鼎的家伙, 而正則表達(dá)式也絕對(duì)不應(yīng)該被漏掉.
? 對(duì)很多實(shí)際工作而言, 正則表達(dá)式簡(jiǎn)直是靈丹妙藥, 能夠成百倍的提高開發(fā)效率和程序質(zhì)量, 正則表達(dá)式在生物信息學(xué)和人類基因圖譜的研究中所發(fā)揮的關(guān)鍵作用, 更是被傳為佳話. CSDN的創(chuàng)始人蔣濤先生在早年開發(fā)專業(yè)軟件產(chǎn)品時(shí), 就曾經(jīng)體驗(yàn)過這一工具的巨大威力, 并且一直印象深刻."
因此, 我們沒有理由不去了解正則表達(dá)式, 甚至是熟練掌握并運(yùn)用它.
本文以正則基礎(chǔ)語法開篇, 結(jié)合具體實(shí)例, 逐步講解正則表達(dá)式匹配原理. 代碼實(shí)例使用語言包括 js, php, python, java(因有些匹配模式, js并未支持, 需要借助其他語言講解). 內(nèi)容包括初階技能和高階技能, 適合新手學(xué)習(xí)和進(jìn)階. 本文力求簡(jiǎn)單通俗易懂, 同時(shí)為求全面, 涉及知識(shí)較多, 共計(jì)12k字, 篇幅較長(zhǎng), 請(qǐng)耐心閱讀, 如有閱讀障礙請(qǐng)及時(shí)聯(lián)系我.
回顧歷史要論正則表達(dá)式的淵源, 最早可以追溯至對(duì)人類神經(jīng)系統(tǒng)如何工作的早期研究. Warren McCulloch 和 Walter Pitts 這兩位神經(jīng)大咖 (神經(jīng)生理學(xué)家) 研究出一種數(shù)學(xué)方式來描述這些神經(jīng)網(wǎng)絡(luò).
1956 年, 一位叫 Stephen Kleene 的數(shù)學(xué)家在 McCulloch 和 Pitts 早期工作的基礎(chǔ)上, 發(fā)表了一篇標(biāo)題為"神經(jīng)網(wǎng)事件的表示法"的論文, 引入了正則表達(dá)式的概念.
隨后, 發(fā)現(xiàn)可以將這一工作應(yīng)用于使用 Ken Thompson 的計(jì)算搜索算法的一些早期研究中. 而 Ken Thompson 又是 Unix 的主要發(fā)明人. 因此半個(gè)世紀(jì)以前的Unix 中的 qed 編輯器(1966 qed編輯器問世) 成了第一個(gè)使用正則表達(dá)式的應(yīng)用程序.
至此之后, 正則表達(dá)式成為家喻戶曉的文本處理工具, 幾乎各大編程語言都以支持正則表達(dá)式作為賣點(diǎn), 當(dāng)然 JavaScript 也不例外.
正則表達(dá)式的定義正則表達(dá)式是由普通字符和特殊字符(也叫元字符或限定符)組成的文字模板. 如下便是簡(jiǎn)單的匹配連續(xù)數(shù)字的正則表達(dá)式:
/[0-9]+/ /d+/
"d" 就是元字符, 而 "+" 則是限定符.
元字符| 元字符 | 描述 |
|---|---|
| . | 匹配除換行符以外的任意字符 |
| d | 匹配數(shù)字, 等價(jià)于字符組[0-9] |
| w | 匹配字母, 數(shù)字, 下劃線或漢字 |
| s | 匹配任意的空白符(包括制表符,空格,換行等) |
| 匹配單詞開始或結(jié)束的位置 | |
| ^ | 匹配行首 |
| $ | 匹配行尾 |
| 元字符 | 描述 |
|---|---|
| D | 匹配非數(shù)字的任意字符, 等價(jià)于[^0-9] |
| W | 匹配除字母,數(shù)字,下劃線或漢字之外的任意字符 |
| S | 匹配非空白的任意字符 |
| B | 匹配非單詞開始或結(jié)束的位置 |
| [^x] | 匹配除x以外的任意字符 |
可以看出正則表達(dá)式嚴(yán)格區(qū)分大小寫.
重復(fù)限定符限定符共有6個(gè), 假設(shè)重復(fù)次數(shù)為x次, 那么將有如下規(guī)則:
| 限定符 | 描述 |
|---|---|
| * | x>=0 |
| + | x>=1 |
| ? | x=0 or x=1 |
| {n} | x=n |
| {n,} | x>=n |
| {n,m} | n<=x<=m |
[...] 匹配中括號(hào)內(nèi)字符之一. 如: [xyz] 匹配字符 x, y 或 z. 如果中括號(hào)中包含元字符, 則元字符降級(jí)為普通字符, 不再具有元字符的功能, 如 [+.?] 匹配 加號(hào), 點(diǎn)號(hào)或問號(hào).
排除性字符組[^…] 匹配任何未列出的字符,. 如: [^x] 匹配除x以外的任意字符.
多選結(jié)構(gòu)| 就是或的意思, 表示兩者中的一個(gè). 如: a|b 匹配a或者b字符.
括號(hào)括號(hào) 常用來界定重復(fù)限定符的范圍, 以及將字符分組. 如: (ab)+ 可以匹配abab..等, 其中 ab 便是一個(gè)分組.
轉(zhuǎn)義字符即轉(zhuǎn)義字符, 通常 * + ? | { [ ( ) ] }^ $ . # 和 空白 這些字符都需要轉(zhuǎn)義.
操作符的運(yùn)算優(yōu)先級(jí)轉(zhuǎn)義符
(), (?:), (?=), [] 圓括號(hào)或方括號(hào)
*, +, ?, {n}, {n,}, {n,m} 限定符
^, $ 位置
| "或" 操作
測(cè)試我們來測(cè)試下上面的知識(shí)點(diǎn), 寫一個(gè)匹配手機(jī)號(hào)碼的正則表達(dá)式, 如下:
(+86)?1d{10}
① "+86" 匹配文本 "+86", 后面接元字符問號(hào), 表示可匹配1次或0次, 合起來表示 "(+86)?" 匹配 "+86" 或者 "".
② 普通字符"1" 匹配文本 "1".
③ 元字符 "d" 匹配數(shù)字0到9, 區(qū)間量詞 "{10}" 表示匹配 10 次, 合起來表示 "d{10}" 匹配連續(xù)的10個(gè)數(shù)字.
以上, 匹配結(jié)果如下:
修飾符javaScript中正則表達(dá)式默認(rèn)有如下五種修飾符:
g (全文查找), 如上述截圖, 實(shí)際上就開啟了全文查找模式.
i (忽略大小寫查找)
m (多行查找)
y (ES6新增的粘連修飾符)
u (ES6新增)
常用的正則表達(dá)式漢字: ^[u4e00-u9fa5]{0,}$
Email: ^w+([-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*$
URL: ^https?://([w-]+.)+[w-]+(/[w-./?%&=]*)?$
手機(jī)號(hào)碼: ^1d{10}$
身份證號(hào): ^(d{15}|d{17}(d|X))$
中國(guó)郵政編碼: [1-9]d{5}(?!d) (郵政編碼為6位數(shù)字)
密碼驗(yàn)證密碼驗(yàn)證是常見的需求, 一般來說, 常規(guī)密碼大致會(huì)滿足規(guī)律: 6-16位, 數(shù)字, 字母, 字符至少包含兩種, 同時(shí)不能包含中文和空格. 如下便是常規(guī)密碼驗(yàn)證的正則描述:
var reg = /(?!^[0-9]+$)(?!^[A-z]+$)(?!^[^A-z0-9]+$)^[^su4e00-u9fa5]{6,16}$/;
正則的幾大家族
正則表達(dá)式分類
在 linux 和 osx 下, 常見的正則表達(dá)式, 至少有以下三種:
基本的正則表達(dá)式( Basic Regular Expression 又叫 Basic RegEx 簡(jiǎn)稱 BREs )
擴(kuò)展的正則表達(dá)式( Extended Regular Expression 又叫 Extended RegEx 簡(jiǎn)稱 EREs )
Perl 的正則表達(dá)式( Perl Regular Expression 又叫 Perl RegEx 簡(jiǎn)稱 PREs )
正則表達(dá)式比較| 字符 | 說明 | Basic RegEx | Extended RegEx | python RegEx | Perl regEx |
|---|---|---|---|---|---|
| 轉(zhuǎn)義 | |||||
| ^ | 匹配行首，例如"^dog"匹配以字符串dog開頭的行（注意：awk 指令中，"^"則是匹配字符串的開始） | ^ | ^ | ^ | ^ |
| $ | 匹配行尾，例如："^、dog$" 匹配以字符串 dog 為結(jié)尾的行（注意：awk 指令中，"$"則是匹配字符串的結(jié)尾） | $ | $ | $ | $ |
| ^$ | 匹配空行 | ^$ | ^$ | ^$ | ^$ |
| ^string$ | 匹配行，例如："^dog$"匹配只含一個(gè)字符串 dog 的行 | ^string$ | ^string$ | ^string$ | ^string$ |
| < | 匹配單詞，例如："| < |
< |
不支持 |
不支持（但可以使用b來匹配單詞，例如："bfrog"） |
|
| > | 匹配單詞，例如："frog>"（等價(jià)于"frogb "），匹配以 frog 結(jié)尾的單詞 | > | > | 不支持 | 不支持（但可以使用b來匹配單詞，例如："frogb"） |
| 匹配一個(gè)單詞或者一個(gè)特定字符，例如：" |
不支持 | 不支持（但可以使用b來匹配單詞，例如："bfrogb" | |||
| () | 匹配表達(dá)式，例如：不支持"（frog）" | 不支持（但可以使用，如：dog | () | () | () |
| 匹配表達(dá)式，例如：不支持"（frog）" | 不支持（同()) | 不支持（同()) | 不支持（同()) | ||
| ？ | 匹配前面的子表達(dá)式 0 次或 1 次（等價(jià)于{0,1}），例如：where(is)?能匹配"where" 以及"whereis" | 不支持（同?) | ？ | ？ | ？ |
| ? | 匹配前面的子表達(dá)式 0 次或 1 次（等價(jià)于"{0,1}"），例如："whereis? "能匹配 "where"以及"whereis" | ? | 不支持（同?) | 不支持（同?) | 不支持（同?) |
| ? | 當(dāng)該字符緊跟在任何一個(gè)其他限制符（*, +, ?, {n},{n,}, {n,m}） 后面時(shí)，匹配模式是非貪婪的。非貪婪模式盡可能少的匹配所搜索的字符串，而默認(rèn)的貪婪模式則盡可能多的匹配所搜索的字符串。例如，對(duì)于字符串 "oooo"，"o+?" 將匹配單個(gè)"o"，而 "o+" 將匹配所有 "o" | 不支持 | 不支持 | 不支持 | 不支持 |
| . | 匹配除換行符（"n"）之外的任意單個(gè)字符（注意：awk 指令中的句點(diǎn)能匹配換行符） | . | .（如果要匹配包括“n”在內(nèi)的任何一個(gè)字符，請(qǐng)使用: [sS] | . | .（如果要匹配包括“n”在內(nèi)的任何一個(gè)字符，請(qǐng)使用：" [.n] " |
| * | 匹配前面的子表達(dá)式 0 次或多次（等價(jià)于{0, }），例如：zo* 能匹配 "z"以及 "zoo" | * | * | * | * |
| + | 匹配前面的子表達(dá)式 1 次或多次（等價(jià)于"{1, }"），例如："whereis+ "能匹配 "whereis"以及"whereisis" | + | 不支持（同+) | 不支持（同+) | 不支持（同+) |
| + | 匹配前面的子表達(dá)式 1 次或多次（等價(jià)于{1, }），例如：zo+能匹配 "zo"以及 "zoo"，但不能匹配 "z" | 不支持（同+) | + | + | + |
| {n} | n 必須是一個(gè) 0 或者正整數(shù)，匹配子表達(dá)式 n 次，例如：zo{2}能匹配 | 不支持（同{n}) | {n} | {n} | {n} |
| {n,} | "zooz"，但不能匹配 "Bob"n 必須是一個(gè) 0 或者正整數(shù)，匹配子表達(dá)式大于等于 n次，例如：go{2,} | 不支持（同{n,}) | {n,} | {n,} | {n,} |
| {n,m} | 能匹配 "good"，但不能匹配 godm 和 n 均為非負(fù)整數(shù)，其中 n <= m，最少匹配 n 次且最多匹配 m 次 ，例如：o{1,3}將配"fooooood" 中的前三個(gè) o（請(qǐng)注意在逗號(hào)和兩個(gè)數(shù)之間不能有空格） | 不支持（同{n,m}) | {n,m} | {n,m} | {n,m} |
| x l y | 匹配 x 或 y | 不支持（同x l y | x l y | x l y | x l y |
| [0-9] | 匹配從 0 到 9 中的任意一個(gè)數(shù)字字符（注意：要寫成遞增） | [0-9] | [0-9] | [0-9] | [0-9] |
| [xyz] | 字符集合，匹配所包含的任意一個(gè)字符，例如："[abc]"可以匹配"lay" 中的 "a"（注意：如果元字符，例如：. *等，它們被放在[ ]中，那么它們將變成一個(gè)普通字符） | [xyz] | [xyz] | [xyz] | [xyz] |
| [^xyz] | 負(fù)值字符集合，匹配未包含的任意一個(gè)字符（注意：不包括換行符），例如："[^abc]" 可以匹配 "Lay" 中的"L"（注意：[^xyz]在awk 指令中則是匹配未包含的任意一個(gè)字符+換行符） | [^xyz] | [^xyz] | [^xyz] | [^xyz] |
| [A-Za-z] | 匹配大寫字母或者小寫字母中的任意一個(gè)字符（注意：要寫成遞增） | [A-Za-z] | [A-Za-z] | [A-Za-z] | [A-Za-z] |
| [^A-Za-z] | 匹配除了大寫與小寫字母之外的任意一個(gè)字符（注意：寫成遞增） | [^A-Za-z] | [^A-Za-z] | [^A-Za-z] | [^A-Za-z] |
| d | 匹配從 0 到 9 中的任意一個(gè)數(shù)字字符（等價(jià)于 [0-9]） | 不支持 | 不支持 | d | d |
| D | 匹配非數(shù)字字符（等價(jià)于 1） | 不支持 | 不支持 | D | D |
| S | 匹配任何非空白字符（等價(jià)于2） | 不支持 | 不支持 | S | S |
| s | 匹配任何空白字符，包括空格、制表符、換頁(yè)符等等（等價(jià)于[ fnrtv]） | 不支持 | 不支持 | s | s |
| W | 匹配任何非單詞字符 (等價(jià)于3) | W | W | W | W |
| w | 匹配包括下劃線的任何單詞字符（等價(jià)于[A-Za-z0-9_]） | w | w | w | w |
| B | 匹配非單詞邊界，例如："erB" 能匹配 "verb" 中的"er"，但不能匹配"never" 中的"er" | B | B | B | B |
| 匹配一個(gè)單詞邊界，也就是指單詞和空格間的位置，例如： "erb" 可以匹配"never" 中的 "er"，但不能匹配 "verb" 中的"er" | |||||
| 匹配一個(gè)橫向制表符（等價(jià)于 x09和 cI） | 不支持 | 不支持 | |||
| v | 匹配一個(gè)垂直制表符（等價(jià)于 x0b和 cK） | 不支持 | 不支持 | v | v |
| 匹配一個(gè)換行符（等價(jià)于 x0a 和cJ） | 不支持 | 不支持 | |||
| f | 匹配一個(gè)換頁(yè)符（等價(jià)于x0c 和cL） | 不支持 | 不支持 | f | f |
| 匹配一個(gè)回車符（等價(jià)于 x0d 和cM） | 不支持 | 不支持 | |||
| 匹配轉(zhuǎn)義字符本身"" | |||||
| cx | 匹配由 x 指明的控制字符，例如：cM匹配一個(gè)Control-M 或回車符，x 的值必須為A-Z 或 a-z 之一，否則，將 c 視為一個(gè)原義的 "c" 字符 | 不支持 | 不支持 | cx | |
| xn | 匹配 n，其中 n 為十六進(jìn)制轉(zhuǎn)義值。十六進(jìn)制轉(zhuǎn)義值必須為確定的兩個(gè)數(shù)字長(zhǎng)，例如："x41" 匹配 "A"。"x041" 則等價(jià)于"x04" & "1"。正則表達(dá)式中可以使用 ASCII 編碼 | 不支持 | 不支持 | xn | |
| num | 匹配 num，其中 num是一個(gè)正整數(shù)。表示對(duì)所獲取的匹配的引用 | 不支持 | num | num | |
| [:alnum:] | 匹配任何一個(gè)字母或數(shù)字（[A-Za-z0-9]），例如："[[:alnum:]] " | [:alnum:] | [:alnum:] | [:alnum:] | [:alnum:] |
| [:alpha:] | 匹配任何一個(gè)字母（[A－Za－z]）， 例如：" [[:alpha:]] " | [:alpha:] | [:alpha:] | [:alpha:] | [:alpha:] |
| [:digit:] | 匹配任何一個(gè)數(shù)字（[0-9]），例如："[[:digit:]] " | [:digit:] | [:digit:] | [:digit:] | [:digit:] |
| [:lower:] | 匹配任何一個(gè)小寫字母（[a-z]）， 例如：" [[:lower:]] " | [:lower:] | [:lower:] | [:lower:] | [:lower:] |
| [:upper:] | 匹配任何一個(gè)大寫字母（[A-Z]） | [:upper:] | [:upper:] | [:upper:] | [:upper:] |
| [:space:] | 任何一個(gè)空白字符： 支持制表符、空格，例如：" [[:space:]] " | [:space:] | [:space:] | [:space:] | [:space:] |
| [:blank:] | 空格和制表符（橫向和縱向），例如："[[:blank:]]"ó"[stv]" | [:blank:] | [:blank:] | [:blank:] | [:blank:] |
| [:graph:] | 任何一個(gè)可以看得見的且可以打印的字符（注意：不包括空格和換行符等），例如："[[:graph:]] " | [:graph:] | [:graph:] | [:graph:] | [:graph:] |
| [:print:] | 任何一個(gè)可以打印的字符（注意：不包括：[:cntrl:]、字符串結(jié)束符"0"、EOF 文件結(jié)束符（-1）， 但包括空格符號(hào)），例如："[[:print:]] " | [:print:] | [:print:] | [:print:] | [:print:] |
| [:cntrl:] | 任何一個(gè)控制字符（ASCII 字符集中的前 32 個(gè)字符，即：用十進(jìn)制表示為從 0 到31，例如：換行符、制表符等等），例如：" [[:cntrl:]]" | [:cntrl:] | [:cntrl:] | [:cntrl:] | [:cntrl:] |
| [:punct:] | 任何一個(gè)標(biāo)點(diǎn)符號(hào)（不包括：[:alnum:]、[:cntrl:]、[:space:]這些字符集） | [:punct:] | [:punct:] | [:punct:] | [:punct:] |
| [:xdigit:] | 任何一個(gè)十六進(jìn)制數(shù)（即：0-9，a-f，A-F） | [:xdigit:] | [:xdigit:] | [:xdigit:] | [:xdigit:] |
注意
js中支持的是EREs.
當(dāng)使用 BREs ( 基本正則表達(dá)式 ) 時(shí)，必須在下列這些符號(hào)(?,+,|,{,},(,))前加上轉(zhuǎn)義字符 .
上述[[:xxxx:]] 形式的正則表達(dá)式, 是php中內(nèi)置的通用字符簇, js中并不支持.
linux/osx下常用命令與正則表達(dá)式的關(guān)系我曾經(jīng)嘗試在 grep 和 sed 命令中書寫正則表達(dá)式, 經(jīng)常發(fā)現(xiàn)不能使用元字符, 而且有時(shí)候需要轉(zhuǎn)義, 有時(shí)候不需要轉(zhuǎn)義, 始終不能摸清它的規(guī)律. 如果恰好你也有同樣的困惑, 那么請(qǐng)往下看, 相信應(yīng)該能有所收獲.
grep , egrep , sed , awk 正則表達(dá)式特點(diǎn)grep 支持：BREs、EREs、PREs 正則表達(dá)式
grep 指令后不跟任何參數(shù), 則表示要使用 "BREs"
grep 指令后跟 ”-E" 參數(shù), 則表示要使用 "EREs"
grep 指令后跟 “-P" 參數(shù), 則表示要使用 "PREs"
egrep 支持：EREs、PREs 正則表達(dá)式
egrep 指令后不跟任何參數(shù), 則表示要使用 "EREs"
egrep 指令后跟 “-P" 參數(shù), 則表示要使用 "PREs"
sed 支持: BREs、EREs
sed 指令默認(rèn)是使用 "BREs"
sed 指令后跟 "-r" 參數(shù) , 則表示要使用“EREs"
awk 支持 EREs, 并且默認(rèn)使用 "EREs"
正則表達(dá)式初階技能 貪婪模式與非貪婪模式默認(rèn)情況下, 所有的限定詞都是貪婪模式, 表示盡可能多的去捕獲字符; 而在限定詞后增加?, 則是非貪婪模式, 表示盡可能少的去捕獲字符. 如下:
var str = "aaab",
reg1 = /a+/, //貪婪模式
reg2 = /a+?/;//非貪婪模式
console.log(str.match(reg1)); //["aaa"], 由于是貪婪模式, 捕獲了所有的a
console.log(str.match(reg2)); //["a"], 由于是非貪婪模式, 只捕獲到第一個(gè)a
實(shí)際上, 非貪婪模式非常有效, 特別是當(dāng)匹配html標(biāo)簽時(shí). 比如匹配一個(gè)配對(duì)出現(xiàn)的div, 方案一可能會(huì)匹配到很多的div標(biāo)簽對(duì), 而方案二則只會(huì)匹配一個(gè)div標(biāo)簽對(duì).
