應(yīng)該如何構(gòu)造復(fù)雜的正則表達(dá)式
更新時(shí)間:2012年09月09日 10:44:17 作者:
昨天Snopo問我如何寫一段正則表達(dá)式,來提取sql的條件語句。解答之余,想寫一篇文章介紹一下經(jīng)驗(yàn)
文題本來是《如何構(gòu)造復(fù)雜的正則表達(dá)式》,但是覺得有些歧義,就感覺正則式本來很簡單,我在教人如何將它小事化大一樣。正好相反,我的本意是說,即使復(fù)雜的正則式也不怕,找出合適的方法,將其構(gòu)造出來。
避重就輕
Snopo給出的文本是這樣的:or and name='zhangsan' and id=001 or age>20 or area='%renmin%' and like,問,如何提取其中正確的SQL查詢語句。
簡要分析可知,中間部分是合乎要求的,只是兩端的有若干個(gè)like, or, and。構(gòu)造能夠解析合乎SQL語法的查詢語句的正則表達(dá)式,應(yīng)該是比較復(fù)雜的。可是,對于具體的問題,也可以更簡單。上述的不良構(gòu)的SQL語句,應(yīng)該是使用程序自動(dòng)生成的,它的兩端會(huì)有一些不符合題意的文本。只要將這些文本去除就可以了。
于是,我寫出了正則表達(dá)式:s/^(?:(?:or|and|like)\s*)+|\s*(?:(?:or|and|like)\s*)+$//mi;,這樣就把多行字串首尾的like, or, and以及可能的空白字符全部去掉了,剩下的內(nèi)容即為所求。
分而治之
答案發(fā)過去之后,Snopo顯然不是很滿意這種“偷懶”的辦法。他繼續(xù)問道,能否寫出正則式,用來匹配合符SQL語法要求的條件查詢語句?(只考慮where部分即可,不必寫完整的select。)
的確,從快速解決問題的角度來說,只要能夠行之有效地解決,用什么辦法都可以;不過從學(xué)習(xí)知識(shí)的角度來說,不避重就輕,而是刨根問底,才是正途。既如此,就看一下如何使用正則,將該SQL查詢語句解決掉。
最簡單的查詢語句,應(yīng)該是真假判斷,即 where 1; where True; where false,等等。 這樣的語句使用正則式,直接/(?:-?\d+|True|False)/i。
稍復(fù)雜些的單條語句,可以是左右比較,即
name like 'zhang%', 或 age>25 ,或 work in ('it', 'hr', 'R&D')
。將其簡單化,結(jié)構(gòu)就變?yōu)锳 OP B。其中A代表變量,OP代表比較操作符,B代表值。
•A: 最簡單的A,應(yīng)該是\w+??紤]到實(shí)際情況,變量包含點(diǎn)號(hào)或脫字符,例如`table.salary`,可以記為/[\w.`]+/。這是比較籠統(tǒng)的細(xì)化。如果要求比較苛刻,還可以做到讓脫字符同時(shí)在左右兩邊出現(xiàn)(條件判斷)。
•OP: Where 常用的幾種關(guān)系比較為:=, <>, >, <, >=, <=, Between, Like, in。使用簡單的正則描述之,成為:/(?:[<>=]{1,2}|Between|Like|In)/i。
•B: B 的情況又可分為3種:變量,數(shù)字,字符串,列表。為簡單起見,這里就不考慮算術(shù)表達(dá)式了。
◦變量的話,直接延用A的定義即可。不贅述。
◦數(shù)字:使用/\d+/來定義。不考慮小數(shù)和負(fù)數(shù)了。
◦字符串:包括單引號(hào)字串和雙引號(hào)字串。中間可以包括被轉(zhuǎn)義的引號(hào)。我寫了一個(gè)符合這一要求的引號(hào)字串正則表達(dá)式,形如:/(['"])(?:\\['"]|[^\\1])*?\1/。不過,由于它只是龐大機(jī)器的一個(gè)零件,這樣寫的風(fēng)險(xiǎn)是極其大的。首先,它使用了反向引用;其次,該反向引用使用了全局的反向引用編號(hào)。我寫了自動(dòng)生成全局編號(hào)的函數(shù),來解決這一問題。不過,這里談細(xì)節(jié)是不是太深入了。應(yīng)該先談框架,再說細(xì)節(jié)才對。不應(yīng)該一入手就陷進(jìn)細(xì)節(jié)的汪洋大海。
◦列表:列表是形如(1, 3 , 4) 或 ("it", "hr", "r&d")之類的東東,它由簡單變量以逗號(hào)相連,兩邊加上括號(hào)組成。列表的單項(xiàng)以I表示,它代表 數(shù)字|字符串。此時(shí),列表就變?yōu)椋?\(I(?:,I)*?\)/。它表示,左括號(hào),一個(gè)I,一系列由逗號(hào)、I組成的其它列表項(xiàng)(0個(gè)或多個(gè)),右括號(hào)。簡單起見沒有考慮空白字符。
•至此,可以總結(jié)出單條語句的正則框架:S =~ /A OP B/i。S在此代表單條語句。
更為復(fù)雜的是多條語句,可以由單條語句組成,中間使用 and 或 or 連接。合理地構(gòu)造單條語句,將其穩(wěn)定地編制為多條語句,任務(wù)就完成了。
沿用上面的示例,以S代表單條語句,那么復(fù)合語句C就是 C =~ S(?:(?:or|and) S)*?/。至此,一個(gè)初具規(guī)模的條件語句解析器就誕生了。下面以python為例,一步一步實(shí)現(xiàn)出來。
Python實(shí)現(xiàn)
重申一句:雖然給出了實(shí)現(xiàn),但是仍請注重思路,忽略代碼。
#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://iregex.org
#filename test.py
#created: 2010-08-06 17:12
#generage quoted string;
#including ' and " string
#allow \' and \" inside
index=0
def gen_quote_str():
global index
index+=1
char=chr(96+index)
return r"""(?P<quote_%s>['"])(?:\\['"]|[^'"])*?(?P=quote_%s)"""% (char, char)
#simple variable
def a():
return r'[\w.`]+'
#operators
def op():
return r'(?:[<>=]{1,2}|Between|Like|In)'
#list item within (,)
#eg: 'a', 23, a.b, "asdfasdf\"aasdf"
def item():
return r"(?:%s|%s)" % (a(), gen_quote_str())
#a complite list, like
#eg: (23, 24, 44), ("regex", "is", "good")
def items():
return r"""\( \s*
%s
(?:,\s* %s)* \s*
\)""" % (item(), item())
#simple comparison
#eg: a=15 , b>23
def s():
return r"""%s \s* %s \s* (?:\w+| %s | %s )""" % (a(), op(), gen_quote_str(), items())
#complex comparison
# name like 'zhang%' and age>23 and work in ("hr", "it", 'r&d')
def c():
return r"""
(?ix) %s
(?:\s*
(?:and|or)\s*
%s \s*
)*
""" % (s(), s())
print "A:\t", a()
print "OP:\t", op()
print "ITEM:\t", item()
print "ITEMS:\t", items()
print "S:\t", s()
print "C:\t", c()
該代碼在我的機(jī)器上(Ubuntu 10.04, Python 2.6.5)運(yùn)行的結(jié)果是:
A: [\w.`]+
OP: (?:[<>=]{1,2}|Between|Like|In)
ITEM: (?:[\w.`]+|(?P<quote_a>['"])(?:\\['"]|[^'"])*?(?P=quote_a))
ITEMS: \( \s*
(?:[\w.`]+|(?P<quote_b>['"])(?:\\['"]|[^'"])*?(?P=quote_b))
(?:,\s* (?:[\w.`]+|(?P<quote_c>['"])(?:\\['"]|[^'"])*?(?P=quote_c)))* \s*
\)
S: [\w.`]+ \s* (?:[<>=]{1,2}|Between|Like|In) \s* (?:\w+| (?P<quote_d>['"])(?:\\['"]|[^'"])*?(?P=quote_d) | \( \s*
(?:[\w.`]+|(?P<quote_e>['"])(?:\\['"]|[^'"])*?(?P=quote_e))
(?:,\s* (?:[\w.`]+|(?P<quote_f>['"])(?:\\['"]|[^'"])*?(?P=quote_f)))* \s*
\) )
C:
(?ix) [\w.`]+ \s* (?:[<>=]{1,2}|Between|Like|In) \s* (?:\w+| (?P<quote_g>['"])(?:\\['"]|[^'"])*?(?P=quote_g) | \( \s*
(?:[\w.`]+|(?P<quote_h>['"])(?:\\['"]|[^'"])*?(?P=quote_h))
(?:,\s* (?:[\w.`]+|(?P<quote_i>['"])(?:\\['"]|[^'"])*?(?P=quote_i)))* \s*
\) )
(?:\s*
(?:and|or)\s*
[\w.`]+ \s* (?:[<>=]{1,2}|Between|Like|In) \s* (?:\w+| (?P<quote_j>['"])(?:\\['"]|[^'"])*?(?P=quote_j) | \( \s*
(?:[\w.`]+|(?P<quote_k>['"])(?:\\['"]|[^'"])*?(?P=quote_k))
(?:,\s* (?:[\w.`]+|(?P<quote_l>['"])(?:\\['"]|[^'"])*?(?P=quote_l)))* \s*
\) ) \s*
)*
請看匹配效果圖:

算術(shù)表達(dá)式
我記得剛才好像提到“為簡單起見,這里就不考慮算術(shù)表達(dá)式了”。不過,解析算術(shù)表達(dá)式是個(gè)非常有趣的話題,只要是算法書,都會(huì)提及(中綴表達(dá)式轉(zhuǎn)前綴表達(dá)式,諸如此類)。當(dāng)然它也可以使用正則表達(dá)式來描述。
其主要思路是:
expr -> expr + term | expr - term | term
term -> term * factor | term / factor | factor
factor -> digit | ( expr )
以及代碼:
#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://jb51.net
#filename math.py
#created: 2010-08-07 00:44
integer=r"\d+"
factor=r"%s (?:\. %s)?" % (integer, integer)
term= "%s(?: \s* [*/] \s* %s)* " % (factor, factor)
expr= "(?x) %s(?: \s* [+-] \s* %s)* " % (term, term)
print expr
看一下它的輸出和匹配效果圖:

小貼士
•如果不用復(fù)雜的正則式就能解決問題,一定不要用。
•如果必須寫比較復(fù)雜的正則式,請參考以下原則。
•從大處著眼,先理解待解析的文本的整體結(jié)構(gòu)是什么樣子,劃分為小部件;
•從細(xì)處著手,試圖實(shí)現(xiàn)每一個(gè)小部件,力求每一部分都是完整、堅(jiān)固的,且放在全局也不會(huì)沖突。
•合理組裝這些部件。
•分而治之的好處:只有某個(gè)模塊出錯(cuò),其它部分沒錯(cuò)時(shí),可以迅速定位錯(cuò)誤,消除BUG。
•謹(jǐn)慎使用捕獲括號(hào),除非你知道自己在做什么,知道它會(huì)有什么副作用,以及是否有可行的解決措施。對于短小的正則式來說,一兩個(gè)多余的括號(hào)是無傷大雅的;但是對于復(fù)雜的正則式來說,一對多余的括號(hào)可能就是致命的錯(cuò)誤。
•盡量使用free-space模式。此時(shí)你可以自由地添加注釋和空白字符,以便提高正則表達(dá)式的可讀性。
避重就輕
Snopo給出的文本是這樣的:or and name='zhangsan' and id=001 or age>20 or area='%renmin%' and like,問,如何提取其中正確的SQL查詢語句。
簡要分析可知,中間部分是合乎要求的,只是兩端的有若干個(gè)like, or, and。構(gòu)造能夠解析合乎SQL語法的查詢語句的正則表達(dá)式,應(yīng)該是比較復(fù)雜的。可是,對于具體的問題,也可以更簡單。上述的不良構(gòu)的SQL語句,應(yīng)該是使用程序自動(dòng)生成的,它的兩端會(huì)有一些不符合題意的文本。只要將這些文本去除就可以了。
于是,我寫出了正則表達(dá)式:s/^(?:(?:or|and|like)\s*)+|\s*(?:(?:or|and|like)\s*)+$//mi;,這樣就把多行字串首尾的like, or, and以及可能的空白字符全部去掉了,剩下的內(nèi)容即為所求。
分而治之
答案發(fā)過去之后,Snopo顯然不是很滿意這種“偷懶”的辦法。他繼續(xù)問道,能否寫出正則式,用來匹配合符SQL語法要求的條件查詢語句?(只考慮where部分即可,不必寫完整的select。)
的確,從快速解決問題的角度來說,只要能夠行之有效地解決,用什么辦法都可以;不過從學(xué)習(xí)知識(shí)的角度來說,不避重就輕,而是刨根問底,才是正途。既如此,就看一下如何使用正則,將該SQL查詢語句解決掉。
最簡單的查詢語句,應(yīng)該是真假判斷,即 where 1; where True; where false,等等。 這樣的語句使用正則式,直接/(?:-?\d+|True|False)/i。
稍復(fù)雜些的單條語句,可以是左右比較,即
復(fù)制代碼 代碼如下:
name like 'zhang%', 或 age>25 ,或 work in ('it', 'hr', 'R&D')
。將其簡單化,結(jié)構(gòu)就變?yōu)锳 OP B。其中A代表變量,OP代表比較操作符,B代表值。
•A: 最簡單的A,應(yīng)該是\w+??紤]到實(shí)際情況,變量包含點(diǎn)號(hào)或脫字符,例如`table.salary`,可以記為/[\w.`]+/。這是比較籠統(tǒng)的細(xì)化。如果要求比較苛刻,還可以做到讓脫字符同時(shí)在左右兩邊出現(xiàn)(條件判斷)。
•OP: Where 常用的幾種關(guān)系比較為:=, <>, >, <, >=, <=, Between, Like, in。使用簡單的正則描述之,成為:/(?:[<>=]{1,2}|Between|Like|In)/i。
•B: B 的情況又可分為3種:變量,數(shù)字,字符串,列表。為簡單起見,這里就不考慮算術(shù)表達(dá)式了。
◦變量的話,直接延用A的定義即可。不贅述。
◦數(shù)字:使用/\d+/來定義。不考慮小數(shù)和負(fù)數(shù)了。
◦字符串:包括單引號(hào)字串和雙引號(hào)字串。中間可以包括被轉(zhuǎn)義的引號(hào)。我寫了一個(gè)符合這一要求的引號(hào)字串正則表達(dá)式,形如:/(['"])(?:\\['"]|[^\\1])*?\1/。不過,由于它只是龐大機(jī)器的一個(gè)零件,這樣寫的風(fēng)險(xiǎn)是極其大的。首先,它使用了反向引用;其次,該反向引用使用了全局的反向引用編號(hào)。我寫了自動(dòng)生成全局編號(hào)的函數(shù),來解決這一問題。不過,這里談細(xì)節(jié)是不是太深入了。應(yīng)該先談框架,再說細(xì)節(jié)才對。不應(yīng)該一入手就陷進(jìn)細(xì)節(jié)的汪洋大海。
◦列表:列表是形如(1, 3 , 4) 或 ("it", "hr", "r&d")之類的東東,它由簡單變量以逗號(hào)相連,兩邊加上括號(hào)組成。列表的單項(xiàng)以I表示,它代表 數(shù)字|字符串。此時(shí),列表就變?yōu)椋?\(I(?:,I)*?\)/。它表示,左括號(hào),一個(gè)I,一系列由逗號(hào)、I組成的其它列表項(xiàng)(0個(gè)或多個(gè)),右括號(hào)。簡單起見沒有考慮空白字符。
•至此,可以總結(jié)出單條語句的正則框架:S =~ /A OP B/i。S在此代表單條語句。
更為復(fù)雜的是多條語句,可以由單條語句組成,中間使用 and 或 or 連接。合理地構(gòu)造單條語句,將其穩(wěn)定地編制為多條語句,任務(wù)就完成了。
沿用上面的示例,以S代表單條語句,那么復(fù)合語句C就是 C =~ S(?:(?:or|and) S)*?/。至此,一個(gè)初具規(guī)模的條件語句解析器就誕生了。下面以python為例,一步一步實(shí)現(xiàn)出來。
Python實(shí)現(xiàn)
重申一句:雖然給出了實(shí)現(xiàn),但是仍請注重思路,忽略代碼。
復(fù)制代碼 代碼如下:
#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://iregex.org
#filename test.py
#created: 2010-08-06 17:12
#generage quoted string;
#including ' and " string
#allow \' and \" inside
index=0
def gen_quote_str():
global index
index+=1
char=chr(96+index)
return r"""(?P<quote_%s>['"])(?:\\['"]|[^'"])*?(?P=quote_%s)"""% (char, char)
#simple variable
def a():
return r'[\w.`]+'
#operators
def op():
return r'(?:[<>=]{1,2}|Between|Like|In)'
#list item within (,)
#eg: 'a', 23, a.b, "asdfasdf\"aasdf"
def item():
return r"(?:%s|%s)" % (a(), gen_quote_str())
#a complite list, like
#eg: (23, 24, 44), ("regex", "is", "good")
def items():
return r"""\( \s*
%s
(?:,\s* %s)* \s*
\)""" % (item(), item())
#simple comparison
#eg: a=15 , b>23
def s():
return r"""%s \s* %s \s* (?:\w+| %s | %s )""" % (a(), op(), gen_quote_str(), items())
#complex comparison
# name like 'zhang%' and age>23 and work in ("hr", "it", 'r&d')
def c():
return r"""
(?ix) %s
(?:\s*
(?:and|or)\s*
%s \s*
)*
""" % (s(), s())
print "A:\t", a()
print "OP:\t", op()
print "ITEM:\t", item()
print "ITEMS:\t", items()
print "S:\t", s()
print "C:\t", c()
該代碼在我的機(jī)器上(Ubuntu 10.04, Python 2.6.5)運(yùn)行的結(jié)果是:
復(fù)制代碼 代碼如下:
A: [\w.`]+
OP: (?:[<>=]{1,2}|Between|Like|In)
ITEM: (?:[\w.`]+|(?P<quote_a>['"])(?:\\['"]|[^'"])*?(?P=quote_a))
ITEMS: \( \s*
(?:[\w.`]+|(?P<quote_b>['"])(?:\\['"]|[^'"])*?(?P=quote_b))
(?:,\s* (?:[\w.`]+|(?P<quote_c>['"])(?:\\['"]|[^'"])*?(?P=quote_c)))* \s*
\)
S: [\w.`]+ \s* (?:[<>=]{1,2}|Between|Like|In) \s* (?:\w+| (?P<quote_d>['"])(?:\\['"]|[^'"])*?(?P=quote_d) | \( \s*
(?:[\w.`]+|(?P<quote_e>['"])(?:\\['"]|[^'"])*?(?P=quote_e))
(?:,\s* (?:[\w.`]+|(?P<quote_f>['"])(?:\\['"]|[^'"])*?(?P=quote_f)))* \s*
\) )
C:
(?ix) [\w.`]+ \s* (?:[<>=]{1,2}|Between|Like|In) \s* (?:\w+| (?P<quote_g>['"])(?:\\['"]|[^'"])*?(?P=quote_g) | \( \s*
(?:[\w.`]+|(?P<quote_h>['"])(?:\\['"]|[^'"])*?(?P=quote_h))
(?:,\s* (?:[\w.`]+|(?P<quote_i>['"])(?:\\['"]|[^'"])*?(?P=quote_i)))* \s*
\) )
(?:\s*
(?:and|or)\s*
[\w.`]+ \s* (?:[<>=]{1,2}|Between|Like|In) \s* (?:\w+| (?P<quote_j>['"])(?:\\['"]|[^'"])*?(?P=quote_j) | \( \s*
(?:[\w.`]+|(?P<quote_k>['"])(?:\\['"]|[^'"])*?(?P=quote_k))
(?:,\s* (?:[\w.`]+|(?P<quote_l>['"])(?:\\['"]|[^'"])*?(?P=quote_l)))* \s*
\) ) \s*
)*
請看匹配效果圖:

算術(shù)表達(dá)式
我記得剛才好像提到“為簡單起見,這里就不考慮算術(shù)表達(dá)式了”。不過,解析算術(shù)表達(dá)式是個(gè)非常有趣的話題,只要是算法書,都會(huì)提及(中綴表達(dá)式轉(zhuǎn)前綴表達(dá)式,諸如此類)。當(dāng)然它也可以使用正則表達(dá)式來描述。
其主要思路是:
復(fù)制代碼 代碼如下:
expr -> expr + term | expr - term | term
term -> term * factor | term / factor | factor
factor -> digit | ( expr )
以及代碼:
復(fù)制代碼 代碼如下:
#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://jb51.net
#filename math.py
#created: 2010-08-07 00:44
integer=r"\d+"
factor=r"%s (?:\. %s)?" % (integer, integer)
term= "%s(?: \s* [*/] \s* %s)* " % (factor, factor)
expr= "(?x) %s(?: \s* [+-] \s* %s)* " % (term, term)
print expr
看一下它的輸出和匹配效果圖:

小貼士
•如果不用復(fù)雜的正則式就能解決問題,一定不要用。
•如果必須寫比較復(fù)雜的正則式,請參考以下原則。
•從大處著眼,先理解待解析的文本的整體結(jié)構(gòu)是什么樣子,劃分為小部件;
•從細(xì)處著手,試圖實(shí)現(xiàn)每一個(gè)小部件,力求每一部分都是完整、堅(jiān)固的,且放在全局也不會(huì)沖突。
•合理組裝這些部件。
•分而治之的好處:只有某個(gè)模塊出錯(cuò),其它部分沒錯(cuò)時(shí),可以迅速定位錯(cuò)誤,消除BUG。
•謹(jǐn)慎使用捕獲括號(hào),除非你知道自己在做什么,知道它會(huì)有什么副作用,以及是否有可行的解決措施。對于短小的正則式來說,一兩個(gè)多余的括號(hào)是無傷大雅的;但是對于復(fù)雜的正則式來說,一對多余的括號(hào)可能就是致命的錯(cuò)誤。
•盡量使用free-space模式。此時(shí)你可以自由地添加注釋和空白字符,以便提高正則表達(dá)式的可讀性。
相關(guān)文章
重溫JavaScript中的正則表達(dá)式 js學(xué)習(xí)筆記
創(chuàng)建正則表達(dá)式和創(chuàng)建字符串類似 , 創(chuàng)建正則表達(dá)式提供了兩種方法 , 一種是采用 new運(yùn)算符,另一個(gè)是采用字面量方式2012-07-07正則表達(dá)式匹配0-10的正整數(shù)以及使用細(xì)節(jié)
我們可以使用正則表達(dá)式來代表一些我們希望的字符串類型,比如正整數(shù),下面這篇文章主要給大家介紹了關(guān)于正則表達(dá)式匹配0-10的正整數(shù)以及使用細(xì)節(jié)的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-11-11正則表達(dá)式 \D 元字符(等價(jià)于"[^0-9]")
\D元字符可以匹配非數(shù)字字符,等價(jià)于"[^0-9]"。這篇文章主要介紹了正則表達(dá)式 \D 元字符的相關(guān)資料,需要的朋友可以參考下2018-01-01正則表達(dá)式、分組、子匹配(子模式)、非捕獲子匹配(子模式)
前面我們知道正則表達(dá)式有很多元字符表示匹配次數(shù)(量詞),都是可以重復(fù)匹配前面出現(xiàn)的單個(gè)字符次數(shù),需要的朋友可以參考下2016-06-06代替正則——HyperScriptExpression聯(lián)合開發(fā)倡議公告
代替正則——HyperScriptExpression聯(lián)合開發(fā)倡議公告...2007-01-01