欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

應(yīng)該如何構(gòu)造復(fù)雜的正則表達(dá)式

 更新時(shí)間:2012年09月09日 10:44:17   作者:  
昨天Snopo問我如何寫一段正則表達(dá)式,來提取sql的條件語句。解答之余,想寫一篇文章介紹一下經(jīng)驗(yàn)
文題本來是《如何構(gòu)造復(fù)雜的正則表達(dá)式》,但是覺得有些歧義,就感覺正則式本來很簡單,我在教人如何將它小事化大一樣。正好相反,我的本意是說,即使復(fù)雜的正則式也不怕,找出合適的方法,將其構(gòu)造出來。

避重就輕

Snopo給出的文本是這樣的:or and name='zhangsan' and id=001 or age>20 or area='%renmin%' and like,問,如何提取其中正確的SQL查詢語句。

簡要分析可知,中間部分是合乎要求的,只是兩端的有若干個(gè)like, or, and。構(gòu)造能夠解析合乎SQL語法的查詢語句的正則表達(dá)式,應(yīng)該是比較復(fù)雜的。可是,對于具體的問題,也可以更簡單。上述的不良構(gòu)的SQL語句,應(yīng)該是使用程序自動(dòng)生成的,它的兩端會(huì)有一些不符合題意的文本。只要將這些文本去除就可以了。

于是,我寫出了正則表達(dá)式:s/^(?:(?:or|and|like)\s*)+|\s*(?:(?:or|and|like)\s*)+$//mi;,這樣就把多行字串首尾的like, or, and以及可能的空白字符全部去掉了,剩下的內(nèi)容即為所求。

分而治之

答案發(fā)過去之后,Snopo顯然不是很滿意這種“偷懶”的辦法。他繼續(xù)問道,能否寫出正則式,用來匹配合符SQL語法要求的條件查詢語句?(只考慮where部分即可,不必寫完整的select。)

的確,從快速解決問題的角度來說,只要能夠行之有效地解決,用什么辦法都可以;不過從學(xué)習(xí)知識(shí)的角度來說,不避重就輕,而是刨根問底,才是正途。既如此,就看一下如何使用正則,將該SQL查詢語句解決掉。

最簡單的查詢語句,應(yīng)該是真假判斷,即 where 1; where True; where false,等等。 這樣的語句使用正則式,直接/(?:-?\d+|True|False)/i。

稍復(fù)雜些的單條語句,可以是左右比較,即

復(fù)制代碼 代碼如下:

name like 'zhang%', 或 age>25 ,或 work in ('it', 'hr', 'R&D')

。將其簡單化,結(jié)構(gòu)就變?yōu)锳 OP B。其中A代表變量,OP代表比較操作符,B代表值。

•A: 最簡單的A,應(yīng)該是\w+??紤]到實(shí)際情況,變量包含點(diǎn)號(hào)或脫字符,例如`table.salary`,可以記為/[\w.`]+/。這是比較籠統(tǒng)的細(xì)化。如果要求比較苛刻,還可以做到讓脫字符同時(shí)在左右兩邊出現(xiàn)(條件判斷)。
•OP: Where 常用的幾種關(guān)系比較為:=, <>, >, <, >=, <=, Between, Like, in。使用簡單的正則描述之,成為:/(?:[<>=]{1,2}|Between|Like|In)/i。
•B: B 的情況又可分為3種:變量,數(shù)字,字符串,列表。為簡單起見,這里就不考慮算術(shù)表達(dá)式了。

◦變量的話,直接延用A的定義即可。不贅述。
◦數(shù)字:使用/\d+/來定義。不考慮小數(shù)和負(fù)數(shù)了。

◦字符串:包括單引號(hào)字串和雙引號(hào)字串。中間可以包括被轉(zhuǎn)義的引號(hào)。我寫了一個(gè)符合這一要求的引號(hào)字串正則表達(dá)式,形如:/(['"])(?:\\['"]|[^\\1])*?\1/。不過,由于它只是龐大機(jī)器的一個(gè)零件,這樣寫的風(fēng)險(xiǎn)是極其大的。首先,它使用了反向引用;其次,該反向引用使用了全局的反向引用編號(hào)。我寫了自動(dòng)生成全局編號(hào)的函數(shù),來解決這一問題。不過,這里談細(xì)節(jié)是不是太深入了。應(yīng)該先談框架,再說細(xì)節(jié)才對。不應(yīng)該一入手就陷進(jìn)細(xì)節(jié)的汪洋大海。

◦列表:列表是形如(1, 3 , 4) 或 ("it", "hr", "r&d")之類的東東,它由簡單變量以逗號(hào)相連,兩邊加上括號(hào)組成。列表的單項(xiàng)以I表示,它代表 數(shù)字|字符串。此時(shí),列表就變?yōu)椋?\(I(?:,I)*?\)/。它表示,左括號(hào),一個(gè)I,一系列由逗號(hào)、I組成的其它列表項(xiàng)(0個(gè)或多個(gè)),右括號(hào)。簡單起見沒有考慮空白字符。
•至此,可以總結(jié)出單條語句的正則框架:S =~ /A OP B/i。S在此代表單條語句。
更為復(fù)雜的是多條語句,可以由單條語句組成,中間使用 and 或 or 連接。合理地構(gòu)造單條語句,將其穩(wěn)定地編制為多條語句,任務(wù)就完成了。

沿用上面的示例,以S代表單條語句,那么復(fù)合語句C就是 C =~ S(?:(?:or|and) S)*?/。至此,一個(gè)初具規(guī)模的條件語句解析器就誕生了。下面以python為例,一步一步實(shí)現(xiàn)出來。

Python實(shí)現(xiàn)
重申一句:雖然給出了實(shí)現(xiàn),但是仍請注重思路,忽略代碼。
復(fù)制代碼 代碼如下:

#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://iregex.org
#filename test.py
#created: 2010-08-06 17:12

#generage quoted string;
#including ' and " string
#allow \' and \" inside
index=0
def gen_quote_str():

global index
index+=1
char=chr(96+index)
return r"""(?P<quote_%s>['"])(?:\\['"]|[^'"])*?(?P=quote_%s)"""% (char, char)


#simple variable
def a():
return r'[\w.`]+'

#operators
def op():
return r'(?:[<>=]{1,2}|Between|Like|In)'


#list item within (,)
#eg: 'a', 23, a.b, "asdfasdf\"aasdf"
def item():
return r"(?:%s|%s)" % (a(), gen_quote_str())


#a complite list, like
#eg: (23, 24, 44), ("regex", "is", "good")
def items():
return r"""\( \s*
%s
(?:,\s* %s)* \s*
\)""" % (item(), item())

#simple comparison
#eg: a=15 , b>23
def s():
return r"""%s \s* %s \s* (?:\w+| %s | %s )""" % (a(), op(), gen_quote_str(), items())

#complex comparison
# name like 'zhang%' and age>23 and work in ("hr", "it", 'r&d')
def c():
return r"""
(?ix) %s
(?:\s*
(?:and|or)\s*
%s \s*
)*
""" % (s(), s())

print "A:\t", a()
print "OP:\t", op()
print "ITEM:\t", item()
print "ITEMS:\t", items()
print "S:\t", s()
print "C:\t", c()

該代碼在我的機(jī)器上(Ubuntu 10.04, Python 2.6.5)運(yùn)行的結(jié)果是:
復(fù)制代碼 代碼如下:

A: [\w.`]+
OP: (?:[<>=]{1,2}|Between|Like|In)
ITEM: (?:[\w.`]+|(?P<quote_a>['"])(?:\\['"]|[^'"])*?(?P=quote_a))
ITEMS: \( \s*
(?:[\w.`]+|(?P<quote_b>['"])(?:\\['"]|[^'"])*?(?P=quote_b))
(?:,\s* (?:[\w.`]+|(?P<quote_c>['"])(?:\\['"]|[^'"])*?(?P=quote_c)))* \s*
\)
S: [\w.`]+ \s* (?:[<>=]{1,2}|Between|Like|In) \s* (?:\w+| (?P<quote_d>['"])(?:\\['"]|[^'"])*?(?P=quote_d) | \( \s*
(?:[\w.`]+|(?P<quote_e>['"])(?:\\['"]|[^'"])*?(?P=quote_e))
(?:,\s* (?:[\w.`]+|(?P<quote_f>['"])(?:\\['"]|[^'"])*?(?P=quote_f)))* \s*
\) )
C:
(?ix) [\w.`]+ \s* (?:[<>=]{1,2}|Between|Like|In) \s* (?:\w+| (?P<quote_g>['"])(?:\\['"]|[^'"])*?(?P=quote_g) | \( \s*
(?:[\w.`]+|(?P<quote_h>['"])(?:\\['"]|[^'"])*?(?P=quote_h))
(?:,\s* (?:[\w.`]+|(?P<quote_i>['"])(?:\\['"]|[^'"])*?(?P=quote_i)))* \s*
\) )
(?:\s*
(?:and|or)\s*
[\w.`]+ \s* (?:[<>=]{1,2}|Between|Like|In) \s* (?:\w+| (?P<quote_j>['"])(?:\\['"]|[^'"])*?(?P=quote_j) | \( \s*
(?:[\w.`]+|(?P<quote_k>['"])(?:\\['"]|[^'"])*?(?P=quote_k))
(?:,\s* (?:[\w.`]+|(?P<quote_l>['"])(?:\\['"]|[^'"])*?(?P=quote_l)))* \s*
\) ) \s*
)*

請看匹配效果圖:



算術(shù)表達(dá)式

我記得剛才好像提到“為簡單起見,這里就不考慮算術(shù)表達(dá)式了”。不過,解析算術(shù)表達(dá)式是個(gè)非常有趣的話題,只要是算法書,都會(huì)提及(中綴表達(dá)式轉(zhuǎn)前綴表達(dá)式,諸如此類)。當(dāng)然它也可以使用正則表達(dá)式來描述。

其主要思路是:

復(fù)制代碼 代碼如下:

expr -> expr + term | expr - term | term
term -> term * factor | term / factor | factor
factor -> digit | ( expr )

以及代碼:
復(fù)制代碼 代碼如下:

#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://jb51.net
#filename math.py
#created: 2010-08-07 00:44

integer=r"\d+"

factor=r"%s (?:\. %s)?" % (integer, integer)

term= "%s(?: \s* [*/] \s* %s)* " % (factor, factor)

expr= "(?x) %s(?: \s* [+-] \s* %s)* " % (term, term)

print expr

看一下它的輸出和匹配效果圖:


小貼士

•如果不用復(fù)雜的正則式就能解決問題,一定不要用。
•如果必須寫比較復(fù)雜的正則式,請參考以下原則。
•從大處著眼,先理解待解析的文本的整體結(jié)構(gòu)是什么樣子,劃分為小部件;
•從細(xì)處著手,試圖實(shí)現(xiàn)每一個(gè)小部件,力求每一部分都是完整、堅(jiān)固的,且放在全局也不會(huì)沖突。
•合理組裝這些部件。
•分而治之的好處:只有某個(gè)模塊出錯(cuò),其它部分沒錯(cuò)時(shí),可以迅速定位錯(cuò)誤,消除BUG。
•謹(jǐn)慎使用捕獲括號(hào),除非你知道自己在做什么,知道它會(huì)有什么副作用,以及是否有可行的解決措施。對于短小的正則式來說,一兩個(gè)多余的括號(hào)是無傷大雅的;但是對于復(fù)雜的正則式來說,一對多余的括號(hào)可能就是致命的錯(cuò)誤。
•盡量使用free-space模式。此時(shí)你可以自由地添加注釋和空白字符,以便提高正則表達(dá)式的可讀性。

相關(guān)文章

最新評(píng)論