正则表达式简明教程 - grep Vim的查找与替换实例
概论：
在各种有关文本处理的程序中，往往要用到正则表达式。熟练掌握正则表达式，是一项基本技能。本文，主要说明正则表达式的原理与应用，并给出了详细例子，用于情景学习，无论是使用VIM ，sed，awk，grep等程序，都能在本文着那个找到帮助。
1.基础知识
什么是字符？
字符，符号简单的说就是抽象，一定的符号表示一定的意义。一般来说，字符含义有三种“一般字符、特殊字符、转义字符”。例如在ASCII中，a就表示a（一般字符）；/表示转意后面一个字符，%表示格式化输出（特殊字符）；\n表示回车（转义字符），就是让n不代表它本身的意义（一般意义或者特殊意义）.同时，转义字符可以让一个一般字符也表达特殊意义如\a,也可以让一个特殊字符表达一般意义/%。 不同语言体系的特殊字符不同，转意字符也不同。例如在汉语中，“。”表示句子的终结，但是放在转义字符“”之中就仅仅表示“。”。（所以，从理论上说，只 要你喜欢，你完全可以把所有的转义字符和格式化特殊字符都用普通字符来表示，不过此时，你的符号系统需要更多的字符来区分）
2.正则表达式
如你所知，我们通常意义上说的正则表达式其实包含两部分：正则表达式的处理引擎（grep，C#等程序中都包含）和正则表达式语法，一定的语法要输入在引擎中才能起作用，理解这一点很重要。而本文主要为你讲述正则表达式的语法。
下面，谈一谈正则表达式中的转义字符（注意，不同的语系中特殊字符的含义不同，例如C语言中$是一般字符，但在正则表达式中却不是）：
2.1特殊字符：
/ [ ] ^ % $ * + . | ( ) –
| 特别字符 | 说明 |
| $ | 匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则 $ 也匹配 ‘\n' 或‘\r'。要匹配 $ 字符本身，请使用 \$。 |
| () | 标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用 \( 和 \)。 |
| * | 匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 \*。 |
| + | 匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 \+。 |
| . | 匹配除换行符 \n之外的任何单字符。要匹配 .，请使用 \。 |
| [] | 标记一个中括号表达式的开始。要匹配 [，请使用 \[。 |
| ? | 匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。要匹配 ? 字符，请使用 \?。 |
| \ | 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如， ‘n' 匹配字符 ‘n'。'\n' 匹配换行符。序列 ‘\\' 匹配 “\”，而 ‘\(' 则匹配 “(”。 |
| ^ | 匹配输入字符串的开始位置，除非在方括号表达式中使用，此时它表示不接受该字符集合。要匹配 ^ 字符本身，请使用 \^。 |
| {} | 标记限定符表达式的开始。要匹配 {，请使用 \{。 |
| | | 指明两项之间的一个选择。要匹配 |，请使用 \|。 |
2.2转义
\d
表示一个数位字符,等价与[0-9].
\D
表示一个非数位字符,等价与[^0-9].
\f
表示一个form-feed字符(unix).
\n
表示一个linefeed字符(新行符).
\r
表示一个carriagereturn字符(复位符).
\s
表示任意一个非换行符的whitespace(空白字符),包括空格,tab,form-feed等.
\S
表示一个非换行符的non-whitespace(非空白字符).
\t
表示一个tab.
\v
表示一个纵向tab(unix).
\w
表示任意一个显示字符,包括下划线(数字,字母,特殊符号等,但不包括whitespace).
\W
表示任意一个非显示字符(non-wordcharacter).
2.3元字符
| 元字符 | 描述 |
| \ | 将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“\n”匹配字符“n”。“\\n”匹配一个换行符。序列“\\”匹配“\”而“\(”则匹配“(”。 |
| ^ | 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。 |
| $ | 匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性，$也匹配“\n”或“\r”之前的位置。 |
| * | 匹配前面的子表达式零次或多次。例如，zo*能匹配“z”以及“zoo”。*等价于{0,}。 |
| + | 匹配前面的子表达式一次或多次。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。 |
| ? | 匹配前面的子表达式零次或一次。例如，“do(es)?”可以匹配“does”或“does”中的“do”。?等价于{0,1}。 |
| {n} | n是一个非负整数。匹配确定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个o。 |
| {n,} | n是一个非负整数。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。 |
| {n,m} | m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。 |
| ? | 当该字符紧跟在任何一个其他限制符（*,+,?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串“oooo”，“o+?”将匹配单个“o”，而“o+”将匹配所有“o”。 |
| .点 | 匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符，请使用像“[\s\S]”的模式。 |
| (pattern) | 匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到，在VBScript中使用SubMatches集合，在JScript中则使用$0…$9属性。要匹配圆括号字符，请使用“\(”或“\)”。 |
| (?:pattern) | 匹配pattern但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用或字符“(|)”来组合一个模式的各个部分是很有用。例如“industr(?:y|ies)”就是一个比“industry|industries”更简略的表达式。 |
| (?=pattern) | 正向肯定预查，在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如，“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”，但不能匹配“Windows3.1”中的“Windows”。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。 |
| (?!pattern) | 正向否定预查，在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”，但不能匹配“Windows2000”中的“Windows”。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。 |
| (?<=pattern) | 反向肯定预查，与正向肯定预查类似，只是方向相反。例如，“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”，但不能匹配“3.1Windows”中的“Windows”。 |
| (? | 反向否定预查，与正向否定预查类似，只是方向相反。例如“(?能匹配“3.1Windows”中的“Windows”，但不能匹配“2000Windows”中的“Windows”。 |
| x|y | 匹配x或y。例如，“z|food”能匹配“z”或“food”。“(z|f)ood”则匹配“zood”或“food”。 |
| [xyz] | 字符集合。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”。 |
| [^xyz] | 负值字符集合。匹配未包含的任意字符。例如，“[^abc]”可以匹配“plain”中的“plin”。 |
| [a-z] | 字符范围。匹配指定范围内的任意字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。 |
| [^a-z] | 负值字符范围。匹配任何不在指定范围内的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。 |
| \b | 匹配一个单词边界，也就是指单词和空格间的位置。例如，“er\b”可以匹配“never”中的“er”，但不能匹配“verb”中的“er”。 |
| \B | 匹配非单词边界。“er\B”能匹配“verb”中的“er”，但不能匹配“never”中的“er”。 |
| \cx | 匹配由x指明的控制字符。例如，\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则，将c视为一个原义的“c”字符。 |
| \d | 匹配一个数字字符。等价于[0-9]。 |
| \D | 匹配一个非数字字符。等价于[^0-9]。 |
| \f | 匹配一个换页符。等价于\x0c和\cL。 |
| \n | 匹配一个换行符。等价于\x0a和\cJ。 |
| \r | 匹配一个回车符。等价于\x0d和\cM。 |
| \s | 匹配任何空白字符，包括空格、制表符、换页符等等。等价于[\f\n\r\t\v]。 |
| \S | 匹配任何非空白字符。等价于[^\f\n\r\t\v]。 |
| \t | 匹配一个制表符。等价于\x09和\cI。 |
| \v | 匹配一个垂直制表符。等价于\x0b和\cK。 |
| \w | 匹配包括下划线的任何单词字符。等价于“[A-Za-z0-9_]”。 |
| \W | 匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。 |
| \xn | 匹配n，其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，“\x41”匹配“A”。“\x041”则等价于“\x04&1”。正则表达式中可以使用ASCII编码。 |
| \num | 匹配num，其中num是一个正整数。对所获取的匹配的引用。例如，“(.)\1”匹配两个连续的相同字符。 |
| \n | 标识一个八进制转义值或一个向后引用。如果\n之前至少n个获取的子表达式，则n为向后引用。否则，如果n为八进制数字（0-7），则n为一个八进制转义值。 |
| \nm | 标识一个八进制转义值或一个向后引用。如果\nm之前至少有nm个获得子表达式，则nm为向后引用。如果\nm之前至少有n个获取，则n为一个后跟文字m的向后引用。如果前面的条件都不满足，若n和m均为八进制数字（0-7），则\nm将匹配八进制转义值nm。 |
| \nml | 如果n为八进制数字（0-3），且m和l均为八进制数字（0-7），则匹配八进制转义值nml。 |
| \un | 匹配n，其中n是一个用四个十六进制数字表示的Unicode字符。例如，\u00A9匹配版权符号（©）。 |
2.4正则表达式语法支持情况
| 命令或环境 | . | [] | ^ | $ | \(\) | \{\} | ? | + | | | () |
| vi | √ | √ | √ | √ | √ |
|
|
|
|
|
| VisualC++ | √ | √ | √ | √ | √ |
|
|
|
|
|
| awk | √ | √ | √ | √ |
|
| √ | √ | √ | √ |
| sed | √ | √ | √ | √ | √ | √ |
|
|
|
|
| Tcl | √ | √ | √ | √ | √ |
| √ | √ | √ | √ |
| ex | √ | √ | √ | √ | √ | √ |
|
|
|
|
| grep | √ | √ | √ | √ | √ | √ |
|
|
|
|
| egrep | √ | √ | √ | √ | √ |
| √ | √ | √ | √ |
| fgrep | √ | √ | √ | √ | √ |
|
|
|
|
|
| perl | √ | √ | √ | √ | √ |
| √ | √ | √ | √ |
| C# |
|
|
|
| √ | √ |
|
|
|
|
2.5.实例分析：
在接下来的实例分析中，我们主要使用grep和sed作为测试工具，测试为regular_expression.txt处理以后的文件，可以在我的资源里下载，然后更重命名a.txt,进行测试。
1）实例一：
查找所有长度为四的单词：\b[a-p]\{4\}\b
注意其中｛｝之前的\
解释：\b(单词边界)[a-p](字母a到p){4}（出现4次，注意要加转义符号）
命令效果图:
2）实例2（注意：sed并没有改变原来文本）
将所有方法foo(a,b,c)的实例改为foo(b,a,c)。这里a、b和c可以是任何提供给方法foo()的参数。也就是说我们要实现这样的转换：
之前之后
foo(10,7,2)——foo(7,10,2)
foo(x+13,y-2,10)——foo(y-2,x+13,10)
foo(bar(8),x+y+z, 5) ——foo( x+y+z, bar(8), 5)
下面这条替换命令能够实现这一魔法：
:%s/foo(\([^,]*\),\([^,]*\),\([^)]*\))/foo(\2,\1,\3)/g
这条命令在Vim中使用，效果图：
sed命令使用效果图（注意：不能少“”也不能多-e选项，要严格区分正则匹配和字符串匹配）：
hyk@hyk-linux:~$sed "s/foo(\([^,]*\),\([^,]*\),\([^)]*\))/foo(\2,\1,\3)/"a.test
foo(7,10,2)
foo(y-2,x+13,10)
foo(x+y+z,bar(8), 5)
说明：只选取了相关部分
现在让我们把它打散来加以分析。写出这个表达式的基本思路是找出foo()和它的括号中的三个参数的位置。第一个参数是用这个表达式来识别的：：\([^,]*\)，我们可以从里向外来分析它：
[^,]除了逗号之外的任何字符
[^,]* 0或者多个非逗号字符
\([^,]*\)将这些非逗号字符标记为\1，这样可以在之后的替换模式表达式中引用它
\([^,]*\),我们必须找到0或者多个非逗号字符后面跟着一个逗号，并且非逗号字符那部分要标记出来以备后用。注意（）的\
现在正是指出一个使用正则表达式常见错误的最佳时机。为什么我们要使用[^,]*这样的一个表达式，而不是更加简单直接的写法，例如：.*，来匹配第一个参数呢？设想我们使用模式.*来匹配字符串"10,7,2"，它应该匹配"10,"还是"10,7,"？为了解决这个两义性（ambiguity），正则表达式规定一律按照最长的串来，在上面的例子中就是"10,7,"，显然这样就找出了两个参数而不是我们期望的一个。所以，我们要使用[^,]*来强制取出第一个逗号之前的部分。
这个表达式我们已经分析到了：foo(\([^,]*\)，这一段可以简单的翻译为“当你找到foo(就把其后直到第一个逗号之前的部分标记为\1”。然后我们使用同样的办法标记第二个参数为\2。对第三个参数的标记方法也是一样，只是我们要搜索所有的字符直到右括号。我们并没有必要去搜索第三个参数，因为我们不需要调整它的位置，但是这样的模式能够保证我们只去替换那些有三个参数的foo()方法调用，在foo()是一个重载（overloading）方法时这种明确的模式往往是比较保险的。然后，在替换部分，我们找到foo()的对应实例，然后利用标记好的部分进行替换，是把第一和第二个参数交换位置。
3)实例3
假设有一个CSV（commaseparatedvalue）文件，里面有一些我们需要的信息，但是格式却有问题，目前数据的列顺序是：姓名，公司名，州名缩写，邮政编码，现在我们希望将这些数据重新组织，以便在我们的某个软件中使用，需要的格式为：姓名，州名缩写-邮政编码，公司名。也就是说，我们要调整列顺序，还要合并两个列来构成一个新列。另外，我们的软件不能接受逗号前后有任何空格（包括空格和制表符）所以我们还必须要去掉逗号前后的所有空格。
这里有几行我们现在的数据：
BillJones,HI-TEK Corporation , CA, 95011
SharonLeeSmith, Design Works Incorporated, CA, 95012
B.Amos, Hill Street Cafe, CA, 95013
AlexanderWeatherworth,The Crafts Store, CA, 95014
...
我们希望把它变成这个样子：
BillJones,CA95011,HI-TEK Corporation
SharonLeeSmith,CA 95012,Design Works Incorporated
B.Amos,CA95013,Hill Street Cafe
AlexanderWeatherworth,CA95014,The Crafts Store
...
我们将用两个正则表达式来解决这个问题。第一个移动列和合并列，第二个用来去掉空格。
下面就是第一个替换命令：
:%s/\([^,]*\),\([^,]*\),\([^,]*\),\(.*\)/\1,\3\4,\2/
结果如下
35BillJones, CA 95011, HI-TEK Corporation
36SharonLee Smith, CA 95012, Design Works Incorporated
37B.Amos , CA 95013, Hill Street Cafe
38AlexanderWeatherworth, CA 95014, The Crafts Store
这里的方法跟例1基本一样，第一个列（姓名）用这个表达式来匹配：\([^,]*\)，即第一个逗号之前的所有字符，而姓名内容被用\1标记下来。公司名和州名缩写字段用同样的方法标记为\2和\3，而最后一个字段用\(.*\)来匹配（"匹配所有字符直到行末"）。替换部分则引用上面标记的那些内容来进行构造。
下面这个替换命令则用来去除空格：
:%s/[\t]*,[\t]*/,/g
结果如下：
35BillJones,CA 95011,HI-TEK Corporation
36SharonLee Smith,CA 95012,Design Works Incorporated
37B.Amos ,CA 95013,Hill Street Cafe
38AlexanderWeatherworth,CA 95014,The Crafts Store
我们还是分解来看：[\t]匹配空格/制表符，[\t]* 匹配0或多个空格/制表符，[\t]*,匹配0或多个空格/制表符后面再加一个逗号，最后，[\t]*,[\t]*匹配0或多个空格/制表符接着一个逗号再接着0或多个空格/制表符。在替换部分，我们简单的我们找到的所有东西替换成一个逗号。这里我们使用了结尾的可选的g参数，这表示在每行中对所有匹配的串执行替换（而不是缺省的只替换第一个匹配串）。
3)实例4
假设有一个多字符的片断重复出现，例如：
Billytriedreally hard
Sallytriedreally really hard
Timmytriedreally really really hard
Johnnytriedreally really really really hard
而你想把"really"、"reallyreally"，以及任意数量连续出现的"really"字符串换成一个简单的"very"（simpleisgood!），那么以下命令：（注意空格）
:%s/\(really\)\(really \)*/very /
就会把上述的文本变成：
Billytriedvery hard
Sallytriedvery hard
Timmytriedvery hard
Johnnytriedvery hard
表达式\(really\)*匹配0或多个连续的"really"（注意结尾有个空格），而\(really\)\(really\)* 匹配1个或多个连续的"really"实例。
结果如下
40Billytried very hard
41Sallytried very hard
42Timmytried very hard
43Johnnytried very hard
外部参考：
[1]Unix之父将此符号系统引入编辑器QED，然后是Unix上的编辑器ed，并最终引入grep。JeffreyFriedl在其著作“MasteringRegular Expressions (2ndedition)/中文版译作：精通正则表达式，目前已出到第三版”中对此作了进一步阐述讲解，如果你希望更多了解正则表达式理论和历史，推荐你看看这本书。
[2]百度百科：http://baike.baidu.com/view/94238.htm
来自：http://blog.csdn.net/trochiluses/article/details/8827932