标签：正则

为什么不能在字符组中使用反向引用

为什么不能在字符组中使用反向引用

有个网友，发一封邮件给我，让我帮看下一段“加密”字符串的解密问题，在线解密的解密不了。代码大约如下：看到代码后，不禁惊讶起来，现在坏人们的想法真猥琐。利用preg_replace函数的e修饰符(e修饰符在php5.5里，被取消了)，来执行第二个参数里的内容，而第二个参数里的内容，不是常规的函数组成的字符串，其函数名都是ASCII码十六进制形式。从而避开了基于字符串形式正则匹配的“简易木马扫描器”的扫描。2010年时的在线解密功能，只支持eval gzinflate base64_decode三个函数的任意组合形式的字符串解密，且格式很严格，必须以<?php开头，以?>结尾，不支持嵌套解密。到了2012年，发现有好多网友在陆续使用，并反馈给我。我再次做了改进，支持嵌套解密，编码转换等功能。这次，看到这个加密方式，索性直接写一个支持任意以eval函数执行的合法php字符串解密，且支持同一份代码的多次出现、循环嵌套解密，格式也不用那么严格，只要被解密部分是合法的php代码即可，其他地方，可以有任意字符串，提高易用程度。方向定了，实现起来，也应该没什么难度，目的也是基于字符串处理，正则匹配php语法函数，提取加密部分，解密，替换到原文本中。所有的难点，就是正则匹配php语法了。我在匹配eval(base64_decode('xxxxxxx'))遇到了一个问题。因为不能确定代码使用的是单引号还是双引号，故我打算捕获分组，再反向引用一下，那正则表达式就是(['"]).+?\1，正则捕获的第一个分组里的内容会是',那么\1的反向引用将是'，看上去，匹配完成了，但会产生大量回溯，回溯次数取决于中间字符串长度。作为性能洁癖的码农，不能接受正则里出现大量无用的回溯，决定使用字符组的脱字符^来对字符取非匹配。那么，表达式就是 regexbuddy的测试结果却是这样：如图，调试信息中所示，绿色线条画出的部分，都是正常正确的匹配，表达式(['"])匹配字符串'，并且分配到group 1中；表达式最后的\1反向引用，也匹配到了'，这个可以在debug截图中得到确认。但红色部分，让我产生了疑惑，表达式[^\1]为何匹配到了字符串1230'''''cfc4n(解释一下：+为量词，先匹配，再将转动权交给表达式后的'，再去匹配，其发现后面没有字符，那么再回溯到前一位。。一直到匹配到字符')，匹配到字符串1230跟cfc4n倒是正常，但group 1就是'，[^\1]匹配到'''''实在不能理解。暂时改用其他办法实现，比如(['"]).*\1，但性能差，且不精确。或者用环视lookaround（也叫零宽断言）解决([\'"])(?:(?!\1).)+\1。对于这个问题，我困惑很久，在stackoverflow上找到一个相似的案例General approach for (equivalent of) “backreferences within character class”?问题也是跟我类似的问题，解决方案，也是用环视解决，其实，环视的效率，比非贪婪的方式还多一个回溯。但回答者只是给了解决方案，也没说出真正的原因。然后，又看到了另一个相似案例Negating a backreference in Regular Expressions，解决方案也是一样，正则环视解决，回答中，还说了原理： Instead of a negated character class, you have to use a negative lookahead: \bvalue\s*=\s*(["'])(?:(?!\1).)*\1 (?:(?!\1).)* consumes one character at a time, after the lookahead has confirmed that the character is not whatever was matched by the capturing group, (["'']). A character class, negated or not, can only match one character at a time. As far as the regex engine knows, \1 could represent any number of characters, and there's no way to convince it that \1 will only contain " or ' in this case. So you have to go with the more general (and less readable) solution. 但这个原理说的是环视匹配的原理，并没有说“为什么字符组中反向引用匹配的字符串不正确”的真正原因。对于我的好奇心，显然不能轻易放过这个疑问，继续google中搜索，终于在regexbuddy的另一个官网找到了介绍：Parentheses and Backreferences Cannot Be Used Inside Character Classes，刚打开这个页面时，被配色、布局震惊了一下，这跟regexbuddy官网出奇的相似，仔细看了下，才发现这也是他们的网站之一。这里给出了说明： Round brackets cannot be used inside character classes, at least not as metacharacters. When you put a round bracket in a character class, it is treated as a literal character. So the regex [(a)b] matches a, b, ( and ). Backreferences also cannot be used inside a character class. The \1 in regex like (a)[\1b] will be interpreted as an octal escape in most regex flavors. So this regex will match an a followed by either \x01 or a b. 这里提到，正则表达式中，不能在字符组中使用反向引用，原因是正则表达式的\1在字符组中[\1]，在大多数的正则流派中，会被正则引擎作为八进制转义，实际上的匹配结果将变成\x01。知道这个原因之后，就很好理解为什么之前的表达式[^\1]匹配到' ' ' ' '了。因为，这里的取非，是对字符\x01的取非，而不是对字符'的取非，我之前还天真的以为，取非的字符串是'呢。除了不能在字符组中使用反向引用，还不能使用捕获分组，这里也提到了，正则表达式的元字符括号()在字符组中将被理解为普通的字符()，也就是说，在字符组character class中，不用再转义了，即[()]是合法的表达式，且可以匹配到(或者)。比如文章中给的例子：表达式[(a)b]匹配结果并不是a或者b，如果a匹配到，再将a分配到group 1中，而是可以匹配到a或b或(或)四个字符。所以，在字符组中使用反向引用，是不能实现的了。如图：最后，解密的程序也写好了，支持eval base64_decode preg_replace gzinflate等各种函数的在线，目前除了自定义函数、字符串不支持解密以外，其他均支持，只要用eval函数执行的代码。跟http://ddecode.com/phpdecoder/相比，我的解密程序不支持变量函数、变量字符串解密，这是缺点。同时，优点是支持一段代码多个eval函数解密，且替换还原到原文。而phpdecoder中，只会保留最后解密的那个eval内代码解密情况，其他的都没了。其实，基于字符串匹配的解密方式，都肯定存在不严谨、不正确的解密行为，最准确的，莫过于写一个php拓展，劫持eval函数，并且执行被解密代码，使用加密代码内原有变量，来实现最准确，严谨的解密。 PS：如果你对这里的正则表达式的术语有疑惑，请阅读这个PPT《正则表达式》PPT-匹配原理 PPS:后来，无意中看到360网站安全检测的后门查杀代码里的正则的写法实在说不过去，作为国内一线安全厂商，这正则准确性、严谨性、误报、性能都有较大提升空间，忍不住的唱起“放只乌龟到处爬，放只螃蟹有点Zha，有点Zha”...如果他们不嫌弃的话，可以参考下《如何精确查找PHP WEBSHELL木马？》里的python版的webshell检测的正则，三年前的了，可能有很多东西已经变了。 2013/09/14更新：我自己开发了一个项目，PHP版本的webshell扫描，基于语法分析的，名字叫 Pecker Scanner，欢迎使用。

2013-08-30 2 0

WEB开发安全与运维安全浅见

WEB开发安全与运维安全浅见

前段时间，同事LeeQueen为公司同事做了个《安全意识防护》的PPT，效果很好，各位新同事也知道日常公工作中，不太注意到的隐私保护问题。PPT中也提到了一些社会工程学的案例，提到了某团购网站前台人员被声称是新开礼品公司的工作人员，以填写信息就送礼品为由，获取到此团购网站的所有员工联系方式。后此团购网站的高层打电话回访，得知对方是猎头公司[详情见乌云网的链接]。此案例非常典型，讨论也尤为激烈，可谓是非常成功的培训。此次培训之后，职业欠钱[sina微博][腾讯微博]让我给我们开发部门的PHP程序员同事们做一次PHP开发、运维时候一些安全注意事项。由于我在安全这块资历较浅，没有经验，我了解的大家都懂，这个话题太高深，我的水平完全不够，没法写这个PPT。而且，同事里有好几位安全界的前辈，我怎可关公面前耍大刀呢。上次写过一次关于正则表达式PPT，也就是一个月之前，深刻的体会到写PPT的痛苦，尤其是排版。实在不想写了。后来，经常看到网上的安全工程师提到程序员安全意识较差，以至于同样的危险代码，危险程序，却屡次不改。当然，不是程序员不想改，而是程序员不太理解代码形成安全漏洞的原因。为此，我也觉得有必要提高一下我们程序员的安全意识了。 PPT中写了网络上常见的漏洞，形成原因，漏洞原理，防护建议等；也列举了近年来跟WEB相关的安全漏洞，以程序员的视角理解漏洞原理，并给出修复建议。这些建议仅供参考，不是正确答案。由于本人水平原因，PPT中难免有错误，请见谅。也请安全界工程师指正。借用网友的一句话，作为程序员，尽量要做到“知其然，知其所以然”，多多关注web安全，不要给安全工程师添麻烦，不能丢了程序员的脸。同时，公司招聘PHP程序员，地点上海，公司规模为150人+，做网络游戏研发、运营。招聘条件以及待遇之类的，可以通过以下方式联系我，我们私聊。 http://weibo.com/cfc4nx http://t.qq.com/cfc4nx 邮箱：cfc4n@博客域名点COM 最后，PPT是周末两天写的，这两天老婆挺着6个月的大肚子，为我做饭，老婆实在是太辛苦了，感谢我老婆。 PS：讨厌写PPT[流泪]。在线阅读： Web开发与运维安全浅见View more presentations from cfc4n. 下载到本地： PPT下载：web开发与运维安全浅见PPT下载，猛点这里更多亮点在PPT的备注里，各位一定要看备注。转载的朋友麻烦保留PPT完整，包括招人信息。尤其是备注要保留。 ------- PPT在2011/09/19 更新了，更换匹配NGINX 对URI中PHP脚本的正则，考虑到了拓展名为 .phpa .phpb .phpc之类的情况。主要是更换了正则匹配的图，更改了正则内容。 2015/06/09 备注， nginx匹配URI时，对于PHP的解析，更改为 location ~ ^(?:(?

2011-09-19

+13 17 0

coolcode转SyntaxHighlighter与Mysql正则表达式

coolcode转SyntaxHighlighter与Mysql正则表达式

blog的代码高亮插件原来是coolcode的，coolcode的高亮插件确实很酷，显示效果也很棒，但是占用的位子太大了。最近，我抽空改成SyntaxHighlighter。由于coolcode插件的开头标签是或者[coolcode]这样的，而SyntaxHighlighter是这样的（或者其他）。遂只能想办法把老的格式转化成新的格式。当然，肯定用到正则表达式了。原来的代码高亮开头标识为这种类型的，而SyntaxHighlighter的标识为那根据要求写的正则表达式为解释一下 [a-z]+ 匹配 php,javascript,cpp,sql,css 等，后面的.*?中的 .表示任何除了换行之外的字符，而*表示0次或者无数次，*+这些表述次数的符号后面接的?标识非贪婪模式看图，这个正则可以实现上述要求了。但是，问题还没解决，我们还有一种情况没考虑，那就是后面不一定接的就是lang="php"这样的属性啊，有可能是download，也有可能是linenum="on/off"啊，所以，我们的正则还需要改。 CFC4N把正则改为截图如下细心的朋友可能看出来图中匹配的红色框内多出了，意思也就是说，前面的需要排除掉。如何排除呢？聪明的你肯定立刻想到.这个万能字符替换成非两个符号的规则，好，CFC4N立刻修改一下。修改之后的正则为果然，匹配正常了。结果见截图。到这里，问题似乎解决了，可是，当初糊涂的我，把coolcode的两种开头标识都用了，那就是和[coolcode，那么，看官您认为这个正则该如何改写呢？没错，无非就是开头，结尾的标识考虑两种情况

2010-06-02

+2 6 0

CFC4N小试正则表达式

CFC4N小试正则表达式

朋友甲：要求根据一串字符串，反转成PHP数组，其给出的字符串为php的print_r打印出来的。我们在暂不考虑此方法是否能确保数据的准确性，以及其他意外等情况，仅根据要求写正则。其字符串为 CFC4N给出一下结果：结果是可以用的。但是发现其只能用于固定的三层嵌套，假如N层的话，无法用这个函数了，后来，我又改造一下那个正则，改为但是，并不能解决问题。。各位看官，您认为，我的误区在哪里呢？附第一个正则截图更改后正则匹配截图朋友乙：要求批量给html字符串中a标签中不包含title属性的标签添加title，而且，其title内容为<a href...>到</a>之间的文本。。 CFC4N给出答案为: 各位看官，您认为，CFC4N写的正则表达式里，哪些还可以优化呢？这个效率是不是不高？？朋友丙:要求过滤非本域名，或者非本子域名的其他域名的UBB标签链接，一旦包含，直接替换成其中间的文本，比如例子字符串如下其中，字符串中不确定有几个换行等其他字符，而且，不确定url的UBB标签中的网址中是否包含http://，不确定二级域名或者三级域名 CFC4N给出的正则以及PHP代码如下各位看官，您认为这里哪里是多余的？还可以进行哪些正则的优化来提高效率?如果没看懂，那您的疑问在哪里？朋友丁:要求读取squid的配置文件中，起作用的行，也就是没有#开头进行注释的行。其中，squid的配置文件内字符串见附件中 squid的配置文件内容 CFC4N给出正则代码如下运行截图看官们，您认为，这个正则还有哪些没注意到的点？能否正确无误的匹配到朋友丁所需要的内容？您有疑问吗？ PS：以上正则，均为PCRE引擎。。其中，PHP代码的正则递归(迭代)部分，仅限于支持递归正则的引擎代码适用。。感谢rex老大指点关于(?!)零宽断言非匹配的特性后接匹配规则可能无效的问题。

2010-05-31

3 0

Discuz7.2的暴露网站所在路径的BUG

Discuz7.2的暴露网站所在路径的BUG

报错信息： Warning: sprintf() [function.sprintf]: Too few arguments in ....\include\discuzcode.func.php on line 369 漏洞位置: \include\discuzcode.func.php 369行附近函数名称： Discuz自定义的bbcodeurl函数，此函数中使用了PHP自带的函数sprintf 漏洞原因：当用户在发帖的时候，选择使用远程图片地址，且指定了图片的宽，高，且URL中包含%百分号（比如汉字URL编码）的时候，被discuzcode.func.php程序中的discuzcode函数处理。在discuzcode函数处理图片的URL的正则替换部分，用parseimg函数进行处理，parseimg函数的三个参数全部是正则匹配的结果，三个参数依次是宽，高，URL地址。paeseimg函数又调用了bbcodeurl函数处理，并把匹配的URL当作bbcodeurl函数的第二个参数的一部分，交给bbcodeurl函数处理。的sprintf 函数的第一个参数来自用户输入的数据，程序在使用bbcodeurl函数的时候，没有检测用户输入的数据，直接把用户输入的数据作为自己参数的一部分，也就是$tags参数了。bbcodeurl函数用了sprintf函数进行字符串格式化。$tags又是第一个参数，其中，$tags字符串中的%号是格式化字符串的保留字符，以为着有几个单独的%号，就必须后接几个参数。由于程序没有判断$tags中包含几个单独的百分号，后面的参数也是固定的两个，如果URL中包含百分号的话，则导致参数的个数不对，报Warning错，就暴露了程序所在服务器的路径了(config.inc.php中的$errorreport变量限制了错误报告的对象，默认只允许报告给版主，管理人员)。影响版本： Discuz!7.2 (我只测试了这个版本) 现在时间： 2010-05-13 17:43 修复方法：等待官方补丁或者转义【%】字符即可。。临时解决办法： discuzcode.func.php中bbcodeurl函数改成如下

2010-05-13

1 0

最新评论

jeffrey

支持抓取emqx的tls报文么？

w3b5h3ll

不抛弃，不放弃

Zz

可以认为是代理功能吗？最近也在调研这个功能。大鹅项目好像是有类似的逻辑，dns配置 fallback 默认走代理。《ht

CFC4N

参考： https://github.com/gojue/ecapture/discussions/308

Wayne

你好，安卓上想使用eCapture,需要linux内额版本>=5.5 ,目前手上设备只有pixel 5 ,看官方的