通用网页正文抽取 cx-extractor

     <p>对于Web信息检索来说，网页正文抽取是后续处理的关键。 </p>    <p>虽然使用正则表达式可以准确的抽取某一固定格式的页面，但面对形形色色的HTML，使用规则处理难免捉襟见肘。能不能高效、准确的将一个页面的正文抽取出来，并做到在大规模网页范围内通用，这是一个直接关系上层应用的难题。 </p>    <p><a href="/misc/goto?guid=4959500273057628896" rel="nofollow">作者</a>提出了<a href="/misc/goto?guid=4959500273151042945" rel="nofollow">《基于行块分布函数的通用网页正文抽取算法》</a>，首次将网页正文抽取问题转化为求页面的行块分布函数，这种方法不用建立Dom树，不被病态HTML所累（事实上与HTML标签完全无关）。通过在线性时间内建立的行块分布函数图，直接准确定位网页正文。同时采用了统计与规则相结合的方法来处理通用性问题。作者相信简单的事情总应该用最简单的办法来解决这一亘古不变的道理。整个算法实现代码不足百行。但量不在多，在法。 </p>    <p>建议使用svn checkout <a href="/misc/goto?guid=4959500273228017833" rel="nofollow">http://cx-extractor.googlecode.com/svn/trunk/</a>，svn的好处是更新及时，zip包作者不能保证每次修改完后都及时上传 <strong>:)</strong> </p>    <p><br /> There are undoubtedly serious bugs lurking somewhere in code this funky. So feel free to contact us if you meet any problem.<br /> Bug reports and other feedback are most welcome :-) </p>    <table class="wikitable ke-zeroborder">     <tbody>      <tr>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;"><strong>Version</strong> </td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;"><strong>Author</strong> </td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;"><strong>Email</strong> </td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;"><strong>Institute</strong> </td>      </tr>      <tr>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">Perl</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;"><a href="/misc/goto?guid=4959500273057628896" rel="nofollow">陈鑫</a></td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">xchen@ir.hit.edu.cn</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;"><a href="/misc/goto?guid=4959500273320960007" rel="nofollow">哈工大信息检索研究中心</a></td>      </tr>      <tr>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">Java</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">王利锋、罗磊</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">{lfwang,lluo}@ir.hit.edu.cn</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">哈工大信息检索研究中心</td>      </tr>      <tr>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">C++</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">朱亮</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">zhuliang@software.ict.ac.cn</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">中科院计算所高级网络重点实验室</td>      </tr>      <tr>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">PHP</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">轩文烽</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">xwf1788@gmail.com</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">哈工大智能技术与自然语言处理研究室</td>      </tr>      <tr>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">C#</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">张帆</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">zfannn@gmail.com</td>       <td style="border-bottom:#ccc 1px solid;border-left:#ccc 1px solid;padding-bottom:5px;padding-left:5px;padding-right:5px;border-top:#ccc 1px solid;border-right:#ccc 1px solid;padding-top:5px;">中科院信息科学与工程学院</td>      </tr>     </tbody>    </table>    <p><br /> 如果您正在关注或使用cx-extractor，同时希望在第一时间得到该项目的更新信息，<br /> 您可以加入该项目的邮件列表 <a href="/misc/goto?guid=4959500273404301487" rel="nofollow">http://list.qq.com/cgi-bin/qf_invite?id=2a19dc7f75fcba75ee9962adfcf5013e3154e3b92ef767a3</a><br /> <br /> </p>    <p>本软件的使用许可协议:<a href="/misc/goto?guid=4959500273479270930" rel="nofollow">署名-非商业性使用-相同方式共享 (by-nc-sa)</a>，新浪微博<a href="/misc/goto?guid=4959500273570210590" rel="nofollow">http://weibo.com/cx3180</a> </p>    <p><strong><br /> 项目主页：</strong><a href="http://www.open-open.com/lib/view/home/1325752610671" target="_blank">http://www.open-open.com/lib/view/home/1325752610671</a></p>