Perl开发的爬虫程序 Combine

jopen 12年前

Combine 是一个用Perl语言开发可扩展的Web资源爬虫程序。

  •  SearchEngine-in-a-Box 系统的一部分
  • 高度可配置
  • 聚焦爬行模式的综合自动化主题分类
  • 可以使用任何主题聚焦爬行模式分类器
  • 抓取URL的正则表达式,既包括和排除
  • UTF-8字符集检测/正常化
  • 语法探测
  • HTML 清理
  • 元数据抽取
  • 支持多种文档类型 (text, HTML, PDF, PostScript, MsWord, PowerPoint, Excel, RTF, TeX,图片)
  • 遵守robot协议
  • 采用SQL存储数据和管理

项目主页:http://www.open-open.com/lib/view/home/1350030568556