Combine 是一个用Perl语言开发可扩展的Web资源爬虫程序。

JobHunter旨在自动地从一些大型站点来获取招聘信息，如chinahr,51job,zhaopin等等。JobHunter 搜索每个工作项目的邮件地址，自动地向这一邮件地址发送申请文本。

HiSpider是一个快速和高性能的网页爬虫。 严格说只能是一个spider系统的框架, 没有细化需求, 目前只是能提取URL, URL排重, 异步DNS解析, 队列化任务, 支持N机分布...

Methanol是一个可编写脚本，多用途的Web爬虫系统。拥有一个可扩展配置系统和速度优化架构设计。

ItSucks是一个Java Web爬虫开源项目。可灵活定制，支持通过下载模板和正则表达式来定义下载规则。提供一个控制台和Swing GUI操作界面。

Erlang Bot (Ebot)是一个开源的Web爬虫，构建在 Erlang， NOSQL数据库( Apache CouchDB 或 Riak)， RabbitMQ, Webmachine (...

jcrawl是一款小巧性能优良的的web爬虫,它可以从网页抓取各种类型的文件,基于用户定义的符号,比如email,qq.

DotNetWikiBot Framework 是一个全功能的客户端API和一个控制台应用，用来构建抓取基于 MediaWiki 网站的爬虫，采用 .NET 开发。

WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理Web页面的程序。WebSPHINX由两部分组成：爬虫工作平台和WebSPH...

Spidr是一个多功能的Ruby web 爬虫库。它可以抓取一个网站，多个域名或某些链接。Spidr被设计成快速和容易使用。

WebLech URL Spider是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。

JoBo是一个用于下载整个Web站点的简单工具。它本质是一个 Web Spider。与其它下载工具相比较它的主要优势是能够自动填充form(如：自动登录)和使用cookies来处理session。

Arale能够下载整个网站或来自网站的某一特定资源。Arale还能够把动态页面渲染成静态页面。

spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和u...

NCrawler是一个简单并且非常高效的多线程网络爬虫。采用C#开发，基于管道的处理器。

Arachnid是一个基于Java的web spider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Web spide...

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。

用JAVA编写的web 搜索和爬虫，包括全文和分类垂直搜索，以及分词系统。

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人Sébastien Ailleret独立开发，用c++语言实现。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供...

最近开发的一个通用网络爬虫平台，主要是想满足自己想从特定网站抓取大量内容的需求