用JAVA编写的web 搜索和爬虫，包括全文和分类垂直搜索，以及分词系统。

NCrawler 是一个Web Crawler 工具，它可以让开发人员很轻松的发展出具有Web Crawler 能力的应用程式，并且具有可以延展的能力。

spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取.

你想要的任何信息，基本上在互联网上存在了，问题是如何把它们整理成你所需要的，比如在某个行业网站上抓取所有相关公司的的名字，联系电话，Email等，然后存到Excel里面做分析。网页信息抓取变得原...

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人Sébastien Ailleret独立开发，用c++语言实现。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供...

搜索引擎爬虫，抓取url的Java源码

最近开发的一个通用网络爬虫平台，主要是想满足自己想从特定网站抓取大量内容的需求

Crawljax是现代（Ajax）的Web应用程序自动抓取和测试Java工具。

这是一个能够自动抓取Ajax应用程序的工具。它可以采用菊花链将其它代理工具如ZAP 或Burpe集成进来，并在Web应用程序的各个方面使用这些工具提供的功能，以弥补传统抓取工具的不足。

Crowbar: 基于Mozilla浏览器的 ajax 爬虫，还可作为远程浏览器使用，比较有意思。