下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。

用scrapy来进行网页抓取,对于pythoner来说它用起来非常方便

Selenium是一个模拟浏览器，进行自动化测试的工具，它提供一组API可以与真实的浏览器内核交互。Selenium是跨语言的，有Java、C#、python等版本，并且支持多种浏览器，chro...

Upton 是一个采用Ruby开发，用于简化web抓取的框架，包含了实用的调试模式。它提供了公共/重复的部分，所以你只需要编写网站特有的部分。

首先它是个crawler，其次它不bad。我觉得不bad那就是good了，所以起名goodcrawler。goodcrawler借用了crawler4j的一点点代码（只保留了Page等相关结构，...

Scrapy由Python写成。假如你刚刚接触Python这门语言,你可能想要了解这门语言起,怎么最好的利用这门语言。假如你已经熟悉其它类似的语言,想要快速地学习Python,我们推荐这种深入方...

webmagic的发起源于工作中的需要，其定位是帮助开发者更便捷的开发一个垂直的网络爬虫。 webmagic的功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，开发者可以...

heyDr是一款基于java的轻量级开源多线程垂直检索爬虫框架，遵循GNU GPL V3协议。

最近在学Python，同时也在学如何使用python抓取数据，于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy，下面一起学习下Scrapy的架构，便于更好的使用这个工具。

这是一个非常简单易用的抓取工具 怎么使用? 首先你需要创建一个对应站点的规则文件 比如testsite.yaml

一个基于gevent的爬虫框架，最初的版本在一定程度上模仿了scrapy。

Spiderman 是一个基于微内核+插件式架构的网络蜘蛛，它的目标是通过简单的方法就能将复杂的目标网页信息抓取并解析为自己所需要的业务数据。

最近需要通过网络爬虫来收集点数据，想找一些简单易用的开源版本，总是要么配置起来有点复杂，要么功能上不太容易扩展。还是自己实现一个简单的版本更容易扩展相应的功能。这个版本的实现完全参照wiki上面...

Snoopy是一个php类，用来模仿web浏览器。它可自动获取网页内容和提交表单。

JSpider - 高度灵活的Java爬虫

NWebCrawler是一款开源，C#开发网络爬虫程序。

OpenWebSpider是一个开源多线程Web爬虫和包含许多有趣功能的搜索引擎。

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。...

Crawler4j是一个开源的Java Web爬虫，提供一个用于抓取Web页面的简单接口。您可以在5分钟内建立一个多线程的网络爬虫！

Web-Harvest是一个Java开源Web数据抽取工具。它能够收集指定的Web页面并从这些页面中提取有用的数据。Web-Harvest主要是运用了像XSLT,XQuery,正则表达式等这些技...