BlueLeech是一个开源程序，它从指定的URL开始，搜索所有可用的链接，以及链接之上的链接。它在搜索的同时可以下载遇到的链接所指向的所有的或预定义的范围的内容。

寒假开始学习一些简答的爬虫并且做一些有意义的事情。 首先，百度一下爬虫的意思： 网络爬虫：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的

Python Web 爬虫汇总

起因 做过爬虫的人应该都知道，抓的网站和数据多了，如果爬虫抓取速度过快，免不了触发网站的防爬机制，几乎用的同一招就是封IP。解决方案有2个： 1、同一IP，放慢速度(爬取速度慢) 2、使用代理IP访问(推荐)

爬虫代理IP池 在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源

);对于中文等连续书写的语言，必须采用多索引项，进行词语的切分。索引器可以使用集 中式索引算法或分布式索引算法。当数据量很大时，必须实现实时索引(Real-time Lndexing),否则不能够跟上

Upton 是一个采用Ruby开发，用于简化web抓取的框架，包含了实用的调试模式。它提供了公共/重复的部分，所以你只需要编写网站特有的部分。

WebLech URL Spider是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。

ItSucks是一个Java Web爬虫开源项目。可灵活定制，支持通过下载模板和正则表达式来定义下载规则。提供一个控制台和Swing GUI操作界面。 功能特性: 多线程 正则表达式 保存/载入的下载工作

Goutte 是一个抓取网站数据的 PHP 库。它提供了一个优雅的 API，这使得从远程页面上选择特定元素变得简单。

最近的一个项目是写一个爬虫框架，这个框架主要采用Master-Slave的结构，Master负责管理要爬取的Url和已经爬取过的Url，Slave可以有多个，主要负责爬取网页内容，以及对爬取下来的网页

Egg简单小巧，效率很高，速度很快，配置简单方便，接口简洁，适合多种数据访问方式。实测，在20M无线网下(隔了个墙，所以有时不稳定)速度稳定在1.2-2.5M/S,峰值可以达到3M.实测抓取百度百科，1000网页大概在 17-20秒左右。10000在1：50-2:30左右。

像我一样，充满好奇心，希望深入地了解web抓取。 挑战 让我们从一个简单地挑战——网络爬虫开始，让这个爬虫爬取 Techmeme ，并获得一个当天热门新闻列表！ 注意： 在这里我将会使用DZo

前言 Python非常适合用来开发网页爬虫，理由如下： 1、抓取网页本身的接口 相比与其他静态编程语言，如java，c#，c++，python抓取网页文档的接口更简洁；相比其他动态脚本语言

Scrapple 是一个用来开发 Web 爬虫程序的 Python 框架，使用 key-value 配置文件。提供命令行接口来运行基于 JSON 的配置，同时也提供基于 Web 的接口来输入。

使用HTTPClient 的网络爬虫 说到爬虫，使用Java本身自带的URLConnection可以实现一些基本的抓取页面的功能，但是对于一些比较高级的功能，比如重定向的处理，HTML标记的去除，仅

一个基于gevent的爬虫框架，最初的版本在一定程度上模仿了scrapy。 项目主页： http://www.open-open.com/lib/view/home/1351753949426

phpcrawl是一个爬虫/蜘蛛功能的基于php开发的框架，所以我们称它为网站或爬虫的PHP库。

Portia是 scrapyhub 开源的一款可视化的爬虫规则编写工具。它提供可视化的Web页面，你只需要通过点击标注页面上你需要抽取的数据，不需要任何编程知识即可完成规则的开发。 这些规则可以在#Scrapy#中使用，用于抓取页面。

一。用hadoop作网络爬虫的原因 爬虫程序的海量计算特性要求必须要用分布式方式来实现。一般爬虫爬取的是整个互联网上的所有或部分数据，这个数据量一般是P byte级，至少也是T byte级，因此用分布式的方式来获