开源爬虫Labin，Nutch，Neritrix介绍和对比 2 6 从网上找了一些开源spider的相关资料，整理在下面： Larbin 开发语言：C++ http://larbin.sourceforge

Crowbar: 基于Mozilla浏览器的 ajax 爬虫，还可作为远程浏览器使用，比较有意思。 项目主页： http://www.open-open.com/lib/view/home/1324864120014

现在在做一个简单的搜索引擎，使用今日头条的新闻数据作为数据源。这些数据都是非结构性的，比较适合用 MongoDB 来进行存储。 以下为简单使用的示例。 #!/usr/bin/python # -*-

http://my.oschina.net/jhao104/blog/606922 1、抓取APP数据包 方法详细可以参考这篇博文： http://my.oschina.net/jhao104/blog/605963

功能 用户友好,一个管控界面解决全部问题 新站点抓取无需重新部署 天生分布式。支持集群动态扩、缩容 精准解析。解析脚本化，支持Groovy, Javascript, python 支持的去重方式：redis

Arale能够下载整个网站或来自网站的某一特定资源。Arale还能够把动态页面渲染成静态页面。 特性： 下载并扫描用户定义的文件类型。 重命名动态资源。将查询参数编码进文件名 设置并发连接数。 最小和最大文件大小的选项。

一个网络爬虫工具包 webmagic的发起源于工作中的需要，其定位是帮助开发者更便捷的开发一个垂直的网络爬虫。 webmagic的功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久

WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理Web页面的程序。WebSPHINX由两部分组成：爬虫工作平台和WebSPHINX类包。

线程池爬虫，同时也为大家提供一个思路。代码都是经过调试的，并且留了相对友好的用户接口。可以很容易得添加各种各样增强型的功能。 0×01 功能定义 1.  可选择的单页面爬虫与多页面线程池爬虫 2

ML风格的动态规则。以后交流分享规则变得更加方便，随之而来将会是愈加完善的生态圈。 以下是具体更新内容： 一、初步支持HTML风格的动态规则 二、添加配置文件，便于修改数据库配置等信息

SinaSpider 动态IP解决新浪的反爬虫机制，快速抓取微博内容。 Background 抓取1000个公司（在companyList.py文件中）五年内相关的微博，进而统计评论数、转发数、点赞数等等。

Python Web 爬虫汇总

起因 做过爬虫的人应该都知道，抓的网站和数据多了，如果爬虫抓取速度过快，免不了触发网站的防爬机制，几乎用的同一招就是封IP。解决方案有2个： 1、同一IP，放慢速度(爬取速度慢) 2、使用代理IP访问(推荐)

爬虫代理IP池 在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源

Upton 是一个采用Ruby开发，用于简化web抓取的框架，包含了实用的调试模式。它提供了公共/重复的部分，所以你只需要编写网站特有的部分。

Goutte 是一个抓取网站数据的 PHP 库。它提供了一个优雅的 API，这使得从远程页面上选择特定元素变得简单。 Require the Goutte phar file to use Goutte

最近的一个项目是写一个爬虫框架，这个框架主要采用Master-Slave的结构，Master负责管理要爬取的Url和已经爬取过的Url，Slave可以有多个，主要负责爬取网页内容，以及对爬取下来的网页内容进

com/article/casperjs-web-reptile.html 从你的应用中收集数据有时候可能有点困难和艰辛。可能是缺少一个必须的API，或者是有太多的数据需要处理。这时候你就需要借助于web抓取。 不用说了，这可

Python非常适合用来开发网页爬虫，理由如下： 1、抓取网页本身的接口 相比与其他静态编程语言，如java，c#，c++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，sh

Scrapple 是一个用来开发 Web 爬虫程序的 Python 框架，使用 key-value 配置文件。提供命令行接口来运行基于 JSON 的配置，同时也提供基于 Web 的接口来输入。