小喵的唠叨话：这次的博客，讲的是使用python编写一个爬虫工具。为什么要写这个爬虫呢？原因是小喵在看完《极黑的布伦希尔特》这个动画之后，又想看看漫画，结果发现各大APP都没有资源，最终好不容易找到一

搜索引擎爬虫，抓取url的Java源码

spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和utf8编码的资源

且当时我有提到，其实可以实现一个通用的爬虫框架。最近由于要抓取新的数据，于是我就写了这个 cola 。下面的文字来自 wiki 。 Cola是一个分布式的爬虫框架，用户只需编写几个特定的函数，而无

zerg 基于docker的分布式爬虫服务 特性 多机多 IP，充分利用 IP 资源 服务自动发现和注册（基于 etcd 和 registrator） 负载均衡 + 一致性哈希 服务端客户端通信基于

前言： 在爬虫的开发过程中，有些业务场景需要同时抓取几百个甚至上千个网站，此时就需要一个支持多爬虫的框架。在设计时应该要注意以下几点： 代码复用，功能模块化。如果针对每个网站都写一个完整的爬虫，那其中必

看看运行结果，这是书籍类目的 Paste_Image.png 这是构造出的每一个类目里面所有的页数链接，也是我们爬虫的入口，一共5000多页 Paste_Image.png 接下来是封装的数据库操作，因

P都不一样，所以我们可以通过程序来自动进行重新拨号以获得新的IP地址，以达到突破反爬虫封锁的目的。 8年多爬虫经验的人告诉你，国内ADSL是王道，多申请些线路，分布在多个不同的电信机房，能跨省

XSScrapy是一个快速、直接的XSS漏洞检测爬虫，你只需要一个URL，它便可以帮助你发现XSS跨站脚本漏洞，XSScrapy的XSS漏洞攻击测试向量覆盖Referer字段、User-Agent字段

基于gevent和多线程模型，支持WebKit引擎的动态爬虫框架。 特性 支持gevent和多线程两种并行模型 支持Webkit引擎 (dom parse,ajax fetch,etc...) 多个自定义选项设置

Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任务取消等，并且考虑了支持分布式布局。

http://segmentfault.com/a/1190000003817510 Scrapy 是Python非常有名的爬虫框架，框架本身已经为爬虫性能做了很多优化：多线程、整合xpath和图片专用管道等等，开发人员只要专注在功能需求上。

基于Scrapy 的 PIXIV爬虫，功能简单（简陋），实现了简单的页面信息抽取，JSON API信息抽取，IMAGE存储等功能。基于Scrapy的配置文件进行灵活配置（包含某些福利选项），并通过Cookie

简单的博客 ，捉襟见肘，望大侠路过指导！好了，此处有广告之嫌，进入正题。 关于Nodejs的爬虫程序，百度一大把，是的，我也是百度到的，然后到github上看了看cheerio模块；乍一看，这不

SinaSpider 动态IP解决新浪的反爬虫机制，快速抓取微博内容。 Background 抓取1000个公司（在companyList.py文件中）五年内相关的微博，进而统计评论数、转发数、点赞数等等。

爬虫，几家欢喜几人愁。爬者，拿到有利数据，分析行为，产生价值。被爬者，一是损失数据，二是遇到不怀好意的爬虫往往被全站复制或服务器受冲击而无法服务。今天说的是一只友好的爬虫是如何构建出来的，请勿用它伤害他人。

JS是个神奇的语言，借助Node.js的后端环境，我们可以进行相应的爬虫开发，如这篇 基于Node.js实现一个小小的爬虫 但搭建后台环境始终略为麻烦，拿到一台新电脑，不用配环境，可不可以直接在浏览器客户端直接实现呢？

http://localhost:3000/ 即可看到 hello world 爬虫依赖 所谓 工欲善其事必先利其器，完成nodejs爬虫还需要加两个库： superagent( http://visionmedia

cnblogs.com/tianheila/p/5183733.html 之前写了个现在看来很不完美的小爬虫，很多地方没有处理好，比如说在知乎点开一个问题的时候，它的所有回答并不是全部加载好了的，当你拉到回

webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。作者曾经在前公司进行过一年的垂直爬虫的开发