Scrapy为每一个start_urls创建一个 scrapy.http.Request 对象,并将爬虫的parse 方法指定为回调函数。 这些Request首先被调度,然后被执行,之后通过parse()方法

heyDr是一款基于java的轻量级开源多线程垂直检索爬虫框架，遵循GNU GPL V3协议。 用户可以通过heyDr构建自己的垂直资源爬虫，用于搭建垂直搜索引擎前期的数据准备。 项目主页：

Grab是一个Python开源Web爬虫框架。Grab提供非常多实用的方法来爬取网站和处理爬到的内容： Automatic cookies (session) support HTTP and SOCKS

前言 爬虫和反爬虫日益成为每家公司的标配系统。爬虫在 情报获取、虚假流量、动态定价、恶意攻击、薅羊毛 等方面都能起到很关键的作用，所以每家公司都或多或少的需要开发一些爬虫程序，业界在这方面的成熟的

0的发展，页面中的AJAX也越来越多。由于传统爬虫依靠静态分析，不能准确的抓取到页面中的AJAX请求以及动态更新的内容，已经越来越不能满足需求。基于动态解析的Web 2.0爬虫应运而生，通过浏览器内核解析页面源码

Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任务取消等，并且考虑了支持分布式布局。

下载地址请点 这里 。 Pholcus（幽 灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，更重要的 是它支持

python编写的抓京东商品的爬虫 闲着没事尝试抓一下京东的数据，需要使用到的库有：BeautifulSoup，urllib2，在Python2下测试通过from creepy import Crawler

34728 微博终结者爬虫 关于聊天对话系统我后面会开源一个项目，这个repo目的是基于微博构建一个高质量的对话语料，本项目将继续更进开发 这个项目致力于对抗微博的反爬虫机制，集合众人的力量把

Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任务取消等，并且考虑了支持分布式布局。

下载页面： 0.7.5 Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取

Cola Cola是一个分布式的爬虫框架，用户只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。 依赖 首先，确保Python版本为2.6或者2

用JAVA编写的web 搜索和爬虫，包括全文和分类垂直搜索，以及分词系统。 项目主页： http://www.open-open.com/lib/view/home/1337008196400

基本思路： 1、初始化一个或者多个入口链接为初始状态到链接表 2、爬虫爬取的黑名单和白名单，只有匹配白名单中的某一个且不匹配黑名单中的任何一个的链接才能通过 3、从链接表中取链接并置为下载状态，下载该链接的网页

github-issue-mover 是能快速迁移 github 上问题的工具。

Python爬虫：抓取手机APP数据：1、抓取APP数据包

node爬虫 实现简单的node爬虫工具 执行 终端下执行： node demo-1.js 原理 模拟浏览器访问 截取指定内容 按规则写入本地 所需技能 基本逻辑分析 Javascript &

用户友好,一个管控界面解决全部问题 新站点抓取无需重新部署 天生分布式。支持集群动态扩、缩容 精准解析。解析脚本化，支持Groovy, Javascript, python

u""" --------------------------------------- 程序：糗百爬虫 版本：0.3 原作者：why 修改者：天问-中国 日期：2015-05-12 语言：Python

基于Python的开源爬虫软件Scrapy快速入门