[Python]代码 #-*- coding:utf-8 -*- http://www.aichengxu.com import urllib2 import re import requests from

管业务相差很大，但都涉及到爬虫领域。开发爬虫项目多了后，自然而然的会面对一个问题—— l 这些开发的爬虫项目有通用性吗？ l 有没有可能花费较小的代价完成一个新的爬虫需求？ l 在维护运营

Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任务取消等，并且考虑了支持分布式布局。

Arale能够下载整个网站或来自网站的某一特定资源。Arale还能够把动态页面渲染成静态页面。

JobHunter旨在自动地从一些大型站点来获取招聘信息，如chinahr,51job,zhaopin等等。JobHunter 搜索每个工作项目的邮件地址，自动地向这一邮件地址发送申请文本。

surfer是一款强大的高并发爬虫下载组件，支持GET / POST / HEAD 方法下载，支持https协议，支持自动保存cookie，支持模拟登录！ 项目主页： http://www

0、简单例子 利用Python的urllib2库，可以很方便的完成网页抓取功能，下列代码抓取百度主页并打印。 # -*- coding: utf-8 -*- import urllib import urllib2

Jsoup可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

style="width:460px" import urllib,urllib2 import re #返回网页源代码 def getHtml(url, page): tempUrl = url + str(page)

使用 HttpClient 和 HtmlParser 实现简易爬虫(二) HtmlParser 提供了强大的类库来处理 Internet 上的网页，可以实现对网页特定内容的提取和修改。下面通过几个例子来介绍

Goutte是一个屏幕抓取和web爬虫PHP库。 Goutte提供了一个很好的API来抓取网站和从服务器响应的HTML/ XML提取数据。 要求 Goutte depends on PHP 5

本项目基于golang开发，是一个开放的垂直领域的爬虫引擎，主要希望能将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块（主控

Osmosis 是 Node.js 用来解析 HTML/XML 和 Web 内容爬取的扩展。

Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任务取消等，并且考虑了支持分布式布局。

(tar.gz) Pholcus（幽 灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，更重要的 是它支持

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。下图显示了Scrapy的大体架构，其中

Spidr是一个多功能的Ruby web 爬虫库。它可以抓取一个网站，多个域名或某些链接。Spidr被设计成快速和容易使用。 具体特性： Follows: a tags. iframe tags.

HiSpider是一个快速和高性能的网页爬虫。 严格说只能是一个spider系统的框架, 没有细化需求, 目前只是能提取URL, URL排重, 异步DNS解析, 队列化任务, 支持N机分布式下载,

OpenWebSpider是一个开源多线程Web爬虫和包含许多有趣功能的搜索引擎。 OpenWebSpider的使用方法。 一般情况下我们通过在CMD下输入 openwebspider

Combine 是一个用Perl语言开发可扩展的Web资源爬虫程序。 SearchEngine-in-a-Box 系统的一部分 高度可配置 聚焦爬行模式的综合自动化主题分类 可以使用任何主题聚焦爬行模式分类器