是乎想到了博客园。C#也能做做页面数据抓取的，不过在博客园看到的大部分都是python实现，所以就临时想了一下看看python到底是什么东东，不看基础语法，不看语言功能，直接上代码，哪里不会搜哪里。代

是一个高效的，简单的，易使用的基于Python的网络开发框架。它借鉴了C++界强大的网络开发库ACE，以Python的形式实现了高效，可复用的，异步网络处理框架。 特点: 1. 在不灵活和性能损失的情况下让网络开发更简单化，将网络层和业务层隔离开。

继续Python协程方面的介绍，这次要讲的是gevent，它是一个并发网络库。它的协程是基于greenlet的，并基于libev实现快速事件循环（Linux上是epoll，FreeBSD上是kqueue，Mac

Twisted Matrix 是一种越来越受欢迎的纯 Python 框架，用来进行网络服务和应用程序的编程。虽然 Twisted Matrix 中有大量松散耦合的模块化组件，但该框架的中心概念还是非阻

IVRE 是一个 Python 网络侦查框架，后端基于 NMAP，使用 Bro & p0f 和 MongoDB实现。 项目主页： http://www.open-open.com/lib/

eventlet是一个用来处理和网络相关的python库函数，而且可以通过协程来实现并发，在eventlet里，把“协程”叫做 greenthread(绿色线程)。所谓并发，就是开启了多个greent

Lunar是一个玩具式的网络框架，基于PEP333和它的进化版PEP3333，它包括 一个模板引擎: https://github.com/jasonlvhit/lunar/blob/master/lunar/template

Python 3.X 要使用urllib.request 来抓取网络资源。 最简单的方式： #coding=utf-8 import urllib.request response = urllib

greenev是一个基于greenlet协程，事件驱动，非阻塞socket模型的Python网络服务框架，它使得可以编写同步的代码，却得到异步执行的优点。 本项目受到gevent, openresty

上面的入门教程是很基础的，先跟着作者走一遍，要动起来哟，不要只是阅读上面的那篇入门教程，下面我简单总结一下Scrapy爬虫过程： 1、在Item中定义自己要抓取的数据 ： movie_name就像是字典中的“键”，爬到的数据就像似字典中的“值”。

scrape 是一个使用 Go 语言开发的简单高级Web 爬虫。 示例代码： package main import ( "fmt" "net/http" "github.com/yhat/scrape"

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。Larbin只是一个爬虫，也就

Crowbar: 基于Mozilla浏览器的 ajax 爬虫，还可作为远程浏览器使用，比较有意思。 项目主页： http://www.open-open.com/lib/view/home/1324864120014

一个开源的JAVA爬虫，包含了一套爬虫的内核和一套完整的爬虫。内核具有很强的扩展性，用户可以在内核基础上开发自己想要的爬虫。源码中集成了Jsoup，可进行精准的网页解析。 项目主页：

网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，

BlueLeech是一个开源程序，它从指定的URL开始，搜索所有可用的链接，以及链接之上的链接。它在搜索的同时可以下载遇到的链接所指向的所有的或预定义的范围的内容。

起因 做过爬虫的人应该都知道，抓的网站和数据多了，如果爬虫抓取速度过快，免不了触发网站的防爬机制，几乎用的同一招就是封IP。解决方案有2个： 1、同一IP，放慢速度(爬取速度慢) 2、使用代理IP访问(推荐)

Upton 是一个采用Ruby开发，用于简化web抓取的框架，包含了实用的调试模式。它提供了公共/重复的部分，所以你只需要编写网站特有的部分。

WebLech URL Spider是一个功能强大的Web站点下载与镜像工具。它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。WebLech有一个功能控制台并采用多线程操作。

ItSucks是一个Java Web爬虫开源项目。可灵活定制，支持通过下载模板和正则表达式来定义下载规则。提供一个控制台和Swing GUI操作界面。 功能特性: 多线程 正则表达式 保存/载入的下载工作