基于Python的开源爬虫软件Scrapy快速入门

一个基于golang的web爬虫工具

基于urlib2及beautifulSoup实现的微博爬虫系统。 数据库采用mongodb，原始关系以txt文件存储，原始内容以csv形式存储，后期直接插入mongodb数据库

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 ...

surfer是一款强大的高并发爬虫下载组件，支持GET / POST / HEAD 方法下载，支持https协议，支持自动保存cookie，支持模拟登录！

Pholcus（幽灵蛛）是一款纯Go语言编写的重量级爬虫软件，清新的GUI界面，优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo，支持横纵向两种抓取模式，支持模拟登录和任...

生成项目scrapy提供一个工具来生成项目，生成的项目中预置了一些文件，用户需要在这些文件中添加自己的代码。打开命令行，执行：scrapy st...

python网页抓取功能非常强大，使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意，可能很多网站都设置了防采集功能，不是那么轻松就能抓取到想要的内容。

Scrapy在window上的安装教程见下面的链接：Scrapy安装教程 上述安装教程已实践，可行。本来打算在ubuntu上安装Scrapy的，但是Ubuntu 磁盘空间太少了，还没扩展...

scrape 是一个使用 Go 语言开发的简单高级Web 爬虫。

Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。Snoopy正确运行需要你的服务器的PHP版本在4以上，并且支持PCRE（Perl Compatible Regul...

github-issue-mover 是能快速迁移 github 上问题的工具。

Scrapple 是一个用来开发 Web 爬虫程序的 Python 框架，使用 key-value 配置文件。提供命令行接口来运行基于 JSON 的配置，同时也提供基于 Web 的接口来输入。

Osmosis 是 Node.js 用来解析 HTML/XML 和 Web 内容爬取的扩展。

ReactiPy 是 Python 的模块，用来将 React 组件渲染成 HTML 内容。它支持快速加载网页、使搜索引擎更快的抓取网页内容，以达到 SEO 优化的目的。

Another Simple Crawler 又一个网络爬虫，可以支持代理服务器的翻墙爬取。

8年多爬虫经验的人告诉你，国内ADSL是王道，多申请些线路，分布在多个不同的电信机房，能跨省跨市更好，我这里写好的断线重拨组件，你可以直接使用。 ADSL拨号上网使用动态IP地址，每一次拨号得...

基本思路： 1、初始化一个或者多个入口链接为初始状态到链接表 2、爬虫爬取的黑名单和白名单，只有匹配白名单中的某一个且不匹配黑名单中的任何一个的链接才能通过 3、从链接表...

这是一款提取网站数据的开源工具。Scrapy框架用Python开发而成，它使抓取工作又快又简单，且可扩展。我们已经在virtual box中创建一台虚拟机（VM）并且在上面安装了Ubuntu 1...

nutcher 是 Apache Nutch 的中文教程，在github上托管。nutch社区目前缺少教程和文档，而且教程对应版本号较为落后。nutcher致力于为nutch提供一个较新的中文教...