分布式爬虫框架:Cola 经验

Cola Cola是一个分布式爬虫框架,用户只需编写几个特定的函数,而无需关注分布式运行的细节。任务会自动分配到多台机器上,整个过程对用户是透明的。 依赖 首先,确保Python版本为2.6或者2

jopen 2014-07-18   84246   0

开源游戏 0 A.D. Alpha 11 已经发布- 代号 Kronos 资讯

0 A.D.是一款自由开源的即时战略游戏,该游戏最近发布了另一个alpha版本,该版本代号“Kronos”,此版本带来了许多新的功能。 版本变化: New Celtic Factions. New

jopen 2012-09-09   6657   0
游戏  
P10

  0 outline 文档

xionghsh 2017-03-28   10181   0

Create A Slider From A Select Box 开源项目

这是一个漂亮的jQuery插件能够自动将select boxes转换成一个sliders控件。

码头工人 2019-02-23   498   0
jQuery   Slider  

A*(A星)算法Go lang实现 代码段

:= *this n := len(old) x := old[n-1] *this = old[0 : n-1] return x } type _Point struct { x int y int

gww3 2015-05-13   1099   0
算法  

A*(A星)算法python实现 代码段

/usr/bin/python # vim:set fileencoding=utf-8 # 在春节放假前两天我偶然看到了A*算法,感觉挺有意思。正好放假前 # 也没有什么事情,就花了一个下午写出算法的骨架,节后又花了半天 #

gww3 2015-05-13   1891   0
算法  

分布式文件系统Go-IPFS floodsub-0 发布 资讯

IPFS 是分布式文件系统,寻求连接所有计算机设备的相同文件系统。在某些方面,这很类似于原始的 Web 目标,但是 IPFS 最终会更像单个比特流群交换的 git 对象。 IPFS 云成为一个新的

jopen 2016-09-13   6749   0

Cola:一个分布式爬虫框架 经验

现一个通用的爬虫框架。最近由于要抓取新的数据,于是我就写了这个 cola 。下面的文字来自 wiki 。 Cola是一个分布式爬虫框架,用户只需编写几个特定的函数,而无需关注分布式运行的细节。任

jopen 2016-01-07   14582   0

zerg - 基于docker的分布式爬虫服务 经验

zerg 基于docker的分布式爬虫服务 特性 多机多 IP,充分利用 IP 资源 服务自动发现和注册(基于 etcd 和 registrator) 负载均衡 + 一致性哈希 服务端客户端通信基于

分布式爬虫系统——架构设计 经验

前言: 在爬虫的开发过程中,有些业务场景需要同时抓取几百个甚至上千个网站,此时就需要一个支持多爬虫的框架。在设计时应该要注意以下几点: 代码复用,功能模块化。如果针对每个网站都写一个完整的爬虫,那其中必

AliLavallee 2017-02-12   30425   0

如何设计一个复杂的分布式爬虫系统? 经验

一个复杂的分布式爬虫系统由很多的模块组成,每个模块是一个独立的服务(SOA架构),所有的服务都注册到Zookeeper来统一管理和便于线上扩展。模块之间通过thrift(或是protobuf,或是so

BlaSidney 2016-09-29   37085   0

JLiteSpider:轻量级的分布式 Java 爬虫框架 经验

JLiteSpider A lite distributed Java spider framework. 这是一个轻量级的分布式java爬虫框架 特点 这是一个强大,但又轻量级的分布式爬虫框架。jlit

StephaineRF 2016-10-11   9812   0
P17

  微服务实例-构建分布式爬虫系统-数人科技 文档

1. 自制分布式爬虫系统北京数人科技有限公司 doc.dataman-inc.com 2. 单机的 All-In-One 爬虫架构控制模块抓取模块抽取模块HA Proxy各地代理URLHTML模板结果JSONXML递归

dmc3 2015-07-25   1277   0
网络爬虫   方案   HTTP   HTML   Java  
P170

m0n0wall 中文手册 文档

m0n0wall 中文手册 作者: Chris Buechler Manuel Kasper 译文:Ben Zeng m0n0wall 的作者是 Manuel Kasper。大部分文档由 Chris Buechler

clbus 2014-07-26   669   0
P170

m0n0wall 中文手册 文档

m0n0wall 中文手册 作者: Chris Buechler Manuel Kasper 译文:Ben Zeng m0n0wall 的作者是 Manuel Kasper。大部分文档由 Chris Buechler

csnetstar 2012-06-21   1526   0

模拟帝国时代的游戏,0 A.D. Alpha 8 发布 资讯

0 A.D 是由 WIldfire Games 开发的免费跨平台游戏,支持 Windows, Mac OS X和Linux。 近日它发布了 alpha 1 版本,代号为 “Argonaut”,这个版本

jopen 2011-12-24   13390   0
游戏  
P9

  j​a​v​a​中​f​i​n​a​l​、​f​i​n​a​l​l​y​、​f​i​n​a​l​i​z​e​的​区别 文档

FinalTest {      // 在定义时初始化      public final int A = 10;     // 在初始化块中初始化      public final int B;      {

千里马 2014-08-10   4378   0

python 爬虫 代码段

学习python就一直想做爬虫的东西,还要继续学 理论上的东西一要加强 #!/usr/bin/python #coding=utf-8 import urllib import re def getHtml(url):

atts 2016-01-22   1227   0
爬虫  
P38

  python爬虫 文档

1. Python爬虫 许超英 2. python爬虫基础知识: Python基础知识 Python中urllib和urllib2库的用法 Python正则表达式 Python爬虫框架Scrapy Python爬虫更高级的功能

xcyflyer 2016-05-26   826   0
Python开发   HTTP   HTML   JSON   Python  

Yarn – A small embeddable VM with a custom instruction set 经验

https://github.com/WetDesertRock/Yarn Yarn A small embeddable VM with a custom instruction set and statically

ugsn5183 2016-02-27   9473   0
YARN  
1 2 3 4 5 6 7 8 9 10