Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD的设计思路，及其在内存上的容错。内容基于论文 Zaharia, Matei, et al. " Resilient Distributed

DPark 是 Spark 的 Python 克隆，是一个Python实现的分布式计算框架，可以非常方便地实现大规模数据处理和迭代计算。 DPark 由豆瓣实现，目前豆瓣内部的绝大多数数据分析都使用DPark

由于spark提供的hbaseTest是scala版本，并没有提供java版。我将scala版本改为java版本，并根据数据做了些计算操作。 程序目的：查询出hbase满足条件的用户，统计各个等级个数。 代码如下，注释已经写详细：

Go 编写的易用分布式计算系统，是 Hadoop Map Reduce，Spark，Flint，Samza 等等的替代品。 Glow 的目标是提供一个库，可以在并行线程或者分布式集群机器中进行更简单计算。

1. 高性能和分布式计算 林小拉 linxl@mail.sysu.edu.cn 中山大学信息科学与技术学院 2. 内容提要分布式计算和分布式系统 P2P计算 云计算和网格计算 传感器网络和物联网 3.

Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如 同java程序员可以不考虑内存泄露一样，

平台，目前已经归于 Apache 基金会管辖。 Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理，像 Hadoop 一样实现实时批处理。Storm 很简单，可用于任意编程语言。

FourInOne（中文名字“四不像”）是一个四合一分布式计算框架，在写这个框架之前，我对分布式计算进行了长时间的思考，也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时，似乎忘

Disco是一个基于MapReduce的分布式计算框架。Disco是一个开源项目，由诺基亚研究中心开发用来解决处理大数据时碰到的实际问题。 Disco采用Python开发，具有易于使用，强大的特点

MyRPC是个远程过程调用框架，设计用来方便地连接异构系统。它具有基于IDL的客户机/服务器存根生成，多平台支持，二进制协议（不需要转义二进制数据，更少的开销），支持各种数据类型（如字符串，二进制，符号和无符号整数，浮点数，列表，结构和枚举），和异常的支持。

处理器或内核）和集群（计算机通过网络连接）上并行执行的机制。能够将计算压力分布到多核CPU或集群的多台计算机上，能够非常方便的在内网中搭建一个自组织的分布式计算平台。先从多核计算开始，普通的Pytho

(Scala)。 它们的编程模型很像，Dataflow也可以很方便做本地测试，可以传一个模拟集合，在上面去迭代计算结果，这一点是传统Map-reduce望尘莫及的。 Twitter Summingbird ：

1、Gearman介绍和使用场景 Gearman是一个分发任务的程序框架，可以用在各种场合，与Hadoop相 比，Gearman更偏向于任务分发功能。它的任务分布非常简单，简单得可以只需要用脚本即可完成。Ge

框架概况： LTS是一个轻量级分布式任务调度框架。有三种角色, JobClient, JobTracker, TaskTracker。各个节点都是无状态的，可以部署多个，来实现负载均衡，实现更大的负载量

这一次总结和分享用Redis实现分布式锁 与 实现任务队列 这两大强大的功能。先扯点个人观点，之前我看了一篇博文说博客园的文章大部分都是分享代码，博文里强调说分享思路比分享代码更重要（貌似大概是这个意

分布式调度在互联网企业中占据着十分重要的作用，尤其是电子商务领域，由于存在数据量大、高并发的特点，对数据处理的要求较高，既要保证高效性，也要保证准确性和安全性，相对比较耗时的业务逻辑往往会从中剥离开来进行异步处理。

《分布式任务调度平台XXL-JOB》 一、简介 1.1 概述 XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

niubi-job是一款专门针对定时任务所设计的分布式任务调度框架，它可以进行动态发布任务，并且有超高的可用性保证。 有多少人半夜被叫起来查BUG，结果差到最后发现，是因为某个定时任务挂了导致出了问题？

基于zookeeper的分布式定时任务调度系统 # 设计背景 在分布式环境下，为做到负载均衡，应用常常会部署到多台机器上，但是有些程序只需要在同一时刻，只在其中的某一台执行一次就可以了（例如大量的定时任务），这些

能够很简便实现在网格中并计算和执行密集型任务。 JPPF的突出特性 提供了负载平衡，故障转移和错误恢复等服务。 提供一个基 于JMX的管理控制台，它既可以监视节点也可以管理执行的任务。你可以远程取消和重启任务，或配置令其超时的截止日期或时间间隔。