在今天的文章中，我们将着重探讨如何利用SMACK（即Spark、Mesos、Akka、Cassandra以及Kafka）堆栈构建可扩展数据处理平台。虽然这套堆栈仅由数个简单部分组成，但其能够实现...

Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。

这篇文章的目的是帮助您开始使用 Apache Zeppelin Notebook，它可以满足您用R做数据科学的需求。Zeppelin 是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据...

最近在调整游戏的后台架构，之前因为需要快速出产品，所以整个代码都揉成一团，也基本没有做任何分层处理。现在服务器端的开发也开始逐渐招进来，所以打算打算换一套统一的架构，以后做新游戏只要做其中的业务逻辑即可。

之前有说过要设计一个工作流调度器。开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming(基于Transfomer架构的理念)，我们可能能简化这些工作。我在这...

storm集群和单点安装：Storm实时分析平台的起源，Storm分布式集群实施 流式处理场景：算法交易 storm组件 1.nimbus集群中心，控...

Zookeeper配置项说明：Zookeeper常见基本配置项： tickTime: CS通信心跳 initLimit: LF初始通信时限 syncLimit: LF同步通信...

Storm集群的搭建：在Ubuntu 14.04下搭建Storm集群环境 Step 1. 下载所需的软件包： 1). JDK: http://www.oracle.com/tec...

Rust IDE 构建使用 IntelliJ 平台

Tair是一个高性能、分布式、可扩展、高可靠的NoSQL存储系统。本文基于Tair v3.1.2.43版本，探究其mdb存储引擎的实现。 Tair目前有mdb、ldb和rdb等存储引擎。其中m...

所谓高可用性指的是系统如何保证比较高的服务可用率，在出现故障时如何应对，包括及时发现、故障转移、尽快从故障中恢复等等。本文主要以点评的交易系统的演进为主来描述如何做到高可用，并结合了一些自己的经...

文章是哥(mephisto)写的，SourceLink 上一篇，我们对hive的数据导出，以及集群Hive数据的迁移进行描述。了解到了基本的hive导出操作。这里，我们将对hive的CL...

插件下载后，放在eclipse安装目录下的plugins文件夹下，然后重启eclipse，就会发现Project Explorer窗口里多出DFS Locations这一项，对应的是HDFS里存...

Paxos是一个基于消息传递的一致性算法，近几年被广泛应用于分布式计算中，Google的Chubby，Apache的Zookeeper都是基于它的理论来实现的，Paxos还被认为是到目前为止唯一...

To knowledge 是目标，手段还是 mining ，俗称数据民工。每当大家讲到大数据，都会不约而同的提到大数据几个 V 的定义： Volume ， Variety ， Velocity ...

Apache Mesos 是一个分布式系统的管理软件，对集群的资源进行分配和管理。

 在平常的高并发的程序中，为了保证数据的一致性，因此都会用到锁，来对当前的线程进行锁定。在单机操作中，很好做到，比如可以采用Synchronized、Lock或者其他的读写多来锁定当前的线程。但...

组件分布在网络计算机上 组件之间仅仅通过消息传递来通信并协调行动 分布式系统的意义： 升级单机处理能力的性价比 根据摩尔定律来说，如果把时间固定下来，所需要的处理器性能越高，付出的...

我们基于Hadoop 1.2.1源码分析MapReduce V1的处理流程。

storm拓扑的并行度(parallelism)概念：1 storm并行的基本概念 一个运行中的拓扑是由什么构成的：工作进程（worker processes），执行器（execu...