storm集群搭建：集群环境:每台机器的操作系统，配置都要一样的，避免一些不必要的麻烦， 所需工具软件：python,zookeepe...

Spark 常见问题小结：Spark is an excellent tool to use with Apache Cassandra and thanks to the DataStax O...

在对数据进行小计或合计运算时，rollup和cube一样，算是常用的操作了。Spark的DataFrame提供了rollup函数支持此功能。

去年十月份，在阿姆斯特丹 速度会议 上，来自 Fugue的首席安全工程师 Alex Schoof 解释 了如何在一个分布式、可伸缩的环境中管理秘密，比如云平台。Schoof提议将秘密管理系统分解...

这是一个使用Docker将Node.JS或Java等Web应用实现 分布式 部署的文章，关键是解决应用服务的自动发现。

ceph集群配置注意事项：ceph部署环境： 硬件环境。4台4U的服务器，服务器配置信息如下：

hadoop2.7.1环境搭建：在老板的支持下，陆续划拉到了10几台机器，绑定了固定IP，工作之余开始了Hadoop之旅。将要点记录下来，以...

编者按：《通过demo学习OpenStack开发》专栏是刘陈泓的系列文章，专栏通过开发一个demo的形式来介绍一些参与OpenStack项目开发的必要的基础知识，希望帮助大家入门企业级Pytho...

Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3)：1. 新建表 1) 新建表结构 create table user_table(     id         ...

这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，...

这是一篇来自AWS企业解决方案架构师David Shurtliff和CloudEndure VP商务开发的Gonen Stein合作的一篇客座文章.

编者按：《通过demo学习OpenStack开发》专栏是刘陈泓的系列文章，专栏通过开发一个demo的形式来介绍一些参与OpenStack项目开发的必要的基础知识，希望帮助大家入门企业级Pytho...

最近这段时间在设计和实现日志系统，在整个日志系统系统中Zookeeper的作用非常重要——它用于协调各个分布式组件并提供必要的配置信息和元 数据。这篇文章主要分享一下Zookeeper的使用场景...

在开发的过程中有的时候我们只需要存储一些临时的变量，我们并不想使用collection来存储，这个时候我们可以使用Session来存储，Session可以方便的存储一些状态，也可以在helper...

Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台，可以快速帮助搭建Hadoop及相关以来组件的平台，管理集群方便。这篇博客记录Ambari的相关问题和注意事项。方便为初学...

ZOOKEEPER基础

下面这些关于Spark的性能调优项，有的是来自官方的，有的是来自别的的工程师，有的则是我自己总结的。

在分布式系统存在多个 Shard 的场景中, 同时在各个 Shard 插入数据时, 怎么给这些数据生成全局的 unique ID? 在单机系统中 (例如一个 MySQL 实例), uni...

所谓的经典版本的MapReduce框架，也是Hadoop第一版成熟的商用框架，简单易用是它的特点

这篇内容基于我去年的一些感悟写的，但是今年才在Stuq 的微信群做的分享。从技术角度而言，对Spark的掌握和使用还是显得很手生的。但是今天一位做数据分析相关的朋友说，受这篇内容影响，他接受了 ...