storm java 编程思路：总体思路 storm编程和hadoop的mapreduce的编程很类似，hadoop的mapreduce需要自己实现map函数，reduce函...

《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》

使用Kubernetes和Docker进行简单的leader选举 - 【编者的话】Kubernetes简化了运行在集群中的服务部署和运维管理，然而，它也简化了这些管理工作的部署。本篇文章将会展示...

HDFS存储规范,主要介绍存储规划和HDFS目录规划...

本文使用Scala2.10.6，sbt。请自行提前装好。

少量数据的实时处理可以使用JMS（Java Messaging Service）这类技术，但是数据量很大时便会出现性能瓶颈。而且这些方案不适合横向扩展。

duang~好久没有更新博客啦，原因很简单，实习啦～好吧，我过来这边上班表示觉得自己简直弱爆了。第一周，配置环境；第二周，将数据可视化，包括学习了excel2013的一些高大上的技能，例如数据透...

所谓实时流计算就是近几年由于数据得到广泛应用之后，数据持久性建模不满足现状下，急需数据流的瞬时建模或者计算处理。这种实时计算的应用的实例有金融服务、网络监控、电信数据管理、Web应用、生产制造、...

Accumulo入门手册：1。介绍 Apache Accumulo的是一个高度可扩展的结构化存储，基于谷歌的BigTable。Accumulo是用Java编写的...

然而直接把原始未加工的日志交给elasticsearch没有什么意义。

ELK系统收到推送过来的日志后，首先由logstash解析日志中的字段，分解成一个一个的关键字。elasticsearch将关键字与日志信息关联起来，以一种特定的格式化方式存储数据到硬盘。kib...

 前面几篇博客大致讲解了一下有关zookeeper的概念知识，下面结合前面的几篇博客来讲解一下zookeeper的使用场景。

Oozie4.2.0配置安装实战

在上一篇博客中我们提到过，OpenStack每个项目内部的服务进程之间是通过消息总线来通讯的，而在各个项目之间则是通过RESTful API来进行通讯的，在这一篇博客中，我们就来详细的讨论一下O...

Hadoop 作为一个较通用的海量数据处理平台，每次运算都会需要处理大量数据，我们会在 Hadoop 系统中对数据进行压缩处理来优化磁盘使用率，提高数据在磁盘和网络中的传输速度，从而提高系统处理...

hadoop作业调优参数整理及原理：问题导读： 1.map会将已经产生的部分结果先写入到该buffer中.buffer大小可以通过那个参数来设置？ 2.如何...

在编写 Flink，Spark，Hive 等相关作业时，要是能快速的将我们所编写的作业能可视化在我们面前，是件让人兴奋的时，如果能带上趋势功能就更好了。今天，给大家介绍这么一款工具。它就能满足上...

容器与OpenStack是云中的两个热门技术，但是哪个容器有编排工具能与开源云平台一起工作？

Storm集成Redis：一、Storm集成redis前的准备     首先是需要安装storm和redis环境，具体安装方法可分别去http://st...

Spark 访问 Hive 执行 SQL：最近在使用 Spark 结合 Hive  来执行查询操作。。跑了一个demo 出现如下错误： 01-20 14:49:41 [INFO] ...