现在大数据，云计算已经成为互联网的标配，但是现在主流的大数据处理依旧是使用batch模式，batch模式就是将数据按某种规则分成块，然后对整个块跑计算逻辑，缺点是延迟太高(至少是分钟)，常用的工...

服务端/后台开发中如何生成id是每个开发者都会遇到的问题，在电商、游戏领域尤其突出。如何保证生成id的唯一性、可靠性、高可用性，如何组织id的格式，在不同的应用场景和限制下实现方式也不尽相同。

本环境使用的单个宿主主机，而不是跨主机集群，本spark集群环境存在的意义可能在于便于本地开发测试使用，非常轻量级和便捷。这个部署过程，最好在之前有过一定的hadoop，spark集群部署经验的...

Apache Eagle Committer 和 PMC 成员，eBay 分析平台基础架构部门高级软件工程师，负责Eagle的产品设计、技术架构、核心实现以及开源社区推广等。

zookeeper安装：用户为hadoop，安装目录为/opt/app下面 上传安装文件到/opt下面 root用户解压 [root@master opt]$ tar -...

gocryptfs 是一个使用 Go 开发的，加密的覆盖文件系统。gocryptfs 基于 go-fuse FUSE 库和其 LoopbackFileSystem API 构建。gocryptf...

Spark大数据分析框架的核心部件：Spark大数据分析框架的核心部件 Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框...

十八款Hadoop工具帮你驯服大数据：Hadoop已经通过自身的蓬勃发展证明，它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不，...

Hadoop使用了MapReduce编程范式，目前已经被公认为是分布 式环境中分析大数据的标准框架。然而，它并不能很好的应用于大规模的计算几何处理。本文介绍的CG_Hadoop是一套可伸缩的和高...

SpatialHadoop实例：面向空间数据的高效MapReduce框架：作者：Ahmed Eldawy；Mohamed F.Mokbel 摘要：本文实例介绍了SpatialHadoop平台，它...

开源大数据处理工具汇总（上） ：本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接...

开源大数据处理工具汇总（下）：作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。 ...

在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hive sql转化成的mr任务,最终都是以Application应...

云平台hadoop搭建以及wordcount实例运行：我的第一篇博客，希望大家能够看懂！ hadoop是大数据处理的平台，是基于linux系统下的，在windows安装

介绍一下基于zookeeper的一些API的编程。 在此之前，我们先来熟悉一下相关知识： Zookeeper的Session： （1）客户端和server间采用长连接

Trident是一个基于Storm的用于实时计算的高级抽象原语。它支持高吞吐（每秒百万级别），有状态的流处理，并且还能够提供低延时的分布式查询功能。如果你熟悉一些比较高级的批处理工具，比如Pig...

部署Spark 0.9集群：Spark 0.9 1 部署Spark集群 这种是运维人员在生产环境下，搭建起一个Spark集群。

hadoop 之分布式安装

1 hadoop目前支持以下三种调度器： FifoScheduler：最简单的调度器，按照先进先出的方式处理应用。只有一个队列可提交应用，所有用户提交到这个队列。没有应用优先级可以配置。

hadoop2.6.0 在64位CentOS 6.4系统上的编译：直接使用官网上下载的hadoop2.6.0在运行时候经常都会遇到WARN util.NativeCodeLoader: Unab...