2013年年底，我第一次接触到Spark，当时我对Spark所使用的Scala语言产生了较大的兴趣。一段时间后，我做了一个预测泰坦尼克号船上人员生存概率的数据科学项目。事实证明这是一个更深入了解...

转眼间已经接触了hadoop两周了，从之前的极力排斥到如今的有点喜欢,刚开始被搭建hadoop开发环境搞得几乎要放弃，如今学会了编写小程序,每天都在成长一点挺好的，好好努力,为自己的装备库再填一...

spark streaming从1.2开始提供了数据的零丢失，想享受这个特性，需要满足如下条件：

(名词约束: 顶点Vertex-图中顶点;节点Process-计算单元节点),目录说明:

我们知道有eclipse的Hadoop插件，能够在eclipse上操作hdfs上的文件和新建mapreduce程序，以及以Run On Hadoop方式运行程序。那么我们可不可以直接在eclip...

如何使用Spark大规模并行构建索引：使用Spark构建索引非常简单，因为spark提供了更高级的抽象rdd分布式弹性数据集，相比以前的使用Hadoop的...

Akka由Scala语言编写的分布式应用框架，用于简化编写容错的、高可伸缩性的Java和Scala的Actor模型应用。它已经成功运用在电信行业。系统几乎不会宕机（高可用性 99.9999999...

Big Data非常复杂，涉及到的技术繁多。我们常“耳闻”的技术，如果MapReduce, Hadoop等处于哪一层次，下图会给你一个整体印象。

dispatch_async和dispatch_sync方法需要传2个参数，第一个参数是队列类型，第二个参数是block块。dispatch_sync:同步当前调用此gcd的线程，会阻塞当前调用...

Tungsten-sort 算不得一个全新的shuffle 方案，它在特定场景下基于类似现有的Sort Based Shuffle处理流程，对内存/CPU/Cache使用做了非常大的优化。带来高...

雅虎Storm团队排名不分先后 ） Sanket Chintapalli , Derek Dagit , Bobby Evans , Reza Farivar , Tom Grave...

摘要：成为数据极客，建立自己的数据场需要哪些技能呢？遇到普通的数据，通过SQL做分析。如果数据量比较大，可以使用Hadoop等大数据框架处理。在深入挖掘上，可用Python或者R语言进行编程。0...

摘要：除了报表统计外，还需要对数据的有很强的解读能力。电商中的个性推荐技术，商业与银行中的欺骗检测，智能手机中语音识别等等技术，让我们浑身便散发出大数据与机器学习的各种场信息，给人以满满的正能量...

EasyNAS是一个适用于家庭及小型办公环境的存储管理系统。 它使用Opensuse的文件系统BTRFS： 具有稳定，高性能，高可用和其他你不常见的特性。 EasyNAS的先进特性包括：支持压缩...

【hadoop 2.7.1 】动态添加节点、删除节点：hftest0001 hftest0002 hftest0003 一、动态添加节点 hftest0001 (master node ) [h...

nono-task-dispatcher - 基于zookeeper的分布式定时任务调度系统

Hadoop2.6.0上的spark1.5.2集群搭建：一、Spark安装前提 安装Spark之前需要先安装Hadoop集群，因为之前已经安装了hadoop，所以我直接在之前的...

【Spark 1.5.1】 安装：一、Hadoop 2.x 安装 Hadoop 2.x安装 http://my.oschina.net/u/204498/blog/519789 二、Spark1...

在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技术。那么什么是分布式协调技术？那么我来告诉大家，其实分布式协调技术主要用来解决分布式环境当中多个进程之间的同步控制，让他们...

hadoop2.6.3 集群部署