Spark成功的实现了当年的承诺，让数据处理变得更容易，现在，雄心勃勃的Databricks公司展开了一个新的愿景：让深度学习变得更容易。 当然牛好吹，也是要做些实际行动的，所有便有了 spar...

大数据时代，中大型企业数据的爆发式增长，几乎每天都能产生约 100GB 到 10TB 的数据。而企业数据分系统构建与扩张，导致不同应用场景下大数据冗余严重。行业亟需一个高效、统一的融合数仓，从海...

Apache Spark中，对Block的查询、存储管理，是通过唯一的Block ID来进行区分的。所以，了解Block ID的生成规则，能够帮助我们了解Block查询、存储过程中是如何定位Bl...

spark 调度器分为两个部分， 一个是 DagScheduler， 一个是 TaskScheduler， DagScheduler 主要是用来把一个 Job 根据宽依赖划分为多个Stage（阶...

对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在...

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在...

Spark上开发的应用程序都是由一个driver programe构成，这个所谓的驱动程序在Spark集群通过跑main函数来执行各种并行操作。集群上的所有节点进行并行计算需要共同访问一个分区元...

本文主要帮助初学者快速了解Spark，不会面面俱到，但核心一定点到。

Apache Spark 是用于大规模数据处理的快速和通用引擎，它运行在 Hadoop，Mesos，可以离线或云端运行，具有高速、可扩展等特点。近年来，在 IBM 等大公司和众多社区贡献者的推动...

英特尔今天宣布推出开源 BigDL，一个用于 Apache Spark 开源集群计算框架的分布式深度学习库。

大规模机器学习工程上最大的挑战是模型的规模。在计算广告，推荐系统的场景下，运用Logistic Regression算法时常需要做特征交叉。原来两组，三组特征的数量可能并不是太大，但是通过交叉后...

Spark revolves around the concept of a resilient distributed dataset (RDD), which is an immutable...

搭建Spark源码研读和代码调试的开发环境

工业和研究中数据的大幅增长为计算机科学带来了巨大的机会与挑战。由于数据大小超过了单台机器的能力，用户需要新的系统将计算扩展到多个节点。因此，针对不同计算工作负载的新集群编程模型已呈爆炸式增长。

用户行为路径分析是互联网行业特有的一类数据分析方法，它主要根据每位用户在App或网站中的点击行为日志，分析用户在App或网站中各个模块的流转规律与特点，挖掘用户的访问或点击模式，进而实现一些特定...

本篇文章中我们将学习如何使用Apache Spark streaming，Kafka，Node.js，Socket.IO和Highcharts构建实时分析Dashboard。

市场上很多玩家已经建造了MapReduce工作流用来日常处理兆兆字节的历史数据。但是谁愿意等待24小时来拿到更新后的分析报告？这篇文章会向你介绍 Lambda Architecture ，它被设...

大数据处理技术越来越火,云计算平台也如火如荼,二者犹如 IT 列车的两个车轮,相辅相成,高速发展。如果我们将大数据处理平台比作一个可能会得病的人的话，那么日志分析系统就是给病人诊断的医生。由于集...

图结构可有效表示稀疏矩阵，因而图数据分析可用于实现大数据分析。本文是Info对该书作者的访谈，内容包括图数据及分析技术、GraphX高效程序开发、图数据分析的趋势等。