Spark大数据分析框架的核心部件 经验

Spark大数据分析框架的核心部件 Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、Spark

jopen 2016-01-05   18274   0

Spark生态系统中的图数据分析知识 经验

网络、树、类RDBMS结构、稀疏矩阵以及其它杂七杂八的结构。 Robin East:传统的数据分析方法侧重于事物本身,即实体,例如银行交易、资产注册等等。而图数据不仅关注事务,还关注事物之间的联系

pcus3589 2016-10-19   7473   0
P28

  电信场景下Spark一站式分析平台 文档

1. 电信场景下Spark一站式分析平台夏命榛 2014-08 2. 目录 Page 2电信大数据场景与关键技术1.2.数字足迹案例3.平台和关键技术 3. Page 3 4. Page 4 5. Page

w7d33 2014-10-06   3838   0

Spark成为大数据分析领域新核心的五个理由 资讯

为了更为顺畅地实现Hadoop基础之上的高级与实时分析目标,Apache Spark凭借着自身的出色表现很快成为大数据领域的新核心。 在过去几年当中,随着Hadoop逐步成为大数据处理领域的主导性

jopen 2015-03-20   16135   0
Spark  

spark快速大数据分析之读书笔记 经验

http://my.oschina.net/sucre/blog/617340 RDD编程 1、Spark中的RDD就是一个不可变的分布式对象集合。每个RDD都被分为多个分区,这些分区运行在集群中的不同节点上。

SophiaSpoff 2016-02-18   7692   0

Databircks连城:Spark SQL结构化数据分析 经验

数据科学家们早已熟悉的R和Pandas等传统数据分析框架 虽然提供了直观易用的API,却局限于单机,无法覆盖分布式大数据场景。在Spark 1.3.0以Spark SQL原有的SchemaRDD为蓝本,引入了Spark DataFrame

jopen 2015-06-18   24182   0

Spark,一种快速数据分析替代方案 经验

虽然 Hadoop 在分布式数据分析方面备受关注,但是仍有一些替代产品提供了优于典型 Hadoop 平台的令人关注的优势。Spark 是一种可扩展的数据分析平台,它整合了内存计算的基元,因此,相对于 Hadoop

fmms 2012-01-05   77287   0

基于 Spark 的用户行为路径分析的产品化实践 经验

1)什么是用户行为路径 用户行为路径分析是互联网行业特有的一类数据分析方法,它主要根据每位用户在App或网站中的点击行为日志,分析用户在App或网站中各个模块的流转规律与特点,挖掘用户的访问或点击

AbeAntle 2016-11-30   13813   0

Spark SQL 初探: 使用大数据分析2000万数据 经验

目录 [−] 安装和配置Spark Spark初试 使用Spark SQL分析数据 去年网上曾放出个2000W的开房记录的数据库, 不知真假。 最近在学习Spark, 所以特意从网上找来数据测试一下,

jopen 2014-12-11   177140   0

Spark on Mesos: 粗粒度与细粒度实现分析 经验

背景 顺着昨天 spark standalone实现 那篇文章继续扯淡,看看Mesos Scheduler的两种实现的异同。 对我来说,回过头再仔细看Spark在这一层的实现,思路又清晰了许多。

jopen 2015-02-13   20915   0

解析Spark大数据分析框架的核心部件 资讯

Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、Spark SQL数据检索语言、Tachyon文件

勿忘初心321 2015-12-23   18139   1
P15

  基于Spark/hbase的数据分析平台及SparkSQl使用经验分享 文档

1. 基于Spark/hbase的数据分析平台及 SparkSQl使用经验分享黄涧石@PayPal (@huangjianshi) 2014/12/13 Beijing Spark Meetup 2.

cdop 2014-12-29   732   0
P17

  openfire+spark+spark-web安装配置 文档

Openfire+Spark+Spark Web安装配置 一. 安装环境 操作系统:Windows XP Prefessional SP2 服务器软件:Openfire 3.4.2 Openfire

tumeimey 2016-05-07   3792   0

提供程序使用 Apache Spark 的基础:Spark Kernel 经验

Spark Kernel 的最主要目标:提供基础给交互应用程序联系和使用 Apache Spark。 几个主要特性: 定义和运行 Spark 任务 以类似 Scala REPL 和 Spark

ynnc 2015-07-28   20226   0

Spark SQL 代码简要阅读(基于Spark 1.1.0) 经验

Spark SQL允许相关的查询如SQL,HiveQL或Scala运行在spark上。其核心组件是一个新的RDD:SchemaRDD,SchemaRDDs由 行对象组成,并包含一个描述此行对象的每一列

jopen 2014-12-01   18689   0

AFNetworking、MKNetworkKit和ASIHTTPRequest对比 经验

是 是 否 Etag 否 是 否 Cookies 否 否 是 https 是 是 是 根据以上对比,AFNetworking虽然相比MKNetworkKit功能要弱一些,但是它的扩展性更强,而且维

jopen 2014-01-01   18752   0

Kafka和DistributedLog技术对比 经验

项目,引起了社区的广泛关注。大家常常问起的问题之一就是DistributedLog与 Apache Kafka 相对比,各有什么优劣。从技术上来讲DistributedLog并不是一个象Apache Kafka那么成

fqmm1318 2016-09-28   48587   0

JavaScript 数组:对比 slice 与 splice 经验

对于 JavaScript 语言来讲,入门者甚至是专家都会经常搞不清 slice 和 splice 这两个方法。它们虽然名称相似,但是功能却完全不同。在使用中,可以通过选择一个具有强语义表达性的 API 来减少混淆的发生。

hubuke 2016-08-21   9738   0

MongoDB命令及SQL语法对比 经验

mongodb与mysql命令对比 传统的关系数据库一般由数据库(database)、表(table)、记录(record)三个层次概念组成,MongoDB是由 数据库(database)、集合(

jopen 2015-03-05   11511   0

Android中Dialog与DialogFragment的对比 经验

对话框有两种类型的可供使用,一种是Dialog,另一种则是Android 3.0 引入的基于Fragment的DialogFragment。

jopen 2013-11-27   48932   0
1 2 3 4 5 6 7 8 9 10