新的可视化帮助更好地了解Spark Streaming应用程序 资讯

4 之前,我们展示了在Spark1.4.0中 新推出的可视化功能 ( 《Spark 1.4:SparkR发布,钨丝计划锋芒初露》 [中文版]),用以更好的了解Spark应用程序的行为。接着这个主题,这篇博文将重点介绍为理解Spark

f627 2015-07-15   20421   0

Java开源即时消息客户端,Spark IM 2.7.4 发布 资讯

Spark是一个开源,跨平台IM客户端。它的特性支持集组聊天,电话集成和强大安全性能。如果企业内部部署IM使用Openfire+Spark是最佳的组合。 Spark IM 2.7.4 发布,此版本现已提供在

jopen 2015-12-18   7866   0

在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群 资讯

hadoop,spark的开发环境就行了。 本文的重点有两个,第一,使用weave解决跨主机通信,第二,实际使用当中,开放端口调试程序和webUI监控等。至于hadoop,spark本身的安装配置等参数并没有涉及。

jopen 2016-02-24   36540   0
Spark   Docker   Hadoop  

[译]R语言突破大数据瓶颈:Shiny的Spark之旅 资讯

SparkR 来驱动 Shiny 应用。 什么是SparkR SparkR是一个为R提供了轻量级的Spark前端的R包。 SparkR提供了一个分布式的data frame数据结构,解决了 R中的data

jopen 2016-02-18   24544   0

为什么越来越多的公司在使用Spark Streaming 资讯

Databricks最近对1400多家Spark用户进行了一次调查,结果显示这些用户对Spark Streaming的使用率与2014年相比增长了56%,另外,有48%的受访者将Spark Streaming标记为最常用的Spark组件。在Spark

jopen 2016-01-03   21174   0

大数据工具比较:R语言和Spark谁更胜一筹? 资讯

本文有两重目的,一是在性能方面快速对比下R语言和Spark,二是想向大家介绍下 Spark的机器学习库 。 背景 介绍 由于R语言本身是单线程的,所以可能从性能方面对比Spark和R并不是很明智的做法。即使这种

jopen 2015-12-06   87108   0
R语言  

Apache Spark 1.6 预览版:更简便的搜索 资讯

日前,Databricks公司发布了一个Apache Spark主要版本的可用性。除了可用性、可移植性等几个新的特性外,本次发布还提供了对尚未发布的Apache Spark 1.6预览。 Databricks用户有机会在官方发布之前试用Spark 1

jopen 2015-12-21   16391   0
P28

  电信场景下Spark一站式分析平台 文档

1. 电信场景下Spark一站式分析平台夏命榛 2014-08 2. 目录 Page 2电信大数据场景与关键技术1.2.数字足迹案例3.平台和关键技术 3. Page 3 4. Page 4 5. Page

w7d33 2014-10-06   3838   0

Spark:一个高效的分布式计算系统 经验

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架, Spark基于map reduce算法实现的分布式计算 ,拥有Hadoop MapR

jopen 2014-05-27   14535   0

Spark 伪分布式 & 全分布式 安装指南 经验

0、前言 3月31日是 Spark 五周年纪念日,从第一个公开发布的版本开始,Spark走过了不平凡的5年:从刚开始的默默无闻,到13年的鹊起,14年的大爆发。Spark核心之上有分布式的机器学习,SQL,streaming和图计算库。

jopen 2015-04-02   84283   0

不同的瑞士军刀:对比 Spark 和 MapReduce 经验

Apache 基金会下的 Spark 再次引爆了大数据的话题。带着比 Hadoop MapReduce 速度要快 100 倍的承诺以及更加灵活方便的 API,一些人认为这或许预示着 Hadoop MapReduce

jopen 2016-01-14   21447   0

Spark Streaming使用Kafka保证数据零丢失 经验

https://community.qingcloud.com/topic/344/spark-streaming使用kafka保证数据零丢失 spark streaming从1.2开始提供了数据的零丢失,想享受这个特性,需要满足如下条件:

Fregata: Spark上支持万亿维机器学习模型 经验

练数据量更大。 通常认为,当模型的规模超过单节点的容量后,基于MapReduce计算模型的Spark, Hadoop MapReduce就无法支持了。为了解决这一问题,Parameter Serv

Mar89Z 2017-01-09   11638   0

Spark奠基者博士论文中文版出来了 资讯

经过长达3个月的历程终于全部翻译完成。 该论文是Spark主要开发者Matei Zaharia的博士论文,全文共6章,超过4万字,是一部Spark方面的基本文献。从10月底开始,通过 社区招募 ,先

jopen 2015-01-27   14963   0
Spark  

陈超:Spark这一年,从开源到火爆 资讯

net/article/2015-03-10/2824162 2014年的大数据领域,Apache Spark(以下简称Spark)无疑最受瞩目。Spark,出自名门伯克利AMPLab之手,目前由商业公司Databricks保驾护航。自2014

jopen 2015-03-10   34447   0
Spark  

Spark成为大数据分析领域新核心的五个理由 资讯

为了更为顺畅地实现Hadoop基础之上的高级与实时分析目标,Apache Spark凭借着自身的出色表现很快成为大数据领域的新核心。 在过去几年当中,随着Hadoop逐步成为大数据处理领域的主导性

jopen 2015-03-20   16135   0
Spark  

Pinterest使用MemSQL和Spark Streaming进行实时数据分析 资讯

http://www.infoq.com/cn/news/2015/04/pinterest-memsql-spark-streaming Pinterest 是一家提供可视化书签工具的公司,这种工具可

mip33 2015-04-19   12920   0

王团结:如何用Hadoop/Spark构建七牛数据平台 资讯

YARN or Mesos?Spark痛点探讨 ”、“ Mesos资源调度与管理的深入分享与交流 ”、及“ 主流SQL on Hadoop框架选择 ”之后,CSDN Spark微信用户群邀请了王团结为大

jopen 2015-07-30   15456   0
Hadoop  

IBM 想要通过 Apache Spark 影响百万工程师 资讯

6月15日消息,IBM今日宣布了一系列Apache Spark开源软件相关的措施,旨在更好地存储、处理以及分析大量不同类型的数据。 Spark是由加州大学伯克利分校开发的一个框架,通过将信息保存至

nw44 2015-06-15   15693   0

Storm、Spark和MapReduce 开源分布式计算系统框架比较 资讯

比较项 Storm Spark Streaming 分布式计算在许多领域都有广泛需求,目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm;

jopen 2015-10-15   16466   1
Spark  
1 2 3 4 5 6 7 8 9 10