Spark:比Hadoop更强大的分布式数据计算项目 经验

Berkeley AMP)开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed datasets),提供了比Hadoop更加丰富的MapReduce模

jopen 2014-12-03   46280   0
P13

  Hadoop分布式数据处理架构 文档

Hadoop分布式数据处理架构   由于具备低成本和前所未有的高扩展性,Hadoop已被公认为是新一代的大数据处理平台。就像30年前SQL(Structured Query Language)出

xcxc 2015-08-24   614   0

Apache Eagle:分布式实时 Hadoop 数据安全方案 资讯

日前,eBay公司隆重宣布正式向开源业界推出实时分布式Hadoop数据安全方案 - Apache Eagle,作为一套旨在提供高效分布式的流式策略引擎,并集成机器学习对用户行为建立Profile以实时智能地保护Hadoop生态系统中大数据安全的解决方案。

bger 2015-10-28   30641   0

Apache Eagle:eBay开源分布式实时Hadoop数据安全引擎 经验

、技术架构、核心实现以及开源社区推广等。 消息 日前,eBay公司隆重宣布正式向开源业界推出分布式实时安全监控方案:Apache Eagle,该项目已于2015年10月26日正式加入Apache基金会成为孵化器项目。

jopen 2016-01-06   30988   0

Hadoop数据系统的七危险信号 经验

大多数企业大数据应用案例尚处于实验和试点阶段,对于少数首次在生产环境部署Hadoop系统的用户来说,最常遇到的就是扩展问题,此类问题往往导致企业因噎废食,终止大数据应用项目。 部署和扩展Hadoo

数据技术合集:Hadoop家族、Cloudera系列、spark、storm 经验

数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好 的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师

jopen 2014-11-22   190566   0

保障 Hadoop 数据安全的十措施 资讯

Dataguise最近发布了Hadoop数据安全措施,内容涵盖隐私风险、数据管理和信息安全等,可以帮助专业人士降低大数据应用的潜在数据泄漏和政策违规等风险,对于那些考虑部署Hadoop的企业来说非常值得参考。

jopen 2013-04-07   6904   0
Hadoop  
P27

  Hadoop数据分析 文档

1Hadoop数据分析淘宝数据平台及产品部基础研发组 周敏日期:2010-05-26 2. OutlineHadoop基本概念 Hadoop的应用范围 Hadoop底层实现原理 Hive与数据分析

zhpboy 2013-10-12   4361   0
P8

  HDFS用户指南 (HDFS Users Guide)_中文版 文档

英文原版下载地址(http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html) HDFS用户指南 HDFS用户指南 (HDFS Users Guide)

liuhui_sun 2013-10-15   3259   0

数据价值 资讯

社交媒体、物联网和电子商务的兴起,正在促使企业审视数据战略,希望从大数据分析中挖掘更多的商业价值。 3月11日日本大地震发生后仅9分钟,美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警。

码头工人 2011-08-31   31451   0
数据  

属于开源性格测试六分类中的哪一类呢 资讯

冒险主义者 / 拘泥传统者 在谈到解决问题时,不少人乐于将其视为尝试新事物的好机会。冒险主义者们就属于这类人。无所畏惧、着眼未来的冒险主义者们总是希望使用最新的技术方 案、最新的语法成果以及最具想象力

jopen 2016-03-01   7231   0

Hadoop 2.1.0 beta 发布,HDFS提供SnapShot模块 资讯

Hadoop 2.1.0 Beta 版 HDFS 提供了SnapShot 模块。用于数据备份、回滚,以防止因用户的失误操作导致集群出现问题。本文先做一个简单的介绍,其他的文章在来介绍Snapshot 本身的实现机制。

jopen 2013-08-28   9095   0
Hadoop  

Hadoop2.2.0中HDFS的高可用性实现原理 经验

Hadoop2.0.0之前,NameNode(NN)在HDFS集群中存在单点故障(single point of failure),每一个集群中存在一个NameNode,如果NN所在的机器出现了故障

jopen 2014-04-22   78538   0

Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作等 经验

HadoopDemo Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用等 运行环境: java 1.8 hadoop1.1.2

jopen 2015-12-04   19595   0

基于key/value+Hadoop HDFS 设计的存储系统的shell命令接口 经验

对于hadoop HDFS 中的所有命令进行解析 接口名称 功能 操作流程 get 将文件复制到本地文件系统 。如果指定了多个源文件,本地目的端必须是一个目录。 (1 )按照上述机制,在Config

jopen 2014-07-10   14097   0
P24

  Hadoop学习总结之二:HDFS读写过程解析 文档

一、文件的打开 1.1、客户端 HDFS打开一个文件,需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize),其实现为: public FSDataInputStream

huafenged 2012-02-24   4586   0

Hadoop并非完美:8个代替 HDFS 的绝佳方案 资讯

HDFSHadoop Distributed File System)是 Hadoop 项目的核心子项目,是分布式计算中数据存储管理的基础,坦白说 HDFS 是一个不错的分布式文件系统,它有很多的优

jopen 2012-07-12   14554   2
Hadoop  
P20

  以hadoop入门大数据hadoop阶段 文档

1. 以hadoop入门大数据hadoop阶段www.toocruel.net 2. 以Hadoop入门大数据一目标及计划目标:从Hadoop开始,走进大数据领域;计划:分三个阶段(Hadoop、Sp

364337403 2017-03-28   11360   0
P15

  OGG HDFS Integration 文档

database transactions to HDFS. Please note the code and the configuration of the HDFS adapter illustrated

ThinkJ 2015-04-08   2797   0

HDFS 的优化实现:ADFS 经验

Distributed File System)是基于hadoop开源分布式系统HDFS的一种优化 实现,能够将HDFS中单点master namenode节点中的内存数据结构利用高速存储介质同步到磁盘中,同时能够提供很高的吞吐和性能

jopen 2014-06-17   11023   0
1 2 3 4 5 6 7 8 9 10