P29

  分布式文件系统FastDFS架构剖析及配置优化 文档

1. 分布式文件系统FastDFS 架构剖析及配置优化余 庆 2012年04月08日 2. FastDFS概述FastDFS是一款开源的轻量级分布式文件系统 纯C实现,支持Linux、FreeBSD等UNIX系统

yanyu123 2014-09-04   643   0
P8

  HDFS 用户指南 (HDFS Users Guide) 0.21 中文版 文档

英文原版下载地址(http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html) HDFS用户指南 HDFS用户指南 (HDFS Users Guide)

jrx0122 2014-05-25   2393   0
P8

  HDFS用户指南 (HDFS Users Guide) 0.21 中文版 文档

英文原版下载地址(http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html) HDFS用户指南 HDFS用户指南 (HDFS Users Guide)

lxz 2014-01-03   1957   0
P8

  HDFS用户指南 (HDFS User Guide)0.21_中文版 文档

英文原版下载地址(http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html) HDFS用户指南 HDFS用户指南 (HDFS Users Guide)

风颖尘 2014-08-14   1904   0
P8

  HDFS 用户指南(HDFS Users Guide)0.21_中文版 文档

英文原版下载地址(http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html) HDFS用户指南 HDFS用户指南 (HDFS Users Guide)

icebingsky 2015-01-06   2901   0
P8

  HDFS 用户指南(HDFS User Guide ) 0.21 中文版 文档

英文原版下载地址(http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_user_guide.html) HDFS用户指南 HDFS用户指南 (HDFS Users Guide)

coco0218 2013-07-11   3059   0
P6

  用Hadoop搭建分布式存储和分布式运算集群 文档

用Hadoop搭建分布式存储和分布式运算集群 用Hadoop搭建分布式存储和分布式运算集群 1. 列出使用的机器 普通PC,要求: cpu: 750M-1G mem: >128M disk: >10G

daibiao 2012-06-13   5156   0

数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合 经验

一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出/存储” 1).数据采集 负责从各节点上实时采集数据,选用cloudera的flume来实现 2).数据接入 由于采集数据的速度和数据

fefre 2015-07-27   54432   0

EMC存储上的大数据HDFS存储可靠性 资讯

企业为了从其 Hadoop 分析投资中获取最大价值,企业需要富有弹性的大数据存储基础架构。在传统 Hadoop 集群中,用户必须依赖于自定义的子数据块 CRC 校验和来提供硬件层数据保护,并且在 HDFS

jopen 2015-01-13   9330   0
HDFS  

HDFS Federation在美团点评的应用与改进 经验

HDFS Federation为HDFS系统提供了NameNode横向扩容能力。然而作为一个已实现多年的解决方案,真正应用到已运行多年的大规模集群时依然存在不少的限制和问题。本文以实际应用场景出发,介绍了HDFS

juce7588 2017-04-11   36681   0

Hbase/Hdfs删除节点 经验

rver和hdfs的datanode节点移除。然后重新拿台新服务器部署接管。 之前在文章 http://openskill.cn/article/178 中讲到怎么新增一个hdfs的datan

jopen 2015-11-30   23405   0
P20

  HDFS 多租户实现 文档

1. HDFS多租户实现 刘刚 北京蓝汛通信技术有限责任公司 电话:18701396343 QQ:352041546 Email:jaylg2010@gmail.com 2. 大纲 多租户的概念 HDFS权限控制

100861 2013-01-17   15821   0
P32

  HDFS原理与实现@百度 文档

1. HDFS原理与实现刘景龙 2. 主要内容HDFS简介 系统架构 面临的挑战 解决方案 3. 什么是Hadoop?基础架构(infrastructure) Reliable Scalable Distributed

jelly0812 2011-12-29   4274   0

HDFS-RAID原理和实现 经验

HDFS-RAID 是Facebook基于hadoop-20-append分支(第一代Hadoop)开发的raid方案,对HDFS的修改极少,主要包括为NameNode增加了根据block信息找到bl

jopen 2015-03-17   26058   0

Linux文件系统 经验

对于计算机来说,所谓的数据就是0和1的序列。这样的一个序列可以存储在内存中,但内存 中的数据会随着关机而消失。为了将数据长久保存,我们把数据存储在光盘或者硬盘中。根据我们的需要,我们通常会将数据分开保存到文件这样一个个的小单位中

jopen 2012-09-09   21620   0
Linux  

超越 Hadoop,Luigi 打通云端大数据管道 资讯

Liugi数据管线的可视化管理图 新的大数据开源技术和工具往往来自互联网公司,除了Facebook、Google和Twitter这样的巨头外,一些甚至是你想不到的互联网公司,例如Netflix

jopen 2014-10-14   8176   0
Hadoop  

Hadoop集群间的hbase数据迁移 经验

ase的数据迁移到或者拷贝到另外一个集群中,这时候,可能会出很多问题 以下是我在处理的过程中的一些做法和处理方式。 前提,两个hbase的版本一直,否则可能出现不可预知的问题,造成数据迁移失败

jopen 2012-09-04   508   0

如何挑选合适的大数据Hadoop平台? 经验

都采用了Hadoop。然而,当你已经决定要使用Hadoop来处理大数据时,首先碰到的问题就是如何开始以及选择哪一种产品。本文讨论了不同的选择,并推荐了每种选择的适用场合。 Hadoop平台的多种选择

jopen 2015-02-19   45764   0

Hive:基于hadoop数据仓库工具 经验

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为 MapReduce任务进行运行。其优点是学习成本低,可以通过

jopen 2014-12-03   24098   0
P14

  hadoop数据仓库工具--hive介绍 文档

1 是什么 hive是一个基于hadoop数据仓库。使用hadoop-hdfs作为数据存储层;提供类似SQL的语言(HQL),通过hadoop-mapreduce完成数据计算;通过HQL语言提供使用者

cooltaoism 2011-06-28   650   0
1 2 3 4 5 6 7 8 9 10