数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合 经验

一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出/存储” 1).数据采集 负责从各节点上实时采集数据,选用cloudera的flume来实现 2).数据接入 由于采集数据的速度和数据

fefre 2015-07-27   54432   0

EMC存储上的大数据HDFS存储可靠性 资讯

企业为了从其 Hadoop 分析投资中获取最大价值,企业需要富有弹性的大数据存储基础架构。在传统 Hadoop 集群,用户必须依赖于自定义的子数据块 CRC 校验和来提供硬件层数据保护,并且在 HDFS

jopen 2015-01-13   9330   0
HDFS  
P12

  MFS分布式文件系统 文档

MFS分布式文件系统 作者:cnmole 交流QQ:370992933 环境:CentOS6.3 禁用selinux,关闭防火墙 主控服务器端口:tcp 9419、9420、9421,cgi监控端口:tcp

pce2pf 2013-06-29   3412   0

分布式文件系统:SnackFS 经验

SnackFS 是一个很小的、轻量级的兼容 HDFS文件系统,基于 Cassandra 构建。你需要做的只是指向 Cassandra 集群即可。该项目的目的就是为了替代 HDFS,速度更快更可靠。 SnackFS

jopen 2014-03-24   9552   0

分布式内存文件系统:Tachyon 经验

Tachyon 是一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将

jopen 2014-09-03   188748   0

分布式文件系统:HekaFS 经验

HekaFS 是一个分布式文件系统,专门为云服务提供者解决存储问题,提供文件系统级别的访问。 CloudFS is a distributed fileysystem specifically intended

jopen 2014-09-05   13191   0
P12

  MFS 分布式文件系统 文档

MFS分布式文件系统 作者:cnmole 交流QQ:370992933 环境:CentOS6.3 禁用selinux,关闭防火墙 主控服务器端口:tcp 9419、9420、9421,cgi监控端口:tcp

opennb 2013-06-06   4228   0

分布式文件系统 MogileFS 经验

Mogile FS是一个开源的分布式文件系统。主要特性包括: 1. 应用层的组件 2. 无单点故障 3. 自动文件复制 4. 具有比RAID更好的可靠性 5. 无需RAID支持

开源的分布式文件系统:GlusterFS 经验

GlusterFS是一个开源的分布式文件系统,具有强大的Scale-Out横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。 GlusterFS借助TCP/IP或InfiniBand RD

jopen 2014-01-07   18097   0

分布式文件系统介绍 经验

还是很多很多年前,做过一个小系统,是一个和支付相关的小系统。因为是一个小系统,所以一切都那么简单。一台应用服务器,一台数据库服务器;文件、图片都放在应用服务器上,一切都是那么的平淡,一切都是那么的理所当然。 突然有一

jopen 2015-01-13   13487   0

分布式文件系统 FastDFS 经验

FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

分布式文件系统FastDFS设计原理 经验

是一个开源的轻量级分布式文 件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB

jopen 2013-12-31   25967   0
P5

  分布式文件系统综述 文档

2009年11月 分布式文件系统均为Client/Server架构。数据保存在服务器端,而客户端的应用程序能够像访问本地文件系统一样访问位于远程服务器上的文件。在Client通常都对文件数据进行缓存,以提

zhuys 2013-03-17   3130   0

分布式文件系统介绍( MooseFS ) 经验

系统简介 MooseFS 是一个高容错性的分布式文件系统,它能够将资源分布存储于几台不同的物理介质,对外只提供给用户一个访问接口。对它的操作与其它文件系统完全一样: l 分层文件结构(目录树结构);

openkk 2012-02-28   28859   0

分布式文件系统 Gfarm 经验

Gfarm file system是下一代网络共享文件系统,它将是NFS的一个替代解决方案。非常适合于更大型,更可靠,更快速文件系统的要求。 项目主页: http://www.open-open

分布式文件系统 XtreemFS 经验

XtreemFS 是一个为互联网存储系统设计的分布式文件系统. It allows you to mount an XtreemFS volume from anywhere, given the

分布式文件系统 OpenAFS 经验

OpenAFS是一套开放源代码的分布式文件系统,允许系统之间通过局域和广域网来分享档案和资源。 OpenAFS 是围绕一组叫做 cell 的文件服务器组织的。每个服务器的标识通常是隐藏在文件系统的。从 AFS

分布式文件系统 Kosmos File System 经验

KFS,Kosmos File System分布式文件系统有着高性能,可用性和可靠性等特点。它的目的是用来作为后端的存储基础设施,密集型数据应用,如搜索引擎,数据挖掘,网格计算等。 功能和特点 增

mfs分布式文件系统的配置 经验

通过对mfs分布式文件系统各个模块的拆分组合,较为详细且清晰的实现其配置 mfs分布式文件系统,所需主机: 管理服务器 managing server (master  vm3) 元数据日志服务器

jopen 2015-07-20   14726   0

分布式文件系统:SeaweedFS 经验

SeaweedFS 是简单,高伸缩性的分布式文件系统,包含两部分:存储数十亿的文件;快速为文件服务。SeaweedFS 作为支持全 POSIX 文件系统语义替代,Seaweed-FS 选择仅实现 key-file

bger 2015-10-29   11325   0
1 2 3 4 5 6 7 8 9 10