58大数据平台在最近一年半的时间内技术演进的过程。主要内容分为三方面：58大数据平台目前的整体架构是怎么样的；最近一年半的时间内我们面临的问题、挑战以及技术演进过程；以及未来的规划。

HDFS Federation为HDFS系统提供了NameNode横向扩容能力。然而作为一个已实现多年的解决方案，真正应用到已运行多年的大规模集群时依然存在不少的限制和问题。本文以实际应用场景出...

在Hadoop集群整个生命周期里，由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启，不论采用何种架构，重启期间集群整体存在可用性和可靠性的风险，所以优化NameNode重启非常关键。

NameNode在整个HDFS系统架构中占据举足轻重的位置，内部数据和处理逻辑相对复杂，本文简单梳理了NameNode的内存全景及对其中几个关键数据结构，从NameNode内存核心数据视角对Na...

HDFS全称是Hadoop Distribute File System,是一个能运行在普通商用硬件上的分布式文件系统。与其他分布式文件系统显著不同的特点是：

做软件开发的都知道模块化思想，这样设计的原因有两方面： 一方面是可以模块化，功能划分更加清晰，从“数据采集--数据接入--流失计算--数据输出/存储”

HDFS 是Hadoop 项目中的文件系统。是Hadoop 框架的底层实现部分， 具有高传输率、高容错率等特点， 并且以流的形式访问文件系统中的数据，从而解决访问速度和安全性等问题，实现海量数据的存储管理。

读取 HDFS 文件的正确方式

HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Go...

HDFS是Hadoop Distribute File System 的简称，也就是Hadoop分布式文件系统。

HDFS-RAID 是Facebook基于hadoop-20-append分支(第一代Hadoop)开发的raid方案，对HDFS的修改极少，主要包括为NameNode增加了根据block信息找...

Hadoop中关于文件操作类基本上全部是在＂org.apache.hadoop.fs＂包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。

实现对HDFS增删改查CRUD等操作

HDFS Java文件API示例

hfds 是一种文件系统，用于存储hadoop将要处理的数据。适用于大规模分布式数据处理，是一个可扩展行的文件分布式系统；

本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制

HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点： 1）适合存储非常大的文件 2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式 ...

HDFS是一种文件系统，存储着Hadoop应用将要处理的数据，类似于普通的Unix和linux文件系统，不同的是他是实现了google的GFS文件系统的思想，是适用于大规模分布式数据处理相关应用...