Hadoop java操作HDFS
hfds 是一种文件系统,用于存储hadoop将要处理的数据。适用于大规模分布式数据处理,是一个可扩展行的文件分布式系统;
优点
1、如果出现节点宕机,hdfs,可以持续监视,错误检查,容错处理,文档恢复
2、存储文件巨大,hdfs把文件按块处理,规定每块的大小(默认64M)
hdfs常用 命令
命令格式为: hadoop fs -cmd <args>
1、添加目录
hadoop fs -mkdir args
2、添加文件
hadoop fs -put localfile hdfsfileurl
备注:put命令,在hdfs文件系统中放入文件,本地文件消失
3、取出文件
hadoop fs -get locaUrl hdfsurl
备注:get,把hdfs中的文件取回本地。但是hdfs中的文件还存在,相当于copy
4、查看文件
hadoop fs -cat url
备注: hadoop fs -cat url|more可以分页查看
5、删除文件
hadoop fs -rm url
6、日志方式查看
hadoop fs -tail url
java 程序控制hdfs
在Hadoop中用作文件操作的主类位于org.apache.hadoop.fs软件包中。包括常见的open、read、write、close。 Hadoop文件的API起点是FileSystem类,这是一个与文件系统交互的抽象类,我们通过调用factory的方法 FileSystem.get(Configuration conf)来取得所需的FileSystem实例,如下我们可以获得与HDFS接口的FileSystem对象:
/** * */ import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; /** * @PutMeger.java * created at 2013-8-7 上午12:04:08 by jrs521wlh * java操作hdfs 往 hdfs中上传数据 * @author jrs521wlh jiangrushe2010@126.com * @version $Revision$</br> * update: $Date$ */ public class PutMeger { public static void main(String[] args) throws IOException { String[] str = new String[]{"E:\\hadoop\\UploadFileClient.java","hdfs://master:9000/user/hadoop/inccnt.java"}; Configuration conf = new Configuration(); FileSystem fileS= FileSystem.get(conf); FileSystem localFile = FileSystem.getLocal(conf); //得到一个本地的FileSystem对象 Path input = new Path(str[0]); //设定文件输入保存路径 Path out = new Path(str[1]); //文件到hdfs输出路径 try{ FileStatus[] inputFile = localFile.listStatus(input); //listStatus得到输入文件路径的文件列表 FSDataOutputStream outStream = fileS.create(out); //创建输出流 for (int i = 0; i < inputFile.length; i++) { System.out.println(inputFile[i].getPath().getName()); FSDataInputStream in = localFile.open(inputFile[i].getPath()); byte buffer[] = new byte[1024]; int bytesRead = 0; while((bytesRead = in.read(buffer))>0){ //按照字节读取数据 System.out.println(buffer); outStream.write(buffer,0,bytesRead); } in.close(); } }catch(Exception e){ e.printStackTrace(); } } }
Configuration conf = new Configuration();
FileSystem hdfs = FileSystem.get(conf);//获得HDFS的FileSystem对象
如果我们要实现HDFS与本地文件系统的交互,我们还需要获取本地文件系统的FileSystem对象
FileSystem local = FileSystem.getLocal(conf);//获得本地文件系统的FileSystem对象