Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作等

jopen 9年前

HadoopDemo

Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用等


运行环境:

java 1.8
hadoop1.1.2
zookeeper3.4.5
采用伪分布模式下eclipse工具进行开发的java project。


org.conan.myhadoop.hdfs

该包下是HDFS类的基本操作。包括文件的创建,复制,删除, 查看数据,文件重命名,从hdfs下载文件到本地系统等
请参考我的博客:Hadoop-利用java API操作HDFS文件


org.conan.myhadoop.mr

该包下是一个单词统计的MapReduce任务类。
完成对文件中单词的统计。
请参看我的博客:Hadoop-MapReduce初步应用-统计单词个数


org.conan.myhadoop.mr.kpi

该包下是一个web日志的分析的四个MapReduce任务类。
完成对一天中粉丝日志网站的web日志的分析。包括独立IP统计、资源访问次数统计、每小时访问量统计、客户端类型统计。
请参看我的博客:Hadoop-web日志信息挖掘MapReduce简单应用


org.conan.myzk

该包下是对zookeeper工具的简单使用。
需要安装zookeeper。代码中使用的是zookeeper3.4.5版本。
请查看我的博客:Zookeeper命令行以及java API简单使用


source目录

source目录内是项目中使用到的资源文件


最后感谢代码原创作者@bsspirit。
原项目地址:请点击这里
原项目采用eclipse+Maven构建的。我在原有基础上没有使用Maven。使用eclipse构建。

提示:

各位在学习代码时,需要把代码中相关的配置信息改成自己对应的配置信息。例如主机地址、端口号等。

项目主页:http://www.open-open.com/lib/view/home/1449196403202