Spark实战:单节点本地模式搭建Spark运行环境

jopen 10年前

    前言:
        Spark本身用scala写的,运行在JVM之上。
        JAVA版本:java 6 /higher edition.
        1 下载Spark
        http://spark.apache.org/downloads.html
        你可以自己选择需要的版本,这里我的选择是:
        http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-bin-hadoop1.tgz
        如果你是奋发图强的好码农,你可以自己下载源码:http://github.com/apache/spark.
        注意:我这里是运行在Linux环境下。没有条件的可以安装下虚拟机之上!
        2 解压缩&进入目录
        tar -zvxf spark-1.1.0-bin-hadoop1.tgz
        cd spark-1.1.0-bin-hadoop1/
        3 启动shell
        ./bin/spark-shell
        你会看到打印很多东西,最后显示

Spark实战:单节点本地模式搭建Spark运行环境

 

        4 小试牛刀
        先后执行下面几个语句

Spark实战:单节点本地模式搭建Spark运行环境

 

        ---解释,什么是sc
        sc是默认产生的SparkContext对象。
        比如

Spark实战:单节点本地模式搭建Spark运行环境

 

        这里只是本地运行,先提前了解下分布式计算的示意图:

Spark实战:单节点本地模式搭建Spark运行环境

 

        5 独立的程序
        最后以一个例子结束本节
        为了让它顺利运行,按照以下步骤来实施即可:
        --------------目录结构如下:

Spark实战:单节点本地模式搭建Spark运行环境

 

        然后simple.sbt的内容如下:

Spark实战:单节点本地模式搭建Spark运行环境

 

        example.scala的内容如下:

Spark实战:单节点本地模式搭建Spark运行环境

 

        红色local:一个集群的URL,这里是local,告诉spark如何连接一个集群,local表示在本机上以单线程运行而不需要连接到某个集群。
        橙黄My App:一个项目的名字,
        然后执行:sbt package
        成功之后执行
        ./bin/spark-submit  --class  "example"   ./target/scala-2.10/simple-project_2.10-1.0.jar
        结果如下:

Spark实战:单节点本地模式搭建Spark运行环境

        说明确实成功执行了!
        结束!
        本文来源:强子哥哥的博客