Spark修炼之道(进阶篇)——Spark入门到精通:第三节 Spark Intellij IDEA开发环境搭建

  • 时间:
  • 浏览:0

启动Intellij IDEA,如下图所示(本机上后后创建过scala工程项目)

使用

### (2)导入Spark 1.5.0依赖包

直接F4打开Project Structure,怎么让选泽libraries



点击上图中的+加在组织组织结构依赖包,选泽”java”,怎么让再选泽spark-assembly-1.5.0-hadoop2.4.0.jar



成功后如下图

将任务提交到集群:

执行结果:

File->new->Project,如下图



选泽Scala



怎么让next



其中Project SDK指定安装的JDK,Scala SDK指定安装的Scala(这里使用的是IDEA自带的scala SDK),这里将项目名称命令为SparkWordCount,怎么让finish

在src/main/scala源文件目录中创建另另两个SparkWordCount 系统进程对象,编辑内容如下:

至此Spark开发环境配置完成

编译代码,直接Build->Make Project



怎么让编程运行参数,Run->Edit Configurations



Main Class输入:SparkWordCount

Program arguments输入:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/README.md

如下图:

作者:周志湖

网名:摇摆少年梦

微信号:zhouzhihubeyond

Intellij IDEA 功能十分强大,才能开发JAVA、Scala等相关系统进程,在依赖管理

智能提示等方面做到了极致,你们才能到:http://www.jetbrains.com/idea/download/下载,目前有四种 :Ultimate Edition Free 50-day trial;Community Edition FREE。Ultimate版本是商业软件,还要付费,Community 版为免费版,足够平时日常开发还要。最新的版是 Intellij IDEA 14.1.4,但Intellij IDEA 没人自带scala开发插件,还要手功安装,但当事人测试的后后发现,直接在Intellij IDEA中装没人装成功(个中原困你们懂得),为此当事人将富含Scala插件的Intellij IDEA后后打包好了,你们直接下载就才能进行Scala及后期的Spark系统进程开发,下载地址:链接:http://pan.baidu.com/s/1sjmS3jJ 密码:rcsy

当然,上端提供的是Linux环境下的Intellij IDEA。

点击工程SparkWordCount,怎么让按F4打个Project Structure并选泽Artifacts,如下图



选泽Jar->form modules with dependencies,如下图



进入下面的界面

在main class中,选泽SparkWordCount,如下图



点击选泽后得到如下界面

再选泽open module setting,打开项目配置,点击src目录,怎么让右键创建main/scala文件夹,再点击scala文件夹为sources,如下图所示

完成后直接Run->Run或Alt+Shift+F10运行系统进程,执行结果如下图:

怎么让执行

将系统进程内容修改如下:

后后后期提交到集群上运行,怎么让相关jar包都位于,为减小jar包的体积,将spark-assembly-1.5.0-hadoop2.4.0.jar等jar包删除即可,如下图



选泽后,再点击Build->Build Artifacts



生成后的jar文件保位于root@sparkmaster:~/IdeaProjects/SparkWordCount/out/artifacts/SparkWordCount_jar# 目录中,如下图:

查看目录内容,具体结果如下图所示:

HDFS文件后后生成了SparkWordCountResult

下载完成后,解压到/hadoopLearning目录,得到



将其设置到环境变量 vim /etc/profile,加在红色下划线内容

在IDEA中开发系统进程时,常常还要通过一定的文件目录组织进行源码编写,相似源文件目录、测试源文件目录,下面演示在Intellij IDEA的src目录下创建main/scala源文件目录。

直接按F4或右鍵点击工程文件