天天看点

Spark 1.0 开发环境构建:maven/sbt/idea1. maven2. sbt3. IDEA4. IDEA的常用快捷键:

因为我原来对maven和sbt都不熟悉,因此使用两种方法都编译了一下。下面记录一下编译时候遇到的问题。然后介绍一下如果使用intellij idea 13.1构建开发环境。

首先准备java环境和scala环境:

1. jdk 1.7 2. scala 2.11.1

首先安装maven,我安装的是3.2.3, 可以直接下载binary。解压即可用。需要设置一下环境变量:

由于我的笔记本有16g内存,因此可以给maven比较大的内存。如果maven_opts设置的不合理,那么会导致oom的错误,具体信息可以看这里。

使用以下命令编译:

这里使用的是apache hadoop 2.2,如果使用比如其他的商业发行版,可以参照官网的信息去编译。

等待一段时间,如果没有error的话,恭喜你编译成功。下面是编译成功的结果:

Spark 1.0 开发环境构建:maven/sbt/idea1. maven2. sbt3. IDEA4. IDEA的常用快捷键:

sbt编译过程比较慢。如果运行sbt说sbt-launch.jar的错误,那么需要手动的安装以下,可以看这里。

实际上使用以下命令既可以开始编译了:

有时候由于网络问题可能导致编译hang在某个地方,或者你重启了,那么下次开始变异前需要删除$home/.ivy2/

.sbt.ivy.lock

。然后重启开始。sbt会进行增量编译。

将sbt导入idea,先做以下准备工作:

如果发生了错误,再次进行。现在应该不需要设置代理即可完成了。如果要等待lock,那么参照上述的方法删除lock即可。

然后打开idea,点击import project:

Spark 1.0 开发环境构建:maven/sbt/idea1. maven2. sbt3. IDEA4. IDEA的常用快捷键:

选择工程的默认路径后,选择sbt project

Spark 1.0 开发环境构建:maven/sbt/idea1. maven2. sbt3. IDEA4. IDEA的常用快捷键:

选择auto即可:

Spark 1.0 开发环境构建:maven/sbt/idea1. maven2. sbt3. IDEA4. IDEA的常用快捷键:

点击finish即完成了工程的导入。

下面可以使用idea编译以下整个工程:

Spark 1.0 开发环境构建:maven/sbt/idea1. maven2. sbt3. IDEA4. IDEA的常用快捷键:

command + b:跳到变量/函数定义处。

command + n:查找类

command + shift + n: 查找文件

快一点了,以后更新吧。