今天不谈spark中什么复杂的技术实现，只稍为聊聊如何进行代码跟读。众所周知，spark使用scala进行开发，由于scala有众多的语法糖，很多时候代码跟着跟着就觉着线索跟丢掉了，另外spark基于akka来进行消息交互，那如何知道谁是接收方呢？
代码跟读的时候，经常会借助于日志，针对日志中输出的每一句，我们都很想知道它们的调用者是谁。但有时苦于对spark系统的了解程度不深，或者对scala认识不够，一时半会之内无法找到答案，那么有没有什么简便的办法呢？
我的办法就是在日志出现的地方加入下面一句话
现在举一个实际的例子来说明问题。
比如我们在启动spark-shell之后，输入一句非常简单的sc.textfile("readme.md")，会输出下述的log
那我很想知道是第二句日志所在的trytoput函数是被谁调用的该怎么办？
办法就是打开memorystore.scala，找到下述语句
在这句话之上，添加如下语句
然后，重新进行源码编译
再次打开spark-shell,执行sc.textfile("readme.md"),就可以得到如下输出，从中可以清楚知道trytoput的调用者是谁
对代码作了修改之后，如果并不想提交代码，那该如何将最新的内容同步到本地呢？
追踪消息的接收者是谁，相对来说比较容易，只要使用好grep就可以了，当然前提是要对actor model有一点点了解。
还是举个实例吧，我们知道coarsegrainedschedulerbackend会发送launchtask消息出来，那么谁是接收方呢？只需要执行以下脚本即可。
从如下的输出中，可以清楚看出coarsegrainedexecutorbackend是launchtask的接收方，接收到该函数之后的业务处理，只需要去看看接收方的receive函数即可。
今天的内容相对简单，没有技术含量，自己做个记述，免得时间久了，不记得。
上篇博文讲述了如何通过修改源码来查看调用堆栈，尽管也很实用，但每修改一次都需要编译，花费的时间不少，效率不高，而且属于侵入性的修改，不优雅。本篇讲述如何使用intellij idea来跟踪调试spark源码。
本文假设开发环境是在linux平台，并且已经安装下列软件，我个人使用的是arch linux。
jdk
scala
sbt
intellij-idea-community-edition
为idea安装scala插件，具体步骤如下：
选择file->setting
2. 选择右侧的install jetbrains plugin，在弹出窗口的左侧输入scala，然后点击安装，如下图所示：
3. scala插件安装结束，需要重启idea生效
由于idea 13已经原生支持sbt，所以无须为idea安装sbt插件。
下载源码，假设使用git同步最新的源码:
导入spark源码
1. 选择file->import project, 在弹出的窗口中指定spark源码目录
2. 选择项目类型为sbt project，然后点击next
3. 在新弹出的窗口中先选中"use auto-import",然后点击finish
导入设置完成，进入漫长的等待，idea会对导入的源码进行编译，同时会生成文件索引。
如果在提示栏出现如下的提示内容"is waiting for .sbt.ivy.lock"，说明该lock文件无法创建，需要手工删除，具体操作如下:
手工删除掉lock之后，重启idea,重启后会继续上次没有完成的sbt过程。
使用idea来编译spark源码，中间会有多次出错，问题的根源是sbt/sbt gen-idea的时候并没有很好的解决依赖关系。
解决办法如下，
1. 选择file->project structures
2. 在右侧dependencies中添加新的module
选择spark-core
其它模块如streaming-twitter, streaming-kafka, streaming-flume, streaming-mqtt出错的情况解决方案与此类似。
注意example编译报错时的处理稍有不同，在指定dependencies的时候，不是选择library而是选择module dependency,在弹出的窗口中选择sql.
1. 选择run->edit configurations
2. 添加application,注意右侧窗口中配置项内容的填写，分别为main class， vm options, working directory, use classpath of module
-dspark.master=local 指定spark的运行模式，可根据需要作适当修改。
3. 至此，在run菜单中可以发现有"run logquery"一项存在，尝试运行，保证编译成功。
4. 断点设置，在源文件的左侧双击即可打上断点标记，然后点击run->"debug logquery", 大功告成，如下图所示，可以查看变量和调用堆栈了。