《Spark 官方文档》在YARN上运行Spark在YARN上运行Spark在YARN上启动准备配置调试你的应用重要提示

首先确保 hadoop_conf_dir 或者 yarn_conf_dir 变量指向一个包含hadoop集群客户端配置文件的目录。这些配置用于读写hdfs和连接yarn资源管理器（resourcemanager）。这些配置应该发布到yarn集群上所有的节点，这样所有的yarn容器才能使用同样的配置。如果这些配置引用了java系统属性或者其他不属于yarn管理的环境变量，那么这些属性和变量也应该在spark应用的配置中设置（包括驱动器、执行器，以及其am【运行于client模式时的yarn application master】）

在yarn上启动spark应用有两种模式。在cluster模式下，spark驱动器（driver）在yarn application master中运行（运行于集群中），因此客户端可以在spark应用启动之后关闭退出。而client模式下，spark驱动器在客户端进程中，这时的yarn application master只用于向yarn申请资源。

以下用cluster模式启动一个spark应用：

例如：

以上例子中，启动了一个yarn客户端程序，使用默认的application master。而后sparkpi在application master中的子线程中运行。客户端会周期性的把application master的状态信息拉取下来，并更新到控制台。客户端会在你的应用程序结束后退出。参考“调试你的应用”，这一节说明了如何查看驱动器和执行器的日志。

要以client模式启动一个spark应用，只需在上面的例子中把cluster换成client。下面这个例子就是以client模式启动spark-shell：

在cluster模式下，驱动器不在客户端机器上运行，所以sparkcontext.addjar添加客户端本地文件就不好使了。要使客户端上本地文件能够用sparkcontext.addjar来添加，可以用–jars选项：

以下是yarn上专有的配置项。

在yarn术语集中，执行器和application master在容器（container）中运行。yarn在一个应用程序结束后，有两种处理容器日志的模式。如果开启了日志聚合（yarn.log-aggregation-enable），那么容器日志将被复制到hdfs，并删除本地日志。而后这些日志可以在集群任何节点上用yarn logs命令查看：

以上命令，将会打印出指定应用的所有日志文件的内容。你也可以直接在hdfs上查看这些日志（hdfs shell或者hdfs api）。这些目录可以在你的yarn配置中指定（yarn.nodemanager.remote-app-log-dir和yarn.nodemanager-remote-app-log-dir-suffix）。这些日志同样还可以在spark web ui上executors tab页查看。当然，你需要启动spark history server和 mapreduce history server，再在 yarn-site.xml 中配置好 yarn.log.server.url。spark history server ui 将把你重定向到mapreduce history server 以查看这些聚合日志。

如果日志聚合没有开启，那么日志文件将在每台机器上的 yarn_app_logs_dir 目录保留，通常这个目录指向 /tmp/logs 或者 $hadoop_home/log/userlogs（这取决于hadoop版本和安全方式）。查看日志的话，需要到每台机器上查看这些目录。子目录是按 application id 和 container id来组织的。这些日志同样可以在 spark web ui 上 executors tab 页查看，而且这时你不需要运行mapreduce history server。

如果需要检查各个容器的启动环境，可以先把 yarn.nodemanager.delete.debug-delay-sec 增大（如：36000），然后访问应用缓存目录yarn.nodemanager.local-dirs，这时容器的启动目录。这里包含了启动脚本、jar包以及容器启动所用的所有环境变量。这对调试 classpath 相关问题尤其有用。（注意，启用这个需要管理员权限，并重启所有的node managers，因此，对托管集群不适用）

要自定义application master或执行器的 log4j 配置，有如下方法：

通过spark-submit –files 上传一个自定义的 log4j.properties 文件。

在 spark.driver.extrajavaoptions（对spark驱动器）或者 spark.executor.extrajavaoptions（对spark执行器）增加 -dlog4j.configuration=<location of configuration file>。注意，如果使用文件，那么 file: 协议头必须显式写上，且文件必须在所节点上都存在。

更新 ${spark_conf_dir}/log4j.properties 文件以及其他配置。注意，如果在多个地方都配置了log4j，那么上面其他两种方法的配置优先级比本方法要高。

注意，第一种方法中，执行器和application master共享同一个log4j配置，在有些环境下（am和执行器在同一个节点上运行）可能会有问题（例如，am和执行器日志都写入到同一个日志文件）

如果你需要引用yarn放置日志文件的路径，以便yarn可以正确地展示和聚合日志，请在log4j.properties文件中使用spark.yarn.app.container.log.dir。例如，log4j.appender.file_appender.file=${spark.yarn.app.container.log.dir}/spark.log 。对于流式应用，可以配置rollingfileappender，并将文件路径设置为yarn日志目录，以避免磁盘打满，而且这些日志还可以利用yarn的日志工具访问和查看。

property name

default

meaning

<code>spark.yarn.am.memory</code>

<code>512m</code>

yarn application master在client模式下，

使用内存总量，与jvm内存设置格式相同（如：512m，2g）。

如果是cluster模式下，请设置 spark.driver.memory。

注意使用小写的后缀，

如：k、m、g、t、p，分别代表 kibi-, mebi, gibi-, tebi- 以及pebibytes。

<code>spark.driver.cores</code>

<code>1</code>

yarn cluster模式下，驱动器使用的cpu core个数。

在cluster模式下，驱动器（driver）和yarn am（application master）使用相同的jvm，所以这个属性也可以用来控制yarn am。

如果是client模式下，请使用spark.yarn.am.cores来控制yarn am的cpu core个数。

<code>spark.yarn.am.cores</code>

client模式下，用来控制yarn am的cpu core个数。

cluster模式下，请使用 spark.driver.cores。

<code>spark.yarn.am.waittime</code>

<code>100s</code>

在cluster模式下，该属性表示yarn am等待sparkcontext初始化的时间。

在client模式下，该属性表示yarn am等待驱动器连接的时间。

<code>spark.yarn.submit.file .replication</code>

默认的hdfs副本数（通常是3）

hdfs文件副本数。包括spark jar，app jar以及其他分布式缓存文件和存档。

<code>spark.yarn.preserve .staging.files</code>

<code>false</code>

设为true以保存stage相关文件（stage相关的jar包和缓存）到作业结束，而不是立即删除。

<code>spark.yarn.scheduler .heartbeat.interval-ms</code>

<code>3000</code>

spark am发送给yarn资源管理器心跳的间隔（ms）。

这个值最多不能超过yarn配置的超时间隔的一半。（yarn.am.liveness-monitor.expiry-interval-ms）

<code>spark.yarn.scheduler .initial-allocation.interval</code>

<code>200ms</code>

spark am的初始带外心跳间隔（有待定的资源申请时）。

其值不应该大于 spark.yarn.scheduler.heartbeat.interval-ms。

该资源分配间隔会在每次带外心跳成功后但仍有待定资源申请时倍增，

直至达到 spark.yarn.scheduler.heartbeat.interval-ms 所设定的值。

<code>spark.yarn.max.executor .failures</code>

执行器个数*2且不小于3

spark应用最大容忍执行器失败次数。

<code>spark.yarn.historyserver .address</code>

(none)

spark history server地址，如：host.com:18080 。

这个地址不要包含协议头（http://）。

默认不设置，因为history server是可选的。

应用程序结束以后，yarn资源管理器web ui通过这个地址链接到spark history server ui。

对于这属性，可以使用yarn属性变量，且这些变量是spark在运行时组装的。

例如，如果spark history server和yarn资源管理器（resourcemanager）部署在同一台机器上运行，

那么这个属性可以设置为 ${hadoopconf-yarn.resourcemanager.hostname}:18080

<code>spark.yarn.dist.archives</code>

逗号分隔的文档列表，其指向的文档将被提取到每个执行器的工作目录下。

<code>spark.yarn.dist.files</code>

逗号分隔的文件列表，其指向的文件将被复制到每个执行器的工作目录下。

<code>spark.executor.instances</code>

<code>2</code>

执行器个数。注意，这个属性和 spark.dynamicallocation.enabled是不兼容的。

如果同时设置了 spark.dynamicallocation.enabled，那么动态分配将被关闭，并使用 spark.executor.instances 所设置的值。

<code>spark.yarn.executor .memoryoverhead</code>

执行器内存 * 0.10或者 384mb中较大者

每个执行器所分配的堆外内存（mb）总量。这些内存将被用于存储vm开销、字符串常量，以及其他原生开销等。这会使执行器所需内存增加（典型情况，增加6%~10%）

<code>spark.yarn.driver .memoryoverhead</code>

驱动器内存 * 0.10或者 384mb中较大者

每个驱动器所分配的堆外内存（mb）总量。

这些内存将被用于存储vm开销、字符串常量，以及其他原生开销等。

这会使执行器所需内存增加（典型情况，增加6%~10%）

<code>spark.yarn.am .memoryoverhead</code>

application master

内存 * 0.10或者 384mb中较大者

与 spark.yarn.driver.memoryoverhead 相同，只是仅用于yarn am client模式下。

<code>spark.yarn.am.port</code>

(random)

yarn am所监听的端口。

在yarn client模式下，用于spark驱动器(driver)和yarn am通信。

而在yarn cluster模式下，这个端口将被用于动态执行器特性，这个特性会处理调度器后台杀死执行器的请求。

<code>spark.yarn.queue</code>

<code>default</code>

spark应用提交到哪个yarn队列。

<code>spark.yarn.jar</code>

spark jar文件位置，如果需要覆盖默认位置，请设定这个值。

默认的，spark on yarn会使用本地的spark jar包，但spark jar包同样可以使用整个集群可读的hdfs文件位置。

这使yarn可以在各节点上缓存spark jar包，而不需要每次运行一个应用的时候都要分发。

使用 hdfs:///some/path 来指定hdfs上jar包文件路径。

<code>spark.yarn.access .namenodes</code>

逗号分隔的hdfs namenodes。

例如 spark.yarn.access.namenodes=hdfs://nn1.com:8032,hdfs://nn2.com:8032。

spark应用必须有这些机器的访问权限，并且需要配置好 kerberos(可以在同一个域或者信任的域)。

spark需要每个namenode的安全token，以便访问集群中hdfs。

<code>spark.yarn.appmasterenv .[environmentvariablename]</code>

增加environmentvariablename所指定的环境变量到yarn am的进程中。

用户可以指定多个环境变量。在cluster模式下，这个可以控制spark驱动器的环境变量；

而在client模式下，只控制执行器启动器的环境变量。

<code>spark.yarn .containerlaunchermaxthreads</code>

<code>25</code>

yarn am 启动执行器的容器最多包含多少线程数。

<code>spark.yarn.am .extrajavaoptions</code>

在client模式下，传给yarn am 的jvm参数。

在cluster模式下，请使用spark.driver.extrajavaoptions

<code>spark.yarn.am .extralibrarypath</code>

client模式下传给yarn am 额外依赖库。

<code>spark.yarn.maxappattempts</code>

<code>yarn .resourcemanager</code><code>.am.max-attempts</code> in yarn

提交应用最大尝试次数。不应大于yarn全局配置的最大尝试次数。

<code>spark.yarn.am .attemptfailuresvalidityinterval</code>

定义am失败跟踪校验间隔。

am运行了至少要运行这么多时间后，其失败计数才被重置。

这个特性只有配置其值后才会生效，且只支持hadoop-2.6+

<code>spark.yarn.submit .waitappcompletion</code>

<code>true</code>

在yarn cluster模式下，控制是否客户端等到spark应用结束后再退出。

如果设为true，客户端进程将一直等待，并持续报告应用状态。

否则，客户端会在提交完成后退出。

<code>spark.yarn.am .nodelabelexpression</code>

一个yarn节点标签表达式（node label expression），以此来限制am可以被调度到哪些节点上执行。

只有hadoop 2.6+才能支持节点标签表达式，所以如果用其他版本运行，这个属性将被忽略。

<code>spark.yarn.executor .nodelabelexpression</code>

一个yarn节点标签表达式（node label expression），以此来限制执行器可以被调度到哪些节点上启动。

只有hadoop 2.6+才能支持节点标签表达式，所以如果在其他版本上运行时，这个属性将被忽略。

<code>spark.yarn.tags</code>

逗号分隔的字符串，传递yarn应用tags。

其值将出现在yarn application reports中，可以用来过滤和查询yarn 应用。

<code>spark.yarn.keytab</code>

认证文件keytab的全路径。

这个文件将被复制到访问secure distributed cache的yarn 应用节点上，并且周期性的刷新登陆的ticket和代理token（本地模式下也能work）

<code>spark.yarn.principal</code>

登陆kdc的认证，secure hdfs需要（local模式下也能用）

<code>spark.yarn.config .gatewaypath</code>

某些路径，可能在网关主机上能正常访问（spark应用启动的地方），而在其他节点上的访问方式（路径）可能不同。

对于这样的路径，需要本属性配合 spark.yarn.config.replacementpath组合使用，对于支持异构配置的集群，必须配置好这两个值，spark才能正确地启动远程进程。

replacement path 通常包含一些yarn导出的环境变量（因此，对spark containers可见）。

例如，如果网关节点上hadoop库安装在 /disk1/hadoop，并且其导出环境变量为 hadoop_home，

就需要将 spark.yarn.config.gatewaypath 设置为 /disk1/hadoop 并将 replacement path设为 $hadoop_home，

这样才能在远程节点上以正确的环境变量启动进程。

<code>spark.yarn.config .replacementpath</code>

见 spark.yarn.config.getewaypath

<code>spark.yarn.security .tokens.${service}.enabled</code>

在启用安全设置的情况下，控制是否对non-hdfs服务，获取代理token。

默认地，所有支持的服务，都启用；但你也可以在某些有冲突的情况下，对某些服务禁用。

目前支持的服务有：hive，hbase

对cpu资源的请求是否满足，取决于调度器如何配置和使用。

cluster模式下，spark执行器（executor）和驱动器（driver）的local目录都由yarn配置决定（yarn.nodemanager.local-dirs）；如果用户指定了spark.local.dir，这时候将被忽略。在client模式下，spark执行器（executor）的local目录由yarn决定，而驱动器（driver）的local目录由spark.local.dir决定，因为这时候，驱动器不在yarn上运行。

选项参数 –files和 –archives中井号（#）用法类似于hadoop。例如，你可以指定 –files localtest.txt#appsees.txt，这将会把localtest.txt文件上传到hdfs上，并重命名为 appsees.txt，而你的程序应用用 appsees.txt来引用这个文件。

当你在cluster模式下使用本地文件时，使用选项–jar 才能让sparkcontext.addjar正常工作，而不必使用 hdfs，http，https或者ftp上的文件。