jvm 崩溃日志设置_java – JVM崩溃时覆盖的GC日志

我正在为G1GC调整我们的产品,作为测试的一部分,我在Spark Workers上遇到了常规的段错误,这当然会导致JVM崩溃.发生这种情况时,Spark Worker / Executor JVM会自动重新启动,然后会覆盖为以前的Executor JVM编写的GC日志.

说实话,我不太确定Executor JVM如何重启自己的机制,但是我通过init.d启动了Spark Driver服务,而init.d又调用了一个bash脚本.我在该脚本中使用了一个时间戳,该时间戳附加到GC日志文件名：

today=$(date +%Y%m%dT%H%M%S%3N)

SPARK_HEAP_DUMP="-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=${SPARK_LOG_HOME}/heapdump_$$_${today}.hprof"

SPARK_GC_LOGS="-Xloggc:${SPARK_LOG_HOME}/gc_${today}.log -XX:LogFile=${SPARK_LOG_HOME}/safepoint_${today}.log"

GC_OPTS="-XX:+UnlockDiagnosticVMOptions -XX:+LogVMOutput -XX:+PrintFlagsFinal -XX:+PrintJNIGCStalls -XX:+PrintTLAB -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=15 -XX:GCLogFileSize=48M -XX:+PrintTenuringDistribution -XX:+PrintGCApplicationConcurrentTime -XX:+PrintGCApplicationStoppedTime -XX:+PrintAdaptiveSizePolicy -XX:+PrintHeapAtGC -XX:+PrintGCCause -XX:+PrintReferenceGC -XX:+PrintSafepointStatistics -XX:PrintSafepointStatisticsCount=1"

我认为问题是这个脚本将这些选项发送到Spark驱动程序,然后Spark驱动程序将它们传递给Spark Executors(通过-Dspark.executor.extraJavaOptions参数),它们都是独立的服务器,当Executor JVM崩溃时,它只是使用最初发送的命令开始备份,这意味着GC日志文件名的时间戳部分是静态的：

SPARK_STANDALONE_OPTS=`property ${SPARK_APP_CONFIG}/spark.properties "spark-standalone.extra.args"`

SPARK_STANDALONE_OPTS="$SPARK_STANDALONE_OPTS $GC_OPTS $SPARK_GC_LOGS $SPARK_HEAP_DUMP"

exec java ${SPARK_APP_HEAP_DUMP} ${GC_OPTS} ${SPARK_APP_GC_LOGS} \

${DRIVER_JAVA_OPTIONS} \

-Dspark.executor.memory=${EXECUTOR_MEMORY} \

-Dspark.executor.extraJavaOptions="${SPARK_STANDALONE_OPTS}" \

-classpath ${CLASSPATH} \

com.company.spark.Main >> ${SPARK_APP_LOGDIR}/${SPARK_APP_LOGFILE} 2>&1 &

这使我很难调试段错误的原因,因为我正在失去导致JVM崩溃的Workers的活动和状态.有关如何处理这种情况并将GC日志保留在Workers上的任何想法,即使在JVM崩溃/段错误之后？