0017-Spark的HistoryServer不能檢視到所有曆史作業分析

1.問題描述

Spark的HistoryServer能正常檢視之前的曆史作業日志，但新送出的作業在執行完成後未能在HistoryServer頁面檢視。

2.問題複現

1.分别使用root和ec2-user使用者執行作業

2.通過sparkHistory Server可以正常檢視到所有曆史作業

3.将/user/spark/applicationHistory目錄的所屬組修改為supergroup，再次執行作業

sudo –u hdfs hadoop dfs –chown spark:supergroup /user/spark/applicationHistroy

作業執行完成

HDFS上正常記錄了spark作業日志，但作業所屬group為supergroup

sparkHistoryServer報異常，沒有權限通路曆史job目錄

4.在History Server未檢視到剛執行完成的007作業

3.問題原因

由于/user/spark/applicationHistory目錄的所屬組為supergroup，導緻所有使用者作業的目錄均為supergroup組，之前能正常檢視的曆史作業由于目錄的所屬組任為spark。

4.解決方法

将/user/spark/applicationHistory目錄及該目錄下的子目錄所屬組修改為spark

sudo –u hdfs hadoop dfs –chgrp –R spark /user/spark/applicationHistory

修改後所有曆史作業均可正常檢視