【Spark Summit East 2017】Kafka、YARN與Spark Streaming作為一個服務

本講義出自<b>jim dowling</b>在spark summit east 2017上的演講，主要介紹了在容易進行調試的yarn上建構多租戶spark streaming應用程式的過程中遇到的挑戰，并展示了如何使用elk技術棧對spark streaming應用程式進行日志記錄和調試，以及如何使用graphana和graphite對應用進行監控以及優化以及使用dr elephant終止spark streaming任務。