天天看點

Spark修煉之道(進階篇)——Spark入門到精通:第九節 Spark SQL運作流程解析

使用下列代碼對sparksql流程進行分析,讓大家明白logicalplan的幾種狀态,了解sparksql整體執行流程

(1)檢視teenagers的schema資訊

(2)檢視運作流程

queryexecution中表示的是整體spark sql運作流程,從上面的輸出結果可以看到,一個sql語句要執行需要經過下列步驟:

執行語句:

運作流程:

執行流程:

檢視整體執行流程

前面的例子與下面的例子等同,隻不過其運作方式略有不同,執行語句:

檢視整體執行流程:

運作流程檢視:

其它sql語句,大家可以使用同樣的方法檢視其執行流程,以掌握spark sql背後實作的基本思想。

繼續閱讀