使用下列代碼對sparksql流程進行分析,讓大家明白logicalplan的幾種狀态,了解sparksql整體執行流程
(1)檢視teenagers的schema資訊
(2)檢視運作流程
queryexecution中表示的是整體spark sql運作流程,從上面的輸出結果可以看到,一個sql語句要執行需要經過下列步驟:
執行語句:
運作流程:
執行流程:
檢視整體執行流程
前面的例子與下面的例子等同,隻不過其運作方式略有不同,執行語句:
檢視整體執行流程:
運作流程檢視:
其它sql語句,大家可以使用同樣的方法檢視其執行流程,以掌握spark sql背後實作的基本思想。