天天看點

讓流動的資料結構化

結構化資料加上一個支援schema變更的存儲,加上一個高效易用的支援sql的資料處理和查詢的引擎,簡直無所不能和極度高效。

阿裡雲的資料流變換和機器學習的web化 都依賴于odps結構化支援。

任何資料都是可以結構化的,極端情況是可以把資料映射成隻有一個字段的表

為了實作這一點,譬如将hdfs的任意檔案映射成隻有一個字段的表,然後通過sql解析轉換成多個字段輸出到一張新表,接着再在新表做查詢統計或者輸出到特定存儲中

轉化為結構化後  可以有效加快資料的流動  并且提高效率  使得各個環節更加抽象通用

現在準備內建機器學習工具庫到streamingpro中,實作簡單配置即可完成資料轉換,模型訓練,資料預測

讓你流動的資料結構化吧。