結構化資料加上一個支援schema變更的存儲,加上一個高效易用的支援sql的資料處理和查詢的引擎,簡直無所不能和極度高效。
阿裡雲的資料流變換和機器學習的web化 都依賴于odps結構化支援。
任何資料都是可以結構化的,極端情況是可以把資料映射成隻有一個字段的表
為了實作這一點,譬如将hdfs的任意檔案映射成隻有一個字段的表,然後通過sql解析轉換成多個字段輸出到一張新表,接着再在新表做查詢統計或者輸出到特定存儲中
轉化為結構化後 可以有效加快資料的流動 并且提高效率 使得各個環節更加抽象通用
現在準備內建機器學習工具庫到streamingpro中,實作簡單配置即可完成資料轉換,模型訓練,資料預測
讓你流動的資料結構化吧。