天天看點

微軟首席架構師Yaniv Pessach談微軟大資料COSMOS(中文意思是宇宙)微軟首席架構師Yaniv Pessach談微軟大資料COSMOS(中文意思是宇宙)

COSMOS宇宙是由分布式計算元件(有點相當于Hadoop的Map/Reduce了使用微軟Dryad的解決方案,它(不像的map-reduce)允許計算任意DAG。

COSMOS宇宙支援類似SQL的文法(類似于HIVE/PIG),包括分布式存儲元件(與HDFS);總體而言,宇宙提供了高度可擴充的,可靠的,容錯以及自動縮放計算的海量資料集的操作。

根據文獻[1],[3],宇宙允許使用類似SQL的文法,如

source = EXTRACT col1, col2 FROM “A”

Data = SELECT * FROM source where (condition)

用來提取資料,而不需要明确的Map/Reduce是由使用者開發者原始的使用它。

SCOPE語言,就像SQL中,還支援[3]等操作符那裡,連接配接,縮小,以及使用者定義的操作符。這些包括減速器(基本上,輸入解析)等可程式設計操作中使用者代碼[1,3],并且産生平行的,優化的[1]“執行計劃”的定義的查詢。