天天看點

微軟Dryad入門相關介紹

推薦一下一個有趣的表情包收集網站,也可以線上制作表情包,歡迎通路:撸表情

大家也應該都清楚,Dryad是微軟仿MapReduce的支援分布式應用的engine,據說在Dryad 1.0版本中隻在128個結點上測試通過,現在新版本應該會改善許多,下面來一些關于它的介紹:

1.關于Dryad的架構

  Dryad通過使用單向通道來連接配接并行程式。Dryad系統的總體的建構用來支援有向無環圖(Directed Acycline Graph,DAG)類型資料流的并行程式。一個Dryad 任務被表示為一個有向無環圖,當有計算事件時,這些圖甚至會在執行期間也能發生變化。Dryad Job結構如下圖所示:

微軟Dryad入門相關介紹

Dryad建構在Cluster Service和分布式檔案系統之上,它的工作原理是這樣的:當使用者使用Dryad平台時,任務管理器(Job Manager,JM)擷取圖之後,便會在程式的輸入通道準備完畢,并且有可用機器的時候對它進行排程。JM從命名伺服器(Name Server,NS)那裡獲得一個可用的機器,并通過一個維護程序(daemon,D)來排程這個程式。檔案,共享記憶體,或TCP管道都可以作為程式(節點)之間通信用的通道。在運作過程中可以動态改變圖的形狀,并得到很好的容錯性。在調試的時候,整個圖也可以運作在單個系統上。

  最底層使用了群集系統的windows server,這些server提供了群集服務(Cluster service)。在Cluster Service的基礎上可以建構分布式檔案系統(Cosmos),同時也支援CIFS和NTFS的檔案系統,這使得資料的通路對上面的應用程式是半透明的。Dryad可以處理任務的建立和管理、資源管理、任務監控和可視化、容錯、重新執行和排程等工作。

還有就是微軟的Dryad 內建Linq (随着.net 2.0 正式釋出了)。從個人角度講我一直看好 Linq 這個産品,出身Aders不說,程式語言和資料處理合2為1對簡單的Insert ,update ,delete,query 完全應該內建起來。

微軟Dryad入門相關介紹

目前微軟的  Dryad 已經在Adcenter投入使用。相比Yahoo、Google來說,Microsoft并不是太有競争力!

繼續閱讀