天天看點

《大資料系統建構:可擴充實時資料系統建構原理與最佳實踐》一1.10 總結

你已經知道了使用傳統技術(如分片)來擴充關系型系統時會出現的錯誤。而我們面臨的問題不僅僅是擴充,因為那會使系統變得更難以管理、擴充,甚至更難了解。在後面的章節中,當介紹如何建構大資料系統時,我們将像注重可擴充性一樣注重魯棒性。你将看到,當用正确的方式建構系統時,魯棒性和可擴充性都是可以在同一個系統中實作的。

使用lambda架構建構資料系統的好處不僅僅是可擴充,因為你的系統将能夠處理更大量的資料、收集更多的資料并獲得更多的價值。增加存儲資料的數量和類型,将會有更多機會去挖掘資料、生成分析和建構新的應用程式。

使用lambda架構的另一個好處是應用程式的健壯性很好。原因有很多,例如,你将有能力在整個資料集上運作計算來進行遷移或解決出錯的事情。你永遠不需要處理同一時間模式中有多個活躍版本的情況。當改變模式時,你将有能力将所有資料更新到新的模式。同樣的,如果一個錯誤的算法被不小心部署到生産環境,破壞了所提供的資料,你可以通過重新計算被破壞的數值很容易地解決該問題。如你将見到的,還有許多其他原因使得大資料應用程式的魯棒性更好。

最後,性能将是更加可預測的。雖然lambda架構作為一個整體是通用和靈活的,但組成系統的各個元件是特定的。當與諸如sql的查詢計劃比較時,背景很少會有“魔法”發生。這就使我們可以得到更加可預測的性能。

如果你對很多這種資訊仍然不确定,也不用擔心。我們還有很多内容需要進行探讨,并且将通過本書的課程再次深入讨論本章中介紹的每一個主題。在下一章中,你将開始學習如何建構lambda架構。你會從堆棧的核心開始,即如何對資料集的主副本進行模組化和系統化。

繼續閱讀