天天看點

spark未來的發展方向

          spark是采用scala語言開發的基于記憶體的計算架構,作者Matei Zaharia,在未來的發展方向:

1、spark streaming:提高spark的流處理能力,使得spark更适于通過一套代碼進行大資料流處理和批量計算;

2、MLlib:spark0.8加入了MLlib,下一步會在MLlib中加入更多的機器學習算法,使得spark更适于分布式機器學習;

3、GraphX:是基于spark的圖計算架構,目前很多社交網絡分析,機器學習和圖的相關算法最終完成推薦系統的工作,最終想達到讓使用者隻通過幾行簡單的

                        代碼能夠實作圖算法;

4、穩定性:與使用者和開源社群合作,部署在多種應用場景下,包括ETL、SQL、機器學習、圖分析等,使其更加穩定;

5、易用性:繼續完善spark的python/java API,同時使其安裝部署更加友善。

努力将spark打造成大資料時代的智能手機。