spark是采用scala語言開發的基于記憶體的計算架構,作者Matei Zaharia,在未來的發展方向:
1、spark streaming:提高spark的流處理能力,使得spark更适于通過一套代碼進行大資料流處理和批量計算;
2、MLlib:spark0.8加入了MLlib,下一步會在MLlib中加入更多的機器學習算法,使得spark更适于分布式機器學習;
3、GraphX:是基于spark的圖計算架構,目前很多社交網絡分析,機器學習和圖的相關算法最終完成推薦系統的工作,最終想達到讓使用者隻通過幾行簡單的
代碼能夠實作圖算法;
4、穩定性:與使用者和開源社群合作,部署在多種應用場景下,包括ETL、SQL、機器學習、圖分析等,使其更加穩定;
5、易用性:繼續完善spark的python/java API,同時使其安裝部署更加友善。
努力将spark打造成大資料時代的智能手機。