首次釋出:Hadoop技術預覽
自從Hadoop的出現,引領大資料的浪潮越來越熱。大資料存儲的主要技術路線有幾種:
1.Hadoop
2.Cassandra
3.MongoDB
Hadoop是Apache的開源項目,同時有很多商業公司對Hadoop進行版本發行和商業支援,參見:http://wiki.apache.org/hadoop/Distributions%20and%20Commercial%20Support
其中在最有名為人所知的三家:
1.Cloudera
2.Hortonwork
3.MapR
這三個廠商之中,MapR最為封閉;Hortonworks最為開放,産品線全開源,線上文檔比較豐富。國内使用Cloudera CDH和Hortonworks的應該是最多的。
準實時計算架構/即席查詢
1.CDH的架構有:Impala + Spark;
2.HDP的架構有:Tez + Spark;
3.MapR的架構有:Drill + Tez + Spark。
關于Spark:
2014年大資料最熱門的技術路線就是算是Spark了,而且得力于Spark不遺餘力的推廣和快速成長。Cloudera是最早支援Spark,也是最激進的。下圖即是Spark在Cloudera産品線中的定位:
實際上快速計算架構的發展才剛剛開始,社群中已經有如下幾種:
1.Spark/Shark
2.Hortonworks Tez/Stinger
3.Cloudera Impala
4.Apache Drill
5.Apache Flink
6.Apache Nifi
7.Facebook Presto