天天看點

Hadoop技術預覽

首次釋出:Hadoop技術預覽

自從Hadoop的出現,引領大資料的浪潮越來越熱。大資料存儲的主要技術路線有幾種:

1.Hadoop

2.Cassandra

3.MongoDB

Hadoop是Apache的開源項目,同時有很多商業公司對Hadoop進行版本發行和商業支援,參見:http://wiki.apache.org/hadoop/Distributions%20and%20Commercial%20Support

其中在最有名為人所知的三家:

1.Cloudera

Hadoop技術預覽

2.Hortonwork

Hadoop技術預覽

3.MapR

Hadoop技術預覽

這三個廠商之中,MapR最為封閉;Hortonworks最為開放,産品線全開源,線上文檔比較豐富。國内使用Cloudera CDH和Hortonworks的應該是最多的。

準實時計算架構/即席查詢

1.CDH的架構有:Impala + Spark;

2.HDP的架構有:Tez + Spark;

3.MapR的架構有:Drill + Tez + Spark。

關于Spark:

2014年大資料最熱門的技術路線就是算是Spark了,而且得力于Spark不遺餘力的推廣和快速成長。Cloudera是最早支援Spark,也是最激進的。下圖即是Spark在Cloudera産品線中的定位:

Hadoop技術預覽

實際上快速計算架構的發展才剛剛開始,社群中已經有如下幾種:

1.Spark/Shark

2.Hortonworks Tez/Stinger

3.Cloudera Impala

4.Apache Drill

5.Apache Flink

6.Apache Nifi

7.Facebook Presto

繼續閱讀