比較全的大資料技術元件整理以及相關理論論文整理

架構

Apache Hadoop：分布式處理架構，結合了 MapReduce(并行處理)、YARN(作業排程)和HDFS(分布式檔案系統);

Tigon：高吞吐量實時流處理架構。

分布式程式設計

AddThis Hydra ：最初在AddThis上開發的分布式資料處理和存儲系統;

AMPLab SIMR：用在Hadoop MapReduce v1上運作Spark;

Apache Beam：為統一的模型以及一套用于定義和執行資料處理工作流的特定SDK語言;

Apache Crunch：一個簡單的Java API，用于執行在普通的MapReduce實作時比較單調的連接配接、資料聚合等任務;

Apache DataFu：由LinkedIn開發的針對Hadoop and 和Pig的使用者定義的函數集合;

Apache Flink：具有高性能的執行時間和自動程式優化;

Apache Gora：記憶體中的資料模型和持久性架構;

Apache Hama：BSP(整體同步并行)計算架構;

Apache MapReduce ：在叢集上使用并行、分布式算法處理大資料集的程式設計模型;

Apache Pig ：Hadoop中，用于處理資料分析程式的進階查詢語言;

Apache REEF ：用來簡化和統一低層大資料系統的保留性評估執行架構;

Apache S4 ：S4中流處理與實作的架構;

Apache Spark ：記憶體叢集計算架構;

Apache Spark Streaming ：流處理架構，同時是Spark的一部分;

Apache Storm ：Twitter流處理架構，也可用于YARN;

Apache Samza ：基于Kafka和YARN的流處理架構;

Apache Tez ：基于YARN，用于執行任務中的複雜DAG(有向無環圖);

Apache Twill ：基于YARN的抽象概念，用于減少開發分布式應用程式的複雜度;

Cascalog：資料處理和查詢庫;

Cheetah ：在MapReduce之上的高性能、自定義資料倉庫;

Concurrent Cascading ：在Hadoop上的資料管理/分析架構;

Damballa Parkour ：用于Clojure的MapReduce庫;

Datasalt Pangool ：可選擇的MapReduce範例;

DataTorrent StrAM ：為實時引擎，用于以盡可能暢通的方式、最小的開支和對性能最小的影響，實作分布式、異步、實時的記憶體大資料計算;

Facebook Corona ：為Hadoop做優化處理，進而消除單點故障;

Facebook Peregrine ：MapReduce架構;

Facebook Scuba ：分布式記憶體資料存儲;

Google Dataflow ：建立資料管道，以幫助其分析架構;

Netflix PigPen ：為MapReduce，用于編譯成Apache Pig;

Nokia Disco ：由Nokia開發的MapReduc擷取、轉換和分析資料;

Google MapReduce ：MapReduce架構;

Google MillWheel ：容錯流處理架構;

JAQL ：用于處理結構化、半結構化和非結構化資料工作的聲明性程式設計語言;

Kite ：為一組庫、工具、執行個體和文檔集，用于使在Hadoop的生态系統上建立系統更加容易;

Metamarkets Druid ：用于大資料集的實時e架構;

Onyx ：分布式雲計算;

Pinterest Pinlater ：異步任務執行系統;

Pydoop ：用于Hadoop的Python MapReduce和HDFS API;

Rackerlabs Blueflood ：多租戶分布式測度處理系統;

Stratosphere ：通用叢集計算架構;

Streamdrill ：用于計算基于不同時間視窗的事件流的活動，并找到最活躍的一個;

Tuktu ：易于使用的用于分批處理和流計算的平台，通過Scala、 Akka和Play所建;

Twitter Scalding：基于Cascading，用于Map Reduce工作的Scala庫;

Twitter Summingbird ：在Twitter上使用Scalding和Storm串流MapReduce;

Twitter TSAR ：Twitter上的時間序列聚合器。

分布式檔案系統

Apache HDFS：在多台機器上存儲大型檔案的方式;

BeeGFS：以前是FhGFS，并行分布式檔案系統;

Ceph Filesystem：設計的軟體存儲平台;

Disco DDFS：分布式檔案系統;

Facebook Haystack：對象存儲系統;

Google Colossus：分布式檔案系統(GFS2);

Google GFS：分布式檔案系統;

Google Megastore：可擴充的、高度可用的存儲;

GridGain：相容GGFS、Hadoop記憶體的檔案系統;

Lustre file system：高性能分布式檔案系統;

Quantcast File System QFS：開源分布式檔案系統;

Red Hat GlusterFS：向外擴充的附網存儲(Network-attached Storage)檔案系統;

Seaweed-FS：簡單的、高度可擴充的分布式檔案系統;

Alluxio：以可靠的存儲速率在跨叢集架構上檔案共享;

Tahoe-LAFS：分布式雲存儲系統;

檔案資料模型

Actian Versant：商用的面向對象資料庫管理系統;

Crate Data：是一個開源的大規模可擴充的資料存儲，需要零管理模式;

Facebook Apollo：Facebook的Paxos算法，類似于NoSQL資料庫;

jumboDB：基于Hadoop的面向文檔的資料存儲;

LinkedIn Espresso：可橫向擴充的面向文檔的NoSQL資料存儲;

MarkLogic：模式不可知的企業版NoSQL資料庫技術;

MongoDB：面向文檔的資料庫系統;

RavenDB：一個事務性的，開源文檔資料庫;

RethinkDB：支援連接配接查詢和群組依據等查詢的文檔型資料庫。

Key Map 資料模型

注意：業界存在一些術語混亂，有兩個不同的東西都叫做“列式資料庫”。這裡列出的有一些是圍繞“key-map”資料模型而建的分布式、持續型資料庫，其中所有的資料都有(可能綜合了)鍵，并與映射中的鍵-值對相關聯。在一些系統中，多個這樣的值映射可以與鍵相關聯，并且這些映射被稱為“列族”(具有映射值的鍵被稱為“列”)。

另一組也可稱為“列式資料庫”的技術因其存儲資料的方式而有别于前一組，它在磁盤上或在存儲器中——而不是以傳統方式，即所有既定鍵的鍵值都相鄰着、逐行存儲。這些系統也彼此相鄰來存儲所有列值，但是要得到給定列的所有值卻不需要以前那麼繁複的工作。

前一組在這裡被稱為“key map資料模型”，這兩者和Key-value 資料模型之間的界限是相當模糊的。後者對資料模型有更多的存儲格式，可在列式資料庫中列出。若想了解更多關于這兩種模型的區分，可閱讀Daniel Abadi的部落格：Distinguishing two major types of Column Stores。

Apache Accumulo：内置在Hadoop上的分布式鍵/值存儲;

Apache Cassandra：由BigTable授權，面向列的分布式資料存儲;

Apache HBase：由BigTable授權，面向列的分布式資料存儲;

Facebook HydraBase：Facebook所開發的HBase的衍化品;

Google BigTable：面向列的分布式資料存儲;

Google Cloud Datastore：為完全管理型的無模式資料庫，用于存儲在BigTable上非關系型資料;

Hypertable：由BigTable授權，面向列的分布式資料存儲;

InfiniDB：通過MySQL的接口通路，并使用大規模并行處理進行并行查詢;

Tephra：用于HBase處理;

Twitter Manhattan：Twitter的實時、多租戶分布式資料庫。

鍵-值資料模型

Aerospike：支援NoSQL的閃存優化，資料存儲在記憶體。開源，“‘C’(不是Java或Erlang)中的伺服器代碼可精确地調整進而避免上下文切換和記憶體拷貝”。

Amazon DynamoDB：分布式鍵/值存儲，Dynamo論文的實作;

Edis：為替代Redis的協定相容的伺服器;

ElephantDB：專門研究Hadoop中資料導出的分布式資料庫;

EventStore：分布式時間序列資料庫;

GridDB：适用于存儲在時間序列中的傳感器資料;

LinkedIn Krati：簡單的持久性資料存儲，擁有低延遲和高吞吐量;

Linkedin Voldemort：分布式鍵/值存儲系統;

Oracle NoSQL Database：Oracle公司開發的分布式鍵值資料庫;

Redis：記憶體中的鍵值資料存儲;

Riak：分散式資料存儲;

Storehaus：Twitter開發的異步鍵值存儲的庫;

Tarantool：一個高效的NoSQL資料庫和Lua應用伺服器;

TiKV：由Google Spanner和HBase授權，Rust提供技術支援的分布式鍵值資料庫;

TreodeDB：可複制、共享的鍵-值存儲，能提供多行原子寫入。

圖形資料模型

Apache Giraph：基于Hadoop的Pregel實作;

Apache Spark Bagel：可實作Pregel，為Spark的一部分;

ArangoDB：多層模型分布式資料庫;

DGraph：一個可擴充的、分布式、低延遲時間、高吞吐量的圖形資料庫，旨在為Google生産水準規模和吞吐量提供足夠的低延遲，用于TB級的結構化資料的實時使用者查詢;

Facebook TAO：TAO是facebook廣泛用來存儲和服務于社交圖形的分布式資料存儲;

GCHQ Gaffer：GCHQ中的Gaffer是一個易于存儲大規模圖形的架構，其中節點和邊緣都有統計資料;

Google Cayley：開源圖形資料庫;

Google Pregel ：圖形處理架構;

GraphLab PowerGraph：核心C ++ GraphLab API和建立在GraphLab API之上的高性能機器學習和資料挖掘工具包的集合;

GraphX：Spark中的彈性分布式圖形系統;

Gremlin：圖形追蹤語言;

Infovore：以RDF為中心的Map / Reduce架構;

Intel GraphBuilder：在Hadoop上建構大規模圖形的工具;

MapGraph：用于在GPU上大規模并行圖形處理;

Neo4j：完全用Java寫入的圖形資料庫;

OrientDB：文檔和圖形資料庫;

Phoebus：大型圖形處理架構;

Titan：建于Cassandra的分布式圖形資料庫;

Twitter FlockDB：分布式圖形資料庫。

NewSQL資料庫

Actian Ingres：由商業支援，開源的SQL關系資料庫管理系統;

Amazon RedShift：基于PostgreSQL的資料倉庫服務;

BayesDB：面向統計數值的SQL資料庫;

CitusDB：通過分區和複制橫向擴充PostgreSQL;

Cockroach：可擴充、位址可複制、交易型的資料庫;

Datomic：旨在産生可擴充、靈活的智能應用的分布式資料庫;

FoundationDB：由F1授意的分布式資料庫;

Google F1：建立在Spanner上的分布式SQL資料庫;

Google Spanner：全球性的分布式半關系型資料庫;

H-Store：是一個實驗性主存并行資料庫管理系統，用于聯機事務處理(OLTP)應用的優化;

Haeinsa：基于Percolator，HBase的線性可擴充多行多表交易庫;

HandlerSocket：MySQL/MariaDB的NoSQL插件;

InfiniSQL：無限可擴充的RDBMS;

MemSQL：記憶體中的SQL資料庫，其中有優化的閃存列存儲;

NuoDB：SQL / ACID相容的分布式資料庫;

Oracle TimesTen in-Memory Database：記憶體中具有持久性和可恢複性的關系型資料庫管理系統;

Pivotal GemFire XD：記憶體中低延時的分布式SQL資料存儲，可為記憶體清單資料提供SQL接口，在HDFS中較持久化;

SAP HANA：是在記憶體中面向列的關系型資料庫管理系統;

SenseiDB：分布式實時半結構化的資料庫;

Sky：用于行為資料的靈活、高性能分析的資料庫;

SymmetricDS：用于檔案和資料庫同步的開源軟體;

Map-D：為GPU記憶體資料庫，也為大資料分析和可視化平台;

TiDB：TiDB是分布式SQL資料庫，基于谷歌F1的設計靈感;

VoltDB：自稱為最快的記憶體資料庫。

列式資料庫

Columnar Storage：解釋什麼是列存儲以及何時會需要用到它;

Actian Vector：面向列的分析型資料庫;

C-Store：面向列的DBMS;

MonetDB：列存儲資料庫;

Parquet：Hadoop的列存儲格式;

Pivotal Greenplum：專門設計的、專用的分析資料倉庫，類似于傳統的基于行的工具，提供了一個列式工具;

Vertica：用來管理大規模、快速增長的大量資料，當用于資料倉庫時，能夠提供非常快的查詢性能;

Google BigQuery ：谷歌的雲産品，由其在Dremel的創始工作提供支援;

Amazon Redshift ：亞馬遜的雲産品，它也是基于柱狀資料存儲後端。

時間序列資料庫

Cube：使用MongoDB來存儲時間序列資料;

Axibase Time Series Database：在HBase之上的分布式時間序列資料庫，它包括内置的Rule Engine、資料預測和可視化;

Heroic：基于Cassandra和Elasticsearch的可擴充的時間序列資料庫;

InfluxDB：分布式時間序列資料庫;

Kairosdb：類似于OpenTSDB但會考慮到Cassandra;

OpenTSDB：在HBase上的分布式時間序列資料庫;

Prometheus：一種時間序列資料庫和服務監測系統;

Newts：一種基于Apache Cassandra的時間序列資料庫。

類SQL處理

Actian SQL for Hadoop：高性能互動式的SQL，可通路所有的Hadoop資料;

Apache Drill：由Dremel授意的互動式分析架構;

Apache HCatalog：Hadoop的表格和存儲管理層;

Apache Hive：Hadoop的類SQL資料倉庫系統;

Apache Optiq：一種架構，可允許高效的查詢翻譯，其中包括異構性及聯合性資料的查詢;

Apache Phoenix：Apache Phoenix 是 HBase 的 SQL 驅動;

Cloudera Impala：由Dremel授意的互動式分析架構;

Concurrent Lingual：Cascading中的類SQL查詢語言;

Datasalt Splout SQL：用于大資料集的完整的SQL查詢工具;

Facebook PrestoDB：分布式SQL查詢工具;

Google BigQuery：互動式分析架構，Dremel的實作;

Pivotal HAWQ：Hadoop的類SQL的資料倉庫系統;

RainstorDB：用于存儲大規模PB級結構化和半結構化資料的資料庫;

Spark Catalyst：用于Spark和Shark的查詢優化架構;

SparkSQL：使用Spark操作結構化資料;

Splice Machine：一個全功能的Hadoop上的SQL RDBMS，并帶有ACID事務;

Stinger：用于Hive的互動式查詢;

Tajo：Hadoop的分布式資料倉庫系統;

Trafodion：為企業級的SQL-on-HBase針對大資料的事務或業務工作負載的解決方案。

資料攝取

Amazon Kinesis：大規模資料流的實時處理;

Apache Chukwa：資料采集系統;

Apache Flume：管理大量日志資料的服務;

Apache Kafka：分布式釋出-訂閱消息系統;

Apache Sqoop：在Hadoop和結構化的資料存儲區之間傳送資料的工具;

Cloudera Morphlines：幫助 Solr、HBase和HDFS完成ETL的架構;

Facebook Scribe：流日志資料聚合器;

Fluentd：采集事件和日志的工具;

Google Photon：實時連接配接多個資料流的分布式計算機系統，具有高可擴充性和低延遲性;

Heka：開源流處理軟體系統;

HIHO：用Hadoop連接配接不同資料源的架構;

Kestrel：分布式消息隊列系統;

LinkedIn Databus：對資料庫更改捕獲的事件流;

LinkedIn Kamikaze：壓縮已分類整型數組的程式包;

LinkedIn White Elephant：日志聚合器和儀表闆;

Logstash：用于管理事件和日志的工具;

Netflix Suro：像基于Chukwa 的Storm和Samza一樣的日志聚合器;

Pinterest Secor：是實作Kafka日志持久性的服務;

Linkedin Gobblin：LinkedIn的通用資料攝取架構;

Skizze：是一種資料存儲略圖，使用機率性資料結構來處理計數、略圖等相關的問題;

StreamSets Data Collector：連續大資料采集的基礎設施，可簡單地使用IDE。

服務程式設計

Akka Toolkit：JVM中分布性、容錯事件驅動應用程式的運作時間;

Apache Avro：資料序列化系統;

Apache Curator：Apache ZooKeeper的Java庫;

Apache Karaf：在任何OSGi架構之上運作的OSGi運作時間;

Apache Thrift：建構二進制協定的架構;

Apache Zookeeper：流程管理集中式服務;

Google Chubby：一種松耦合分布式系統鎖服務;

Linkedin Norbert：叢集管理器;

OpenMPI：消息傳遞架構;

Serf：服務發現和協調的分散化解決方案;

Spotify Luigi：一種建構批處理作業的複雜管道的Python包，它能夠處理依賴性解析、工作流管理、可視化、故障處理、指令行一體化等等問題;

Spring XD：資料攝取、實時分析、批量處理和資料導出的分布式、可擴充系統;

Twitter Elephant Bird：LZO壓縮資料的工作庫;

Twitter Finagle：JVM的異步網絡堆棧。

排程

Apache Aurora：在Apache Mesos之上運作的服務排程程式;

Apache Falcon：資料管理架構;

Apache Oozie：工作流作業排程程式;

Chronos：分布式容錯排程;

Linkedin Azkaban：批處理工作流作業排程;

Schedoscope：Hadoop作業靈活排程的Scala DSL;

Sparrow：排程平台;

Airflow：一個以程式設計方式編寫、排程和監控工作流的平台。

機器學習

Apache Mahout：Hadoop的機器學習庫;

brain：JavaScript中的神經網絡;

Cloudera Oryx：實時大規模機器學習;

Concurrent Pattern：Cascading的機器學習庫;

convnetjs：Javascript中的機器學習，在浏覽器中訓練卷積神經網絡(或普通網絡);

Decider：Ruby中靈活、可擴充的機器學習;

ENCOG：支援多種先進算法的機器學習架構，同時支援類的标準化和處理資料;

etcML：機器學習文本分類;

Etsy Conjecture：Scalding中可擴充的機器學習;

Google Sibyl：Google中的大規模機器學習系統;

GraphLab Create：Python的機器學習平台，包括ML工具包、資料工程和部署工具的廣泛集合;

H2O：Hadoop統計性的機器學習和數學運作時間;

MLbase：用于BDAS堆棧的分布式機器學習庫;

MLPNeuralNet：針對iOS和Mac OS X的快速多層感覺神經網絡庫;

MonkeyLearn：使文本挖掘更為容易，從文本中提取分類資料;

nupic：智能計算的Numenta平台，它是一個啟發大腦的機器智力平台，基于皮質學習算法的精準的生物神經網絡;

PredictionIO：建于Hadoop、Mahout和Cascading上的機器學習伺服器;

SAMOA：分布式流媒體機器學習架構;

scikit-learn：scikit-learn為Python中的機器學習;

Spark MLlib：Spark中一些常用的機器學習(ML)功能的實作;

Vowpal Wabbit：微軟和雅虎發起的學習系統;

WEKA：機器學習軟體套件;

BidMach：CPU和加速GPU的機器學習庫。

基準測試

Apache Hadoop Benchmarking：測試Hadoop性能的微基準;

Berkeley SWIM Benchmark：現實大資料工作負載基準測試;

Intel HiBench：Hadoop基準測試套件;

PUMA Benchmarking：MapReduce應用的基準測試套件;

Yahoo Gridmix3：雅虎工程師團隊的Hadoop叢集基準測試。

安全性

Apache Knox Gateway：Hadoop叢集安全通路的單點;

Apache Sentry：存儲在Hadoop的資料安全子產品。

系統部署

Apache Ambari：Hadoop管理的運作架構;

Apache Bigtop：Hadoop生态系統的部署架構;

Apache Helix：叢集管理架構;

Apache Mesos：叢集管理器;

Apache Slider：一種YARN應用，用來部署YARN中現有的分布式應用程式;

Apache Whirr：運作雲服務的庫集;

Apache YARN：叢集管理器;

Brooklyn：用于簡化應用程式部署和管理的庫;

Buildoop：基于Groovy語言，和Apache BigTop類似;

Cloudera HUE：和Hadoop進行互動的Web應用程式;

Facebook Prism：多資料中心複制系統;

Google Borg：作業排程和監控系統;

Google Omega：作業排程和監控系統;

Hortonworks HOYA：可在YARN上部署HBase叢集的應用;

Marathon：用于長期運作服務的Mesos架構。

應用程式

Adobe spindle：使用Scala、Spark和Parquet處理的下一代web分析;

Apache Kiji：基于HBase，實時采集和分析資料的架構;

Apache Nutch：開源網絡爬蟲;

Apache OODT：用于NASA科學檔案中資料的捕獲、處理和共享;

Apache Tika：内容分析工具包;

Argus：時間序列監測和報警平台;

Countly：基于Node.js和MongoDB，開源的手機和網絡分析平台;

Domino：運作、規劃、共享和部署模型——沒有任何基礎設施;

Eclipse BIRT：基于Eclipse的報告系統;

Eventhub：開源的事件分析平台;

Hermes：建于Kafka上的異步消息代理;

HIPI Library：在Hadoop’s MapReduce上執行圖像處理任務的API;

Hunk：Hadoop的Splunk分析;

Imhotep：大規模分析平台;

MADlib：RDBMS的用于資料分析的資料處理庫;

Kylin：來自eBay的開源分布式分析工具;

PivotalR：Pivotal HD / HAWQ和PostgreSQL中的R;

Qubole：為自動縮放Hadoop叢集，内置的資料連接配接器;

Sense：用于資料科學和大資料分析的雲平台;

SnappyData：用于實時營運分析的分布式記憶體資料存儲，提供建立在Spark單一內建叢集中的資料流分析、OLTP(聯機事務處理)和OLAP(聯機分析處理);

Snowplow：企業級網絡和事件分析，由Hadoop、Kinesis、Redshift 和Postgres提供技術支援;

SparkR：Spark的R前端;

Splunk：用于機器生成的資料的分析;

Sumo Logic：基于雲的分析儀，用于分析機器生成的資料;

Talend：用于YARN、Hadoop、HBASE、Hive、HCatalog和Pig的統一開源環境;

Warp：利用大資料(OS X app)的執行個體查詢工具。

搜尋引擎與架構

Apache Lucene：搜尋引擎庫;

Apache Solr：用于Apache Lucene的搜尋平台;

ElasticSearch：基于Apache Lucene的搜尋和分析引擎;

Enigma.io：為免費增值的健壯性web應用，用于探索、篩選、分析、搜尋和導出來自網絡的大規模資料集;

Facebook Unicorn：社交圖形搜尋平台;

Google Caffeine：連續索引系統;

Google Percolator：連續索引系統;

TeraGoogle：大型搜尋索引;

HBase Coprocessor：為Percolator的實作，HBase的一部分;

Lily HBase Indexer：快速、輕松地搜尋存儲在HBase的任何内容;

LinkedIn Bobo：完全由Java編寫的分面搜尋的實作，為Apache Lucene的延伸;

LinkedIn Cleo：為一個一個靈活的軟體庫，使得局部、無序、實時預輸入的搜尋實作了快速發展;

LinkedIn Galene：LinkedIn搜尋架構;

LinkedIn Zoie：是用Java編寫的實時搜尋/索引系統;

Sphinx Search Server：全文搜尋引擎

MySQL的分支和演化

Amazon RDS：亞馬遜雲的MySQL資料庫;

Drizzle：MySQL的6.0的演化;

Google Cloud SQL：谷歌雲的MySQL資料庫;

MariaDB：MySQL的增強版嵌入式替代品;

MySQL Cluster：使用NDB叢集存儲引擎的MySQL實作;

Percona Server：MySQL的增強版嵌入式替代品;

ProxySQL：MySQL的高性能代理;

TokuDB：用于MySQL和 MariaDB的存儲引擎;

WebScaleSQL：運作MySQL時面臨類似挑戰的幾家公司，它們的工程師之間的合作。

PostgreSQL的分支和演化

Yahoo Everest - multi-peta-byte database / MPP derived by PostgreSQL.

HadoopDB：MapReduce和DBMS的混合體;

IBM Netezza：高性能資料倉庫裝置;

Postgres-XL：基于PostgreSQL，可擴充的開源資料庫叢集;

RecDB：完全建立在PostgreSQL内部的開源推薦引擎;

Stado：開源MPP資料庫系統，隻針對資料倉庫和資料集市的應用程式;

Yahoo Everest：PostgreSQL可以推導多位元組P比特資料庫/MPP。

Memcached的分支和演化

Facebook McDipper：閃存的鍵/值緩存;

Facebook Memcached：Memcache的分支;

Twemproxy：Memcached和Redis的快速、輕型代理;

Twitter Fatcache：閃存的鍵/值緩存;

Twitter Twemcache：Memcache的分支。

嵌入式資料庫

Actian PSQL：Pervasive Software公司開發的ACID相容的DBMS，在應用程式中嵌入了優化;

BerkeleyDB：為鍵/值資料提供一個高性能的嵌入式資料庫的一個軟體庫;

HanoiDB：Erlang LSM BTree存儲;

LevelDB：谷歌寫的一個快速鍵-值存儲庫，它提供了從字元串鍵到字元串值的有序映射;

LMDB：Symas開發的超快、超緊湊的鍵-值嵌入的式資料存儲;

RocksDB：基于性LevelDB，用于快速存儲的嵌入式持續性鍵-值存儲。

商業智能

BIME Analytics：商業智能雲平台;

Chartio：精益業務智能平台，用于可視化和探索資料;

datapine：基于雲的自助服務商業智能工具;

Jaspersoft：功能強大的商業智能套件;

Jedox Palo：定制的商業智能平台;

Microsoft：商業智能軟體和平台;

Microstrategy：商業智能、移動智能和網絡應用軟體平台;

Pentaho：商業智能平台;

Qlik：商業智能和分析平台;

Saiku：開源的分析平台;

SpagoBI：開源商業智能平台;

Tableau：商業智能平台;

Zoomdata：大資料分析;

Jethrodata：互動式大資料分析。

資料可視化

Airpal：用于PrestoDB的網頁UI;

Arbor：利用網絡工作者和jQuery的圖形可視化庫;

Banana：對存儲在Kibana中Solr. Port的日志和時戳資料進行可視化;

Bokeh：一個功能強大的Python互動式可視化庫，它針對要展示的現代web浏覽器，旨在為D3.js風格的新奇的圖形提供優雅簡潔的設計，同時在大規模資料或流資料集中，通過高性能互動性來表達這種能力;

C3：基于D3可重複使用的圖表庫;

CartoDB：開源或免費增值的虛拟主機，用于帶有強大的前端編輯功能和API的地理空間資料庫;

chartd：隻帶Img标簽的反應靈敏、相容Retina的圖表;

Chart.js：開源的HTML5圖表可視化效果;

Chartist.js：另一個開源HTML5圖表可視化效果;

Crossfilter：JavaScript庫，用于在浏覽器中探索多元大資料集，用Dc.js和D3.js.效果很好;

Cubism：用于時間序列可視化的JavaScript庫;

Cytoscape：用于可視化複雜網絡的JavaScript庫;

DC.js：次元圖表，和Crossfilter一起使用，通過D3.js呈現出來，它比較擅長連接配接圖表/附加的中繼資料，進而徘徊在D3的事件附近;

D3：操作檔案的JavaScript庫;

D3.compose：從可重複使用的圖表群組件構成複雜的、資料驅動的可視化;

D3Plus：一組相當強大的可重用的圖表，還有D3.js的樣式;

Echarts：百度企業場景圖表;

Envisionjs：動态HTML5可視化;

FnordMetric：寫SQL查詢，傳回SVG圖表，而不是表;

Freeboard：針對IOT和其他Web混搭的開源實時儀表盤建構;

Gephi：屢獲殊榮的開源平台，可視化和操縱大型圖形和網絡連接配接，有點像Photoshop，但是針對于圖表，适用于Windows和Mac OS X;

Google Charts：簡單的圖表API;

Grafana：石墨儀表闆前端、編輯器和圖形組合器;

Graphite：可擴充的實時圖表;

Highcharts：簡單而靈活的圖表API;

IPython：為互動式計算提供豐富的架構;

Kibana：可視化日志和時間标記資料;

Matplotlib：Python繪圖;

Metricsgraphic.js：建立在D3之上的庫，針對時間序列資料進行最優化;

NVD3：d3.js的圖表元件;

Peity：漸進式SVG條形圖，折線和餅圖;

Plot.ly：易于使用的Web服務，它允許快速建立從熱圖到直方圖等複雜的圖表，使用圖表Plotly的線上電子表格上傳資料進行建立和設計;

Plotly.js：支援plotly的開源JavaScript圖形庫;

Recline：簡單但功能強大的庫，純粹利用JavaScript和HTML建構資料應用;

Redash：查詢和可視化資料的開源平台;

Shiny：針對R的Web應用程式架構;

Sigma.js：JavaScript庫，專門用于圖形繪制;

Vega：一個可視化文法;

Zeppelin：一個筆記本式的協作資料分析;

Zing Charts：用于大資料的JavaScript圖表庫。

物聯網和傳感器

TempoIQ：基于雲的傳感器分析;

2lemetry：物聯網平台;

Pubnub：資料流網絡;

ThingWorx：ThingWorx 是讓企業快速建立和運作互聯應用程式平台;

IFTTT：IFTTT 是一個被稱為 “網絡自動化神器” 的創新型網際網路服務，它的全稱是 If this then that，意思是“如果這樣，那麼就那樣”;

Evrythng：Evrythng則是一款真正意義上的大衆物聯網平台，使得身邊的很多産品變得智能化。

文章推薦

NoSQL Comparison(NoSQL 比較)- Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison;

Big Data Benchmark(大資料基準)- Redshift, Hive, Shark, Impala and Stiger/Tez的基準;

The big data successor of the spreadsheet(電子表格的大資料繼承者) - 電子表格的繼承者應該是大資料。

論文

2015 - 2016

2015 - Facebook - One Trillion Edges: Graph Processing at Facebook-Scale.(一兆邊：Facebook規模的圖像處理)

2013 - 2014

2014 - Stanford - Mining of Massive Datasets.(海量資料集挖掘)

2013 - AMPLab - Presto: Distributed Machine Learning and Graph Processing with Sparse Matrices. (Presto： 稀疏矩陣的分布式機器學習和圖像處理)

2013 - AMPLab - MLbase: A Distributed Machine-learning System. (MLbase：分布式機器學習系統)

2013 - AMPLab - Shark: SQL and Rich Analytics at Scale. (Shark: 大規模的SQL 和豐富的分析)

2013 - AMPLab - GraphX: A Resilient Distributed Graph System on Spark. (GraphX:基于Spark的彈性分布式圖計算系統)

2013 - Google - HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm. (HyperLogLog實踐:一個藝術形态的基數估算算法)

2013 - Microsoft - Scalable Progressive Analytics on Big Data in the Cloud.(雲端大資料的可擴充性漸進分析)

2013 - Metamarkets - Druid: A Real-time Analytical Data Store. (Druid：實時分析資料存儲)

2013 - Google - Online, Asynchronous Schema Change in F1.(F1中線上、異步模式的轉變)

2013 - Google - F1: A Distributed SQL Database That Scales. (F1: 分布式SQL資料庫)

2013 - Google - MillWheel: Fault-Tolerant Stream Processing at Internet Scale.(MillWheel: 網際網路規模下的容錯流處理)

2013 - Facebook - Scuba: Diving into Data at Facebook. (Scuba: 深入Facebook的資料世界)

2013 - Facebook - Unicorn: A System for Searching the Social Graph. (Unicorn: 一種搜尋社交圖的系統)

2013 - Facebook - Scaling Memcache at Facebook. (Facebook 對 Memcache 伸縮性的增強)

2011 - 2012

2012 - Twitter - The Unified Logging Infrastructure for Data Analytics at Twitter. (Twitter資料分析的統一日志基礎結構)

2012 - AMPLab –Blink and It’s Done: Interactive Queries on Very Large Data. (Blink及其完成：超大規模資料的互動式查詢)

2012 - AMPLab –Fast and Interactive Analytics over Hadoop Data with Spark. (Spark上 Hadoop資料的快速互動式分析)

2012 - AMPLab –Shark: Fast Data Analysis Using Coarse-grained Distributed Memory. (Shark：使用粗粒度的分布式記憶體快速資料分析)

2012 - Microsoft –Paxos Replicated State Machines as the Basis of a High-Performance Data Store. (Paxos的複制狀态機——高性能資料存儲的基礎)

2012 - Microsoft –Paxos Made Parallel. (Paxos算法實作并行)

2012 - AMPLab – BlinkDB：BlinkDB: Queries with Bounded Errors and Bounded Response Times on Very Large Data.(超大規模資料中有限誤差與有界響應時間的查詢)

2012 - Google –Processing a trillion cells per mouse click.(每次點選處理一兆個單元格)

2012 - Google –Spanner: Google’s Globally-Distributed Database.(Spanner：谷歌的全球分布式資料庫)

2011 - AMPLab –Scarlett: Coping with Skewed Popularity Content in MapReduce Clusters.(Scarlett：應對MapReduce叢集中的偏向性内容)

2011 - AMPLab –Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center.(Mesos：資料中心中細粒度資源共享的平台)

2011 - Google –Megastore: Providing Scalable, Highly Available Storage for Interactive Services.(Megastore：為互動式服務提供可擴充，高度可用的存儲)

2001 - 2010

2010 - Facebook - Finding a needle in Haystack: Facebook’s photo storage.(探究Haystack中的細微之處： Facebook圖檔存儲)

2010 - AMPLab - Spark: Cluster Computing with Working Sets.(Spark:工作組上的叢集計算)

2010 - Google - Storage Architecture and Challenges.(存儲架構與挑戰)

2010 - Google - Pregel: A System for Large-Scale Graph Processing.(Pregel: 一種大型圖形處理系統)

2010 - Google - Large-scale Incremental Processing Using Distributed Transactions and Notifications base of Percolator and Caffeine.(使用基于Percolator 和 Caffeine平台分布式事務和通知的大規模增量處理)

2010 - Google - Dremel: Interactive Analysis of Web-Scale Datasets.(Dremel: Web規模資料集的互動分析)

2010 - Yahoo - S4: Distributed Stream Computing Platform.(S4:分布式流計算平台)

2009 - HadoopDB：An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads.(混合MapReduce和DBMS技術用于分析工作負載的的架構)

2008 - AMPLab - Chukwa: A large-scale monitoring system.(Chukwa: 大型監控系統)

2007 - Amazon - Dynamo: Amazon’s Highly Available Key-value Store.(Dynamo: 亞馬遜的高可用的關鍵價值存儲)

2006 - Google - The Chubby lock service for loosely-coupled distributed systems.(面向松散耦合的分布式系統的鎖服務)

2006 - Google - Bigtable: A Distributed Storage System for Structured Data.(Bigtable: 結構化資料的分布式存儲系統)

2004 - Google - MapReduce: Simplied Data Processing on Large Clusters.(MapReduce: 大型叢集上簡化資料處理)

2003 - Google - The Google File System.(谷歌檔案系統)

文章參考：https://blog.csdn.net/qq_44163077/java/article/details/87890160

作者的原創文章，轉載須注明出處。原創文章歸作者所有，歡迎轉載，但是保留版權。對于轉載了部落客的原創文章，不标注出處的，作者将依法追究版權，請尊重作者的成果。