为了帮助大家更好深入了解大数据，云栖社区组织翻译了github awesome big data资源，供大家参考。本资源类型主要包括：大数据框架、论文等实用资源集合。\
资源列表：
关系数据库管理系统(rdbms)
mysql：世界最流行的开源数据库;
postgresql：世界最先进的开源数据库;
oracle 数据库：对象-关系型数据库管理系统。
框架
apache hadoop：分布式处理架构，结合了 mapreduce(并行处理)、yarn(作业调度)和hdfs(分布式文件系统);
tigon：高吞吐量实时流处理框架。
分布式编程
addthis hydra ：最初在addthis上开发的分布式数据处理和存储系统;
amplab simr：用在hadoop mapreduce v1上运行spark;
apache beam：为统一的模型以及一套用于定义和执行数据处理工作流的特定sdk语言;
apache crunch：一个简单的java api，用于执行在普通的mapreduce实现时比较单调的连接、数据聚合等任务;
apache datafu：由linkedin开发的针对hadoop and 和pig的用户定义的函数集合;
apache flink：具有高性能的执行时间和自动程序优化;
apache gora：内存中的数据模型和持久性框架;
apache hama：bsp(整体同步并行)计算框架;
apache mapreduce ：在集群上使用并行、分布式算法处理大数据集的编程模型;
apache pig ：hadoop中，用于处理数据分析程序的高级查询语言;
apache reef ：用来简化和统一低层大数据系统的保留性评估执行框架;
apache s4 ：s4中流处理与实现的框架;
apache spark ：内存集群计算框架;
apache spark streaming ：流处理框架，同时是spark的一部分;
apache storm ：twitter流处理框架，也可用于yarn;
apache samza ：基于kafka和yarn的流处理框架;
apache tez ：基于yarn，用于执行任务中的复杂dag(有向无环图);
apache twill ：基于yarn的抽象概念，用于减少开发分布式应用程序的复杂度;
cascalog：数据处理和查询库;
cheetah ：在mapreduce之上的高性能、自定义数据仓库;
concurrent cascading ：在hadoop上的数据管理/分析框架;
damballa parkour ：用于clojure的mapreduce库;
datasalt pangool ：可选择的mapreduce范例;
datatorrent stram ：为实时引擎，用于以尽可能畅通的方式、最小的开支和对性能最小的影响，实现分布式、异步、实时的内存大数据计算;
facebook corona ：为hadoop做优化处理，从而消除单点故障;
facebook peregrine ：mapreduce框架;
facebook scuba ：分布式内存数据存储;
google dataflow ：创建数据管道，以帮助其分析框架;
netflix pigpen ：为mapreduce，用于编译成apache pig;
nokia disco ：由nokia开发的mapreduc获取、转换和分析数据;
google mapreduce ：mapreduce框架;
google millwheel ：容错流处理框架;
jaql ：用于处理结构化、半结构化和非结构化数据工作的声明性编程语言;
kite ：为一组库、工具、实例和文档集，用于使在hadoop的生态系统上建立系统更加容易;
metamarkets druid ：用于大数据集的实时e框架;
onyx ：分布式云计算;
pinterest pinlater ：异步任务执行系统;
pydoop ：用于hadoop的python mapreduce和hdfs api;
rackerlabs blueflood ：多租户分布式测度处理系统;
stratosphere ：通用集群计算框架;
streamdrill ：用于计算基于不同时间窗口的事件流的活动，并找到最活跃的一个;
tuktu ：易于使用的用于分批处理和流计算的平台，通过scala、 akka和play所建;
twitter scalding：基于cascading，用于map reduce工作的scala库;
twitter summingbird ：在twitter上使用scalding和storm串流mapreduce;
twitter tsar ：twitter上的时间序列聚合器。
分布式文件系统
apache hdfs：在多台机器上存储大型文件的方式;
beegfs：以前是fhgfs，并行分布式文件系统;
ceph filesystem：设计的软件存储平台;
disco ddfs：分布式文件系统;
facebook haystack：对象存储系统;
google colossus：分布式文件系统(gfs2);
google gfs：分布式文件系统;
google megastore：可扩展的、高度可用的存储;
gridgain：兼容ggfs、hadoop内存的文件系统;
lustre file system：高性能分布式文件系统;
quantcast file system qfs：开源分布式文件系统;
red hat glusterfs：向外扩展的附网存储(network-attached storage)文件系统;
seaweed-fs：简单的、高度可扩展的分布式文件系统;
alluxio：以可靠的存储速率在跨集群框架上文件共享;
tahoe-lafs：分布式云存储系统;
文件数据模型
actian versant：商用的面向对象数据库管理系统;
crate data：是一个开源的大规模可扩展的数据存储，需要零管理模式;
facebook apollo：facebook的paxos算法，类似于nosql数据库;
jumbodb：基于hadoop的面向文档的数据存储;
linkedin espresso：可横向扩展的面向文档的nosql数据存储;
marklogic：模式不可知的企业版nosql数据库技术;
mongodb：面向文档的数据库系统;
ravendb：一个事务性的，开源文档数据库;
rethinkdb：支持连接查询和群组依据等查询的文档型数据库。
key map 数据模型
注意：业内存在一些术语混乱，有两个不同的东西都叫做“列式数据库”。这里列出的有一些是围绕“key-map”数据模型而建的分布式、持续型数据库，其中所有的数据都有(可能综合了)键，并与映射中的键-值对相关联。在一些系统中，多个这样的值映射可以与键相关联，并且这些映射被称为“列族”(具有映射值的键被称为“列”)。
另一组也可称为“列式数据库”的技术因其存储数据的方式而有别于前一组，它在磁盘上或在存储器中——而不是以传统方式，即所有既定键的键值都相邻着、逐行存储。这些系统也彼此相邻来存储所有列值，但是要得到给定列的所有值却不需要以前那么繁复的工作。
前一组在这里被称为“key map数据模型”，这两者和key-value 数据模型之间的界限是相当模糊的。后者对数据模型有更多的存储格式，可在列式数据库中列出。若想了解更多关于这两种模型的区分，可阅读daniel abadi的博客：distinguishing two major types of column stores。
apache accumulo：内置在hadoop上的分布式键/值存储;
apache cassandra：由bigtable授权，面向列的分布式数据存储;
apache hbase：由bigtable授权，面向列的分布式数据存储;
facebook hydrabase：facebook所开发的hbase的衍化品;
google bigtable：面向列的分布式数据存储;
google cloud datastore：为完全管理型的无模式数据库，用于存储在bigtable上非关系型数据;
hypertable：由bigtable授权，面向列的分布式数据存储;
infinidb：通过mysql的接口访问，并使用大规模并行处理进行并行查询;
tephra：用于hbase处理;
twitter manhattan：twitter的实时、多租户分布式数据库。
键-值数据模型
aerospike：支持nosql的闪存优化，数据存储在内存。开源，“'c'(不是java或erlang)中的服务器代码可精确地调整从而避免上下文切换和内存拷贝”。
amazon dynamodb：分布式键/值存储，dynamo论文的实现;
edis：为替代redis的协议兼容的服务器;
elephantdb：专门研究hadoop中数据导出的分布式数据库;
eventstore：分布式时间序列数据库;
griddb：适用于存储在时间序列中的传感器数据;
linkedin krati：简单的持久性数据存储，拥有低延迟和高吞吐量;
linkedin voldemort：分布式键/值存储系统;
oracle nosql database：oracle公司开发的分布式键值数据库;
redis：内存中的键值数据存储;
riak：分散式数据存储;
storehaus：twitter开发的异步键值存储的库;
tarantool：一个高效的nosql数据库和lua应用服务器;
tikv：由google spanner和hbase授权，rust提供技术支持的分布式键值数据库;
treodedb：可复制、共享的键-值存储，能提供多行原子写入。
图形数据模型
apache giraph：基于hadoop的pregel实现;
apache spark bagel：可实现pregel，为spark的一部分;
arangodb：多层模型分布式数据库;
dgraph：一个可扩展的、分布式、低时延、高吞吐量的图形数据库，旨在为google生产水平规模和吞吐量提供足够的低延迟，用于tb级的结构化数据的实时用户查询;
facebook tao：tao是facebook广泛用来存储和服务于社交图形的分布式数据存储;
gchq gaffer：gchq中的gaffer是一个易于存储大规模图形的框架，其中节点和边缘都有统计数据;
google cayley：开源图形数据库;
google pregel ：图形处理框架;
graphlab powergraph：核心c ++ graphlab api和建立在graphlab api之上的高性能机器学习和数据挖掘工具包的集合;
graphx：spark中的弹性分布式图形系统;
gremlin：图形追踪语言;
infovore：以rdf为中心的map / reduce框架;
intel graphbuilder：在hadoop上构建大规模图形的工具;
mapgraph：用于在gpu上大规模并行图形处理;
neo4j：完全用java写入的图形数据库;
orientdb：文档和图形数据库;
phoebus：大型图形处理框架;
titan：建于cassandra的分布式图形数据库;
twitter flockdb：分布式图形数据库。
newsql数据库
actian ingres：由商业支持，开源的sql关系数据库管理系统;
amazon redshift：基于postgresql的数据仓库服务;
bayesdb：面向统计数值的sql数据库;
citusdb：通过分区和复制横向扩展postgresql;
cockroach：可扩展、地址可复制、交易型的数据库;
datomic：旨在产生可扩展、灵活的智能应用的分布式数据库;
foundationdb：由f1授意的分布式数据库;
google f1：建立在spanner上的分布式sql数据库;
google spanner：全球性的分布式半关系型数据库;
h-store：是一个实验性主存并行数据库管理系统，用于联机事务处理(oltp)应用的优化;
haeinsa：基于percolator，hbase的线性可扩展多行多表交易库;
handlersocket：mysql/mariadb的nosql插件;
infinisql：无限可扩展的rdbms;
memsql：内存中的sql数据库，其中有优化的闪存列存储;
nuodb：sql / acid兼容的分布式数据库;
oracle timesten in-memory database：内存中具有持久性和可恢复性的关系型数据库管理系统;
pivotal gemfire xd：内存中低延时的分布式sql数据存储，可为内存列表数据提供sql接口，在hdfs中较持久化;
sap hana：是在内存中面向列的关系型数据库管理系统;
senseidb：分布式实时半结构化的数据库;
sky：用于行为数据的灵活、高性能分析的数据库;
symmetricds：用于文件和数据库同步的开源软件;
map-d：为gpu内存数据库，也为大数据分析和可视化平台;
tidb：tidb是分布式sql数据库，基于谷歌f1的设计灵感;
voltdb：自称为最快的内存数据库。
列式数据库
注意：请在键-值数据模型 阅读相关注释。
columnar storage：解释什么是列存储以及何时会需要用到它;
actian vector：面向列的分析型数据库;
c-store：面向列的dbms;
monetdb：列存储数据库;
parquet：hadoop的列存储格式;
pivotal greenplum：专门设计的、专用的分析数据仓库，类似于传统的基于行的工具，提供了一个列式工具;
vertica：用来管理大规模、快速增长的大量数据，当用于数据仓库时，能够提供非常快的查询性能;
google bigquery ：谷歌的云产品，由其在dremel的创始工作提供支持;
amazon redshift ：亚马逊的云产品，它也是基于柱状数据存储后端。
时间序列数据库
cube：使用mongodb来存储时间序列数据;
axibase time series database：在hbase之上的分布式时间序列数据库，它包括内置的rule engine、数据预测和可视化;
heroic：基于cassandra和elasticsearch的可扩展的时间序列数据库;
influxdb：分布式时间序列数据库;
kairosdb：类似于opentsdb但会考虑到cassandra;
opentsdb：在hbase上的分布式时间序列数据库;
prometheus：一种时间序列数据库和服务监测系统;
newts：一种基于apache cassandra的时间序列数据库。
类sql处理
actian sql for hadoop：高性能交互式的sql，可访问所有的hadoop数据;
apache drill：由dremel授意的交互式分析框架;
apache hcatalog：hadoop的表格和存储管理层;
apache hive：hadoop的类sql数据仓库系统;
apache optiq：一种框架，可允许高效的查询翻译，其中包括异构性及联合性数据的查询;
apache phoenix：apache phoenix 是 hbase 的 sql 驱动;
cloudera impala：由dremel授意的交互式分析框架;
concurrent lingual：cascading中的类sql查询语言;
datasalt splout sql：用于大数据集的完整的sql查询工具;
facebook prestodb：分布式sql查询工具;
google bigquery：交互式分析框架，dremel的实现;
pivotal hawq：hadoop的类sql的数据仓库系统;
rainstordb：用于存储大规模pb级结构化和半结构化数据的数据库;
spark catalyst：用于spark和shark的查询优化框架;
sparksql：使用spark操作结构化数据;
splice machine：一个全功能的hadoop上的sql rdbms，并带有acid事务;
stinger：用于hive的交互式查询;
tajo：hadoop的分布式数据仓库系统;
trafodion：为企业级的sql-on-hbase针对大数据的事务或业务工作负载的解决方案。
数据摄取
amazon kinesis：大规模数据流的实时处理;
apache chukwa：数据采集系统;
apache flume：管理大量日志数据的服务;
apache kafka：分布式发布-订阅消息系统;
apache sqoop：在hadoop和结构化的数据存储区之间传送数据的工具;
cloudera morphlines：帮助 solr、hbase和hdfs完成etl的框架;
facebook scribe：流日志数据聚合器;
fluentd：采集事件和日志的工具;
google photon：实时连接多个数据流的分布式计算机系统，具有高可扩展性和低延迟性;
heka：开源流处理软件系统;
hiho：用hadoop连接不同数据源的框架;
kestrel：分布式消息队列系统;
linkedin databus：对数据库更改捕获的事件流;
linkedin kamikaze：压缩已分类整型数组的程序包;
linkedin white elephant：日志聚合器和仪表板;
logstash：用于管理事件和日志的工具;
netflix suro：像基于chukwa 的storm和samza一样的日志聚合器;
pinterest secor：是实现kafka日志持久性的服务;
linkedin gobblin：linkedin的通用数据摄取框架;
skizze：是一种数据存储略图，使用概率性数据结构来处理计数、略图等相关的问题;
streamsets data collector：连续大数据采集的基础设施，可简单地使用ide。
服务编程
akka toolkit：jvm中分布性、容错事件驱动应用程序的运行时间;
apache avro：数据序列化系统;
apache curator：apache zookeeper的java库;
apache karaf：在任何osgi框架之上运行的osgi运行时间;
apache thrift：构建二进制协议的框架;
apache zookeeper：流程管理集中式服务;
google chubby：一种松耦合分布式系统锁服务;
linkedin norbert：集群管理器;
openmpi：消息传递框架;
serf：服务发现和协调的分散化解决方案;
spotify luigi：一种构建批处理作业的复杂管道的python包，它能够处理依赖性解析、工作流管理、可视化、故障处理、命令行一体化等等问题;
spring xd：数据摄取、实时分析、批量处理和数据导出的分布式、可扩展系统;
twitter elephant bird：lzo压缩数据的工作库;
twitter finagle：jvm的异步网络堆栈。
调度
apache aurora：在apache mesos之上运行的服务调度程序;
apache falcon：数据管理框架;
apache oozie：工作流作业调度程序;
chronos：分布式容错调度;
linkedin azkaban：批处理工作流作业调度;
schedoscope：hadoop作业敏捷调度的scala dsl;
sparrow：调度平台;
airflow：一个以编程方式编写、调度和监控工作流的平台。
机器学习
apache mahout：hadoop的机器学习库;
brain：javascript中的神经网络;
cloudera oryx：实时大规模机器学习;
concurrent pattern：cascading的机器学习库;
convnetjs：javascript中的机器学习，在浏览器中训练卷积神经网络(或普通网络);
decider：ruby中灵活、可扩展的机器学习;
encog：支持多种先进算法的机器学习框架，同时支持类的标准化和处理数据;
etcml：机器学习文本分类;
etsy conjecture：scalding中可扩展的机器学习;
google sibyl：google中的大规模机器学习系统;
graphlab create：python的机器学习平台，包括ml工具包、数据工程和部署工具的广泛集合;
h2o：hadoop统计性的机器学习和数学运行时间;
mlbase：用于bdas堆栈的分布式机器学习库;
mlpneuralnet：针对ios和mac os x的快速多层感知神经网络库;
monkeylearn：使文本挖掘更为容易，从文本中提取分类数据;
nupic：智能计算的numenta平台，它是一个启发大脑的机器智力平台，基于皮质学习算法的精准的生物神经网络;
predictionio：建于hadoop、mahout和cascading上的机器学习服务器;
samoa：分布式流媒体机器学习框架;
scikit-learn：scikit-learn为python中的机器学习;
spark mllib：spark中一些常用的机器学习(ml)功能的实现;
vowpal wabbit：微软和雅虎发起的学习系统;
weka：机器学习软件套件;
bidmach：cpu和加速gpu的机器学习库。
基准测试
apache hadoop benchmarking：测试hadoop性能的微基准;
berkeley swim benchmark：现实大数据工作负载基准测试;
intel hibench：hadoop基准测试套件;
puma benchmarking：mapreduce应用的基准测试套件;
yahoo gridmix3：雅虎工程师团队的hadoop集群基准测试。
安全性
apache knox gateway：hadoop集群安全访问的单点;
apache sentry：存储在hadoop的数据安全模块。
系统部署
apache ambari：hadoop管理的运作框架;
apache bigtop：hadoop生态系统的部署框架;
apache helix：集群管理框架;
apache mesos：集群管理器;
apache slider：一种yarn应用，用来部署yarn中现有的分布式应用程序;
apache whirr：运行云服务的库集;
apache yarn：集群管理器;
brooklyn：用于简化应用程序部署和管理的库;
buildoop：基于groovy语言，和apache bigtop类似;
cloudera hue：和hadoop进行交互的web应用程序;
facebook prism：多数据中心复制系统;
google borg：作业调度和监控系统;
google omega：作业调度和监控系统;
hortonworks hoya：可在yarn上部署hbase集群的应用;
marathon：用于长期运行服务的mesos框架。
应用程序
adobe spindle：使用scala、spark和parquet处理的下一代web分析;
apache kiji：基于hbase，实时采集和分析数据的框架;
apache nutch：开源网络爬虫;
apache oodt：用于nasa科学档案中数据的捕获、处理和共享;
apache tika：内容分析工具包;
argus：时间序列监测和报警平台;
countly：基于node.js和mongodb，开源的手机和网络分析平台;
domino：运行、规划、共享和部署模型——没有任何基础设施;
eclipse birt：基于eclipse的报告系统;
eventhub：开源的事件分析平台;
hermes：建于kafka上的异步消息代理;
hipi library：在hadoop's mapreduce上执行图像处理任务的api;
hunk：hadoop的splunk分析;
imhotep：大规模分析平台;
madlib：rdbms的用于数据分析的数据处理库;
kylin：来自ebay的开源分布式分析工具;
pivotalr：pivotal hd / hawq和postgresql中的r;
qubole：为自动缩放hadoop集群，内置的数据连接器;
sense：用于数据科学和大数据分析的云平台;
snappydata：用于实时运营分析的分布式内存数据存储，提供建立在spark单一集成集群中的数据流分析、oltp(联机事务处理)和olap(联机分析处理);
snowplow：企业级网络和事件分析，由hadoop、kinesis、redshift 和postgres提供技术支持;
sparkr：spark的r前端;
splunk：用于机器生成的数据的分析;
sumo logic：基于云的分析仪，用于分析机器生成的数据;
talend：用于yarn、hadoop、hbase、hive、hcatalog和pig的统一开源环境;
warp：利用大数据(os x app)的实例查询工具。
搜索引擎与框架
apache lucene：搜索引擎库;
apache solr：用于apache lucene的搜索平台;
elasticsearch：基于apache lucene的搜索和分析引擎;
enigma.io：为免费增值的健壮性web应用，用于探索、筛选、分析、搜索和导出来自网络的大规模数据集;
facebook unicorn：社交图形搜索平台;
google caffeine：连续索引系统;
google percolator：连续索引系统;
teragoogle：大型搜索索引;
hbase coprocessor：为percolator的实现，hbase的一部分;
lily hbase indexer：快速、轻松地搜索存储在hbase的任何内容;
linkedin bobo：完全由java编写的分面搜索的实现，为apache lucene的延伸;
linkedin cleo：为一个一个灵活的软件库，使得局部、无序、实时预输入的搜索实现了快速发展;
linkedin galene：linkedin搜索架构;
linkedin zoie：是用java编写的实时搜索/索引系统;
sphinx search server：全文搜索引擎
mysql的分支和演化
amazon rds：亚马逊云的mysql数据库;
drizzle：mysql的6.0的演化;
google cloud sql：谷歌云的mysql数据库;
mariadb：mysql的增强版嵌入式替代品;
mysql cluster：使用ndb集群存储引擎的mysql实现;
percona server：mysql的增强版嵌入式替代品;
proxysql：mysql的高性能代理;
tokudb：用于mysql和 mariadb的存储引擎;
webscalesql：运行mysql时面临类似挑战的几家公司，它们的工程师之间的合作。
postgresql的分支和演化
yahoo everest - multi-peta-byte database / mpp derived by postgresql.
hadoopdb：mapreduce和dbms的混合体;
ibm netezza：高性能数据仓库设备;
postgres-xl：基于postgresql，可扩展的开源数据库集群;
recdb：完全建立在postgresql内部的开源推荐引擎;
stado：开源mpp数据库系统，只针对数据仓库和数据集市的应用程序;
yahoo everest：postgresql可以推导多字节p比特数据库/mpp。
memcached的分支和演化
facebook mcdipper：闪存的键/值缓存;
facebook memcached：memcache的分支;
twemproxy：memcached和redis的快速、轻型代理;
twitter fatcache：闪存的键/值缓存;
twitter twemcache：memcache的分支。
嵌入式数据库
actian psql：pervasive software公司开发的acid兼容的dbms，在应用程序中嵌入了优化;
berkeleydb：为键/值数据提供一个高性能的嵌入式数据库的一个软件库;
hanoidb：erlang lsm btree存储;
leveldb：谷歌写的一个快速键-值存储库，它提供了从字符串键到字符串值的有序映射;
lmdb：symas开发的超快、超紧凑的键-值嵌入的式数据存储;
rocksdb：基于性leveldb，用于快速存储的嵌入式持续性键-值存储。
商业智能
bime analytics：商业智能云平台;
chartio：精益业务智能平台，用于可视化和探索数据;
datapine：基于云的自助服务商业智能工具;
jaspersoft：功能强大的商业智能套件;
jedox palo：定制的商业智能平台;
microsoft：商业智能软件和平台;
microstrategy：商业智能、移动智能和网络应用软件平台;
pentaho：商业智能平台;
qlik：商业智能和分析平台;
saiku：开源的分析平台;
spagobi：开源商业智能平台;
tableau：商业智能平台;
zoomdata：大数据分析;
jethrodata：交互式大数据分析。
数据可视化
airpal：用于prestodb的网页ui;
arbor：利用网络工作者和jquery的图形可视化库;
banana：对存储在kibana中solr. port的日志和时戳数据进行可视化;
bokeh：一个功能强大的python交互式可视化库，它针对要展示的现代web浏览器，旨在为d3.js风格的新奇的图形提供优雅简洁的设计，同时在大规模数据或流数据集中，通过高性能交互性来表达这种能力;
c3：基于d3可重复使用的图表库;
cartodb：开源或免费增值的虚拟主机，用于带有强大的前端编辑功能和api的地理空间数据库;
chartd：只带img标签的反应灵敏、兼容retina的图表;
chart.js：开源的html5图表可视化效果;
chartist.js：另一个开源html5图表可视化效果;
crossfilter：javascript库，用于在浏览器中探索多元大数据集，用dc.js和d3.js.效果很好;
cubism：用于时间序列可视化的javascript库;
cytoscape：用于可视化复杂网络的javascript库;
dc.js：维度图表，和crossfilter一起使用，通过d3.js呈现出来，它比较擅长连接图表/附加的元数据，从而徘徊在d3的事件附近;
d3：操作文件的javascript库;
d3.compose：从可重复使用的图表和组件构成复杂的、数据驱动的可视化;
d3plus：一组相当强大的可重用的图表，还有d3.js的样式;
echarts：百度企业场景图表;
envisionjs：动态html5可视化;
fnordmetric：写sql查询，返回svg图表，而不是表;
freeboard：针对iot和其他web混搭的开源实时仪表盘构建;
gephi：屡获殊荣的开源平台，可视化和操纵大型图形和网络连接，有点像photoshop，但是针对于图表，适用于windows和mac os x;
google charts：简单的图表api;
grafana：石墨仪表板前端、编辑器和图形组合器;
graphite：可扩展的实时图表;
highcharts：简单而灵活的图表api;
ipython：为交互式计算提供丰富的架构;
kibana：可视化日志和时间标记数据;
matplotlib：python绘图;
metricsgraphic.js：建立在d3之上的库，针对时间序列数据进行最优化;
nvd3：d3.js的图表组件;
peity：渐进式svg条形图，折线和饼图;
plot.ly：易于使用的web服务，它允许快速创建从热图到直方图等复杂的图表，使用图表plotly的在线电子表格上传数据进行创建和设计;
plotly.js：支持plotly的开源javascript图形库;
recline：简单但功能强大的库，纯粹利用javascript和html构建数据应用;
redash：查询和可视化数据的开源平台;
shiny：针对r的web应用程序框架;
sigma.js：javascript库，专门用于图形绘制;
vega：一个可视化语法;
zeppelin：一个笔记本式的协作数据分析;
zing charts：用于大数据的javascript图表库。
物联网和传感器
tempoiq：基于云的传感器分析;
2lemetry：物联网平台;
pubnub：数据流网络;
thingworx：thingworx 是让企业快速创建和运行互联应用程序平台;
ifttt：ifttt 是一个被称为 “网络自动化神器” 的创新型互联网服务，它的全称是 if this then that，意思是“如果这样，那么就那样”;
evrythng：evrythng则是一款真正意义上的大众物联网平台，使得身边的很多产品变得智能化。
文章推荐
nosql comparison(nosql 比较)- cassandra vs mongodb vs couchdb vs redis vs riak vs hbase vs couchbase vs neo4j vs hypertable vs elasticsearch vs accumulo vs voltdb vs scalaris comparison;
big data benchmark(大数据基准)- redshift, hive, shark, impala and stiger/tez的基准;
the big data successor of the spreadsheet(电子表格的大数据继承者) - 电子表格的继承者应该是大数据。
论文
2015 - 2016
2015 - facebook - one trillion edges: graph processing at facebook-scale.(一兆边：facebook规模的图像处理)
2013 - 2014
2014 - stanford - mining of massive datasets.(海量数据集挖掘)
2013 - amplab - presto: distributed machine learning and graph processing with sparse matrices. (presto： 稀疏矩阵的分布式机器学习和图像处理)
2013 - amplab - mlbase: a distributed machine-learning system. (mlbase：分布式机器学习系统)
2013 - amplab - shark: sql and rich analytics at scale. (shark: 大规模的sql 和丰富的分析)
2013 - amplab - graphx: a resilient distributed graph system on spark. (graphx:基于spark的弹性分布式图计算系统)
2013 - google - hyperloglog in practice: algorithmic engineering of a state of the art cardinality estimation algorithm. (hyperloglog实践:一个艺术形态的基数估算算法)
2013 - microsoft - scalable progressive analytics on big data in the cloud.(云端大数据的可扩展性渐进分析)
2013 - metamarkets - druid: a real-time analytical data store. (druid：实时分析数据存储)
2013 - google - online, asynchronous schema change in f1.(f1中在线、异步模式的转变)
2013 - google - f1: a distributed sql database that scales. (f1: 分布式sql数据库)
2013 - google - millwheel: fault-tolerant stream processing at internet scale.(millwheel: 互联网规模下的容错流处理)
2013 - facebook - scuba: diving into data at facebook. (scuba: 深入facebook的数据世界)
2013 - facebook - unicorn: a system for searching the social graph. (unicorn: 一种搜索社交图的系统)
2013 - facebook - scaling memcache at facebook. (facebook 对 memcache 伸缩性的增强)
2011 - 2012
2012 - twitter - the unified logging infrastructure for data analytics at twitter. (twitter数据分析的统一日志基础结构)
2012 - amplab –blink and it’s done: interactive queries on very large data. (blink及其完成：超大规模数据的交互式查询)
2012 - amplab –fast and interactive analytics over hadoop data with spark. (spark上 hadoop数据的快速交互式分析)
2012 - amplab –shark: fast data analysis using coarse-grained distributed memory. (shark：使用粗粒度的分布式内存快速数据分析)
2012 - microsoft –paxos replicated state machines as the basis of a high-performance data store. (paxos的复制状态机——高性能数据存储的基础)
2012 - microsoft –paxos made parallel. (paxos算法实现并行)
2012 - amplab – blinkdb：blinkdb: queries with bounded errors and bounded response times on very large data.(超大规模数据中有限误差与有界响应时间的查询)
2012 - google –processing a trillion cells per mouse click.(每次点击处理一兆个单元格)
2012 - google –spanner: google’s globally-distributed database.(spanner：谷歌的全球分布式数据库)
2011 - amplab –scarlett: coping with skewed popularity content in mapreduce clusters.(scarlett：应对mapreduce集群中的偏向性内容)
2011 - amplab –mesos: a platform for fine-grained resource sharing in the data center.(mesos：数据中心中细粒度资源共享的平台)
2011 - google –megastore: providing scalable, highly available storage for interactive services.(megastore：为交互式服务提供可扩展，高度可用的存储)
2001 - 2010
2010 - facebook - finding a needle in haystack: facebook’s photo storage.(探究haystack中的细微之处： facebook图片存储)
2010 - amplab - spark: cluster computing with working sets.(spark:工作组上的集群计算)
2010 - google - storage architecture and challenges.(存储架构与挑战)
2010 - google - pregel: a system for large-scale graph processing.(pregel: 一种大型图形处理系统)
2010 - google - large-scale incremental processing using distributed transactions and notifications base of percolator and caffeine.(使用基于percolator 和 caffeine平台分布式事务和通知的大规模增量处理)
2010 - google - dremel: interactive analysis of web-scale datasets.(dremel: web规模数据集的交互分析)
2010 - yahoo - s4: distributed stream computing platform.(s4:分布式流计算平台)
2009 - hadoopdb：an architectural hybrid of mapreduce and dbms technologies for analytical workloads.(混合mapreduce和dbms技术用于分析工作负载的的架构)
2008 - amplab - chukwa: a large-scale monitoring system.(chukwa: 大型监控系统)
2007 - amazon - dynamo: amazon’s highly available key-value store.(dynamo: 亚马逊的高可用的关键价值存储)
2006 - google - the chubby lock service for loosely-coupled distributed systems.(面向松散耦合的分布式系统的锁服务)
2006 - google - bigtable: a distributed storage system for structured data.(bigtable: 结构化数据的分布式存储系统)
2004 - google - mapreduce: simplied data processing on large clusters.(mapreduce: 大型集群上简化数据处理)
2003 - google - the google file system.(谷歌文件系统)
https://github.com/mayunlei/awesome-bigdata
![【MySQL数据库】数据库索引事务1.索引2.事务[图]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)