天天看点

【分布式】常见分布式框架

分布式协调系统(日志复制系统):paxos算法及其变体的实现,典型的有zookeeper、etcd;

分布式文件系统:HDFS(hadoop)

分布式NoSQL:Redis、Hbase

消息队列:rabbitmq kafka,关注消息的at least once, at most once, only once。

分布式任务调度:azkaban

分布式计算框架:

基于有限数据集:基于mapreduce的hadoop,基于内存计算的spark

面向无限数据集的流计算:storm,Flink

继续阅读