spark与tez比较

概述

    spark号称比mr快100倍，而tez也号称比mr快100倍；二者性能都远程mr，为什么都能远超mr？使用场景有什么区别？两者各自的优势又是在哪里？本文主要探讨这些问题

为什么性能远超mr？

• spark与tez都是以dag方式处理数据

使用场景区别？

• spark更像是一个通用的计算引擎，提供内存计算，实时流处理，机器学习等多种计算方式，适合迭代计算
• tez作为一个框架工具，特定为hive和pig提供批量计算

• spark属于内存计算，支持多种运行模式，可以跑在standalone，yarn上；而tez只能跑在yarn上；虽然spark与yarn兼容，但是spark不适合和其他yarn应用跑在一起
• tez能够及时的释放资源，重用container，节省调度时间，对内存的资源要求率不高； 而spark如果存在迭代计算时，container一直占用资源；