公司的业务可以分为两类:一类是 OLTP型 的业务,一类是 OLAP型 的业务。
当今的大数据架构师需要掌握大数据采集、ETL、计算、存储、建模、智能分析等多项技术能力,其中最核心的就是以 Flink 为首的大数据计算引擎。
计算引擎是整个大数据生态非常重要的一环,根据业务需求不同,大数据计算又分为离线批量计算和在线实时计算。比如基于 MapReduce 的海量计算属于离线计算范畴;基于 Doris 或 ClickHouse 的计算属于实时在线计算范畴。
Flink就是一款既支持离线批量计算又支持实时在线计算引擎。