ETL的简单理解

ETL(数据仓库技术) E(Extract抽取)T(Transform转换)L(load加载)

DW(数据仓库)

DSS(决策支持系统)

OLAP(在线分析处理)

DM(数据挖掘)

BI(商业智能)

ETL数据仓库技术

实时计算指标:

我们的实时项目之中需要分许哪些指标

流量分析(新增,pv(浏览量),uv(网站独立访客),事件分析(浏览,包括,点赞,评论,分享,关注))

活动分析(拉新活动,寻宝(曝光,点击,参与,优惠,),呼唤朋友(曝光,点击,生成二维码,扫码进入注册页),优惠券(曝光,领取,使用,优惠金额))

销售分析(下单,支付成功,支付失败,支付渠道,各种各样的维度)

测流输出(side outputs)

功能

1.拆分数据

2.获取迟到的数据

我们既要做离线的也要做实时的

当数据入洪水般涌来,我们需要用到kafka来将数据控制住,因为kafka就是为海量数而生的,

kfka支持高并发高吞吐,这这方面kafka比hdfs还要强!!!

1.我们先用flume将数据采集到kafka里面去做实时运算,

2.我们还想做离线的就继续用flume将kafka传入hdfs中,

公司面试描述 kafka:

(老版本)我们原来flume使用agent级联方式,解决了一些问题老保证数据安全高效,

(新版本)但是从flume1.7版本之后,我们采用了flume的kafkachannal直接把数据落到

kafka里边,不想flume向蜘蛛网一样在很多台机器上搞flume比较浪费资源,

实时的ETL处理离线数据落地到hdfs中