天天看点

客户数据平台(CDP)通用架构和元数据管理

作者:SCRM笔记

CDP(客户数据平台)是一个数据平台,本质上是采集、处理和应用数据。

区别于数据仓库(Data Warehouse)以数据分析为主要目的,CDP以圈选客户细分人群为主要目的。

DW需要按照事实表、维度表建模,并遵循星形模型或雪花模型。便于按维度聚合指标(上钻或下钻)进行数据分析。

星形模型(Star Schema)

客户数据平台(CDP)通用架构和元数据管理

雪花模型(Snowflake Schema)

客户数据平台(CDP)通用架构和元数据管理

CDP为了将符合条件的客户快速筛选出来,引入了ID mapping服务,旨在识别不同渠道的客户身份,为一个客户创建唯一的ONEID,并将ONEID注入数据集,通过对数据集字段的筛选,获取符合条件的ONEID。

客户数据平台(CDP)通用架构和元数据管理

一、CDP通用架构

CDP通用的数据架构如下:

客户数据平台(CDP)通用架构和元数据管理

1、数据源

数据源是指CDP获取数据的源头。包括CRM、SCRM系统里的客户数据,互动渠道埋点采集的客户行为数据(事件)业务系统的业务数据,以及其他数据源。

(1)客户资料

来源于crm系统和scrm系统。客户资料是用户状态的记录,由各个业务系统定义,例如用户的基本信息(性别、年龄等)和业务场景信息(会员id、积分账户)。

应用场景:建立规则标签,分析用户的属性画像,如性别,城市,会员等级。

(2)客户事件

来源于客户行为的事件埋点,如:微信服务号、小程序、APP、线下中的用户实时或离线行为数据。

应用场景:1)建标签:根据行为频次构建标签,如根据过去7天优惠券兑换次数,分段构建折扣敏感度中高低的标签。2)圈人群:如筛选出在小程序多次加购但没有发生过购买的人群。

(3)业务数据

来源于业务系统如交易管理和服务流程管理系统。如客户订单明细数据。支持筛选字段筛选、聚合、条件判断(聚合方式支持总次数、求和、平均值、最大值、最小值)。

应用场景:可以用来筛选购买过某些具体类型的订单的人群作为特定的标签:如筛选出最近3个月购买过某商品种类的客户且订单金额超过2000的用户作为某商品偏好标签。

2、ETL/可视化建模

获取了对数据源的数据后,需要将其转换为CDP可以使用的格式,即CDP数据集。转换的方式有两种:开发ETL工具转换,或者提供可视化建模工具让用户自行配置生成数据集。

3、CDP数据集

CDP数据集可以有多个,每个数据集有一个主题,如客户档案、客户事件、订单明细等。

CDP数据集的特殊性在于,每个数据集必须包含有客户身份信息,如手机号码、客户ID、OPEN ID、Device ID等,通过ID Mapping服务,为每个客户生成唯一标识即ONE ID,并将ONE ID回写到CDP数据集。

CDP数据集是可以根据需要新增或停用,以支持不断变化的业务需求。以下是几个常用数据集的示例:

(1)客户资料

数据格式样例如下:

字段 数据类型 说明
one_id string 客户唯一标识
mobile string 客户身份
customer_id string 客户身份
gender string
age int
date_of_birth date

(2)客户事件

数据格式样例如下:

字段 数据类型 说明
event_id string
event string
event_time int
one_id string 客户唯一标识
open_id string 客户身份

(3)业务单据

比如订单明细,数据格式样例如下:

字段 数据类型 说明
order_id string
order_time datetime
one_id string 客户唯一标识
customer_id string 客户身份
product_id string
qty float

4、ID Mapping服务

ID Mapping服务维护了全量客户的身份信息(Identity)和客户唯一标识(ONE ID),通过客户身份信息将来自不同渠道的同一个客户进行合并,并注入CDP数据集。

5、数据应用

数据应用包括:基于ONE ID展示客户的360度视图,或进行客户细分,圈选特定人群用于营销自动化和广告投放等。

6、参考架构

(1)CDP架构参考:volcengine.com

客户数据平台(CDP)通用架构和元数据管理

(2)CDP架构参考:segment.com

客户数据平台(CDP)通用架构和元数据管理

二、CDP元数据管理

元数据(metadata)是管理数据的数据。

在CDP中,元数据对数据集的数据进行描述,提供给上层应用使用,从而在数据库层面的源数据和CDP上层应用之间建立联接。

CDP上层应用依赖元数据,而不直接依赖具体的数据集。

CDP数据集包括三类:客户资料、客户事件、业务数据,分别来源于不同的数据源。

1、客户资料

对客户属性进行描述。

元数据字段 说明 数据举例
属性名 映射数据集字段 gender
展示名 展示给上层应用 性别
描述 展示给上层应用
数据集 来源于 如客户
数据类型 查询语句判断 string
数据字典 查询时的候选值

0-男

1-女

2-未知

是否展示 上层应用是否可见

2、事件元数据

对客户事件和事件属性进行描述。

(1)事件:

元数据字段 说明 数据举例
事件名称 映射数据集字段 mp_page_view
展示名称 展示给上层应用 浏览页面
描述 展示给上层应用 如客户
数据集 来源于 如string
是否展示 上层应用是否可见
关联属性 每个事件可以有多个属性 [{code: pageTitle},{}]

(2)事件属性:

元数据字段 说明 数据举例
属性名称 映射数据集字段 pageTitle
展示名称 展示给上层应用 页面标题
数据类型 查询语句判断 string
数据字典 查询时的候选值 optionFrom: api
属性描述 展示给上层应用
是否展示 上层应用是否可见

3、业务数据源数据

元数据字段 说明 数据举例
属性名称 映射数据集字段 product_id
展示名称 展示给上层应用 商品
数据类型 查询语句判断 string
数据字典 查询时的候选值 [{id,value}]
数据集 数据来源于 订单
属性描述 展示给上层应用
是否展示 上层应用是否可见

关注公众号领取大礼包

SCRM笔记介绍CRM、SCRM知识,观察行业发展

继续阅读