天天看点

基于DataFlux进行养猪场实时数据模拟生成和分析实践

一、 养猪场的数据分析需求

现代化养猪场具有如下特点:规模化、工业化、跨界养猪、周期较长、对安全重视、管理精细化、信息化程度较高。

注重各项经济指标,如:提高生猪综合成活率、降低饲料消耗与增重比(即料肉比)、节省饲料、节能降耗。

大型猪场具备较完整的信息化系统,具体如下图所示:

基于DataFlux进行养猪场实时数据模拟生成和分析实践

猪场数据分析需求如下:

1、 业务需求:

A. 老板:

 价格分析:各地猪肉价格,猪粮比=猪肉价格/饲料价格

 本月可出售量分析:超过一定重量的猪的数量

 资产分析:不同类别生猪价格*存栏生猪总重量总和

B. 场长

 存栏量分析:据此制定经营生产计划

C. 生产线主管:

 关心猪是否生病:猪体温超标预警,避免猪瘟等疾病爆发

 检验检疫记录分析

2、 技术需求:

A. 自动采集多个不同数据源的数据,包括:

 自动监控系统

 信息管理系统

 来自于互联网上的各种价格数据

B. 实时采集、实时分析、实时展示、实时告警

C. 能预测相关指标

D. 如有问题能通过各种方式进行提醒、预警

E. 数据分析相关系统投入不能太大

以下为主要分析需求示例:

1、 猪价分析

A. 全国或不同省份、不同生猪类型的猪价实时分析图

B. 全国或不同省份玉米价格的实时分析图

C. 全国或不同省份猪粮比实时分析图

猪粮比为重要经济指标,超过或低于特定门限需要预警,如下图所示:

基于DataFlux进行养猪场实时数据模拟生成和分析实践

2、 存栏量分析

A. 全国三个猪场存栏量实时展示

B. 超过或低于正常存栏量20%视为异常,进行预警

3、 猪体温分析(疫情分析)

根据资料,猪的体温有以下特点:

基于DataFlux进行养猪场实时数据模拟生成和分析实践

本案例中简单起见,分为三种生猪:

1、小猪:正常体温 39.3 度

2、母猪:正常体温 38.7 度

3、公猪:正常体温 38.4 度

生猪体温超过正常体温0.5度即视为不正常体温,进行预警。

4、 资产分析

各猪场存栏生猪总资产实时展示

总资产 V = ∑(Pi * ∑Wi)

i:        生猪类别,包括外三元、内三元、土杂猪
Pi:   不同类型生猪价格
∑Wi:为存栏不同种类的生猪体重之和           

5、 本月可出售量分析

生猪养殖超过6个月可以出栏销售。根据猪的出生日期,超过6个月为本月可出售数量、重量、总价格。对这些指标进行实时展示

6、 检验检疫分析

疫苗接种,每头猪接种一次(按以下顺序,前一种疫苗接种了才能接种后续疫苗):

 SF1 猪瘟疫苗

 FMD 口蹄疫疫苗

 SF2 猪瘟疫苗 AR1 萎鼻疫苗

 JE 乙脑疫苗(前序疫苗为AR1,不需要SF2)

 PPV 细小病毒疫苗

 AD 伪狂犬疫苗

二、 如何使用DataFlux进行养猪场数据分析

DataFlux是实时大数据分析平台。通过对任何来源、类型、规模的实时数据进行监控、分析和处理,释放数据价值,帮助企业从数据中洞察业务并有效预测,进而做出决策并采取行动,助力商业决策。

DataFlux的功能如下:

1、 多渠道数据采集和实时处理:支持云端数据采集、应用数据采集、日志数据采集、时序数据上报、常用数据库的数据汇聚;数据存储可无限扩展,实时处理和分析海量数据

2、 灵活构建面向不同业务场景的数据洞察:支持云产品性能监控、IT 设备监控、用户行为分析等数据洞察,并支持通过自定义 SQL 查询和检索实时数据,提供丰富的可视化监控视图

3、 简单易用的告警触发器和基线:支持自定义基线和触发动作,快速定位业务异常发生的时间范围,同时支持多个检测指标和触发条件的实时数据监测告警

4、 预测和数据交叉分析:对于任何来源的实时数据进行多维度交叉分析,基于智能算法进行预测,实现数据洞察和科学的业务决策

DataFlux功能全图如下:

基于DataFlux进行养猪场实时数据模拟生成和分析实践

猪场分析事实数据源可能来自于:

 自动监控系统数据

 管理信息系统数据

 来自互联网的价格数据

 手工录入数据

本案例中由DataMock模拟数据源生成数据,并实施上报数据到数据网关DataWay。最终在DataFlux中完成数据统一存储、处理、数据洞察,支持各应用场景的实现。如下图所示:

基于DataFlux进行养猪场实时数据模拟生成和分析实践

三、 基于DataMock模拟生成养猪场数据

通过 DataMock 数据模拟器,用户可以:

• 生成模拟数据上报到 DataFlux 中心

• 基于模拟数据可以快速构建和验证自身的数据洞察场景,即 DataKit 和 DataWay 是否正常工作。

DataMock数据模拟器的使用:

1、 下载安装

在DataFlux的主页的“集成”页面获得DataMock的下载地址(Windows、Linux、Mac版本),解压即可,获得两个文件:

 可执行文件 datamock

 配置文件 config.yaml

2、 配置

写配置文件config.yaml是非常重要的环节。配置文件主要包括两个部分:

 DataWay网关地址,可以是云端DataWay或本地Dataway。

 Measurement指标集配置

本案例中模拟的指标集有四个:

 价格指标集

 生猪库存指标集

 疫苗接种指标集

 体检指标集

具体如下:

基于DataFlux进行养猪场实时数据模拟生成和分析实践

具体配置如下:

基于DataFlux进行养猪场实时数据模拟生成和分析实践

3、 启动

赋予DataMock可执行权限后直接启动即可,生成样例数据如下:

基于DataFlux进行养猪场实时数据模拟生成和分析实践

四、 养猪场数据洞察

在 DataFlux 中,用户可以根据不同的视角构建不同的洞察「场景」,通过查看场景下的数据可视化图表分析,从而满足不同业务的场景需求和数据分析。

步骤如下:

1、 添加场景

2、 添加节点

3、 可视化的分析和检索

基于DataFlux进行养猪场实时数据模拟生成和分析实践
最终的洞察结果可以通过图表和数据集展现。
其中数据的计算有三种方式,按照从易到难排序:           

1、 UI直接处理数据

2、 使用SQL处理

3、 使用函数平台进行实时数据处理开发。

处理步骤:

1、 创建场景

基于DataFlux进行养猪场实时数据模拟生成和分析实践
基于DataFlux进行养猪场实时数据模拟生成和分析实践

3、 添加图表

 UI直接添加

 价格分析

基于DataFlux进行养猪场实时数据模拟生成和分析实践

 体温分析

基于DataFlux进行养猪场实时数据模拟生成和分析实践

 体检检疫流程分析

基于DataFlux进行养猪场实时数据模拟生成和分析实践
基于DataFlux进行养猪场实时数据模拟生成和分析实践

 时序数据库SQL语句计算

 猪粮比分析

基于DataFlux进行养猪场实时数据模拟生成和分析实践

 存栏量分析

基于DataFlux进行养猪场实时数据模拟生成和分析实践

 利用DataFlux.f(x),它是DataFlux 附带的基于Python 3的可编程数据处理组件,主要目的在于进一步拓展DataFlux在数据处理、展示方面的能力,在统一的平台上实现针对不同场景、行业、领域的专业化进阶功能。

 资产分析

基于DataFlux进行养猪场实时数据模拟生成和分析实践

 可出售量分析

基于DataFlux进行养猪场实时数据模拟生成和分析实践

并且可以配置自动触发设置,如下:

基于DataFlux进行养猪场实时数据模拟生成和分析实践

4、 告警触发设置

基于DataFlux进行养猪场实时数据模拟生成和分析实践

 “体温超标“触发规则设置步骤

基于DataFlux进行养猪场实时数据模拟生成和分析实践

采用钉钉告警:

基于DataFlux进行养猪场实时数据模拟生成和分析实践

 “猪粮比超限”触发规则设置步骤

基于DataFlux进行养猪场实时数据模拟生成和分析实践
基于DataFlux进行养猪场实时数据模拟生成和分析实践

五、 总结

本文首先介绍了DataMock生成养猪场模拟数据,然后基于DataFlux进行养猪场数据实时分析。初步熟悉了这两个产品的情况下,1天即可完成全流程的模拟和分析,DataFlux具有门槛低、速度快、实时性强、功能全面的特点。