天天看點

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

一、 養豬場的資料分析需求

現代化養豬場具有如下特點:規模化、工業化、跨界養豬、周期較長、對安全重視、管理精細化、資訊化程度較高。

注重各項經濟名額,如:提高生豬綜合成活率、降低飼料消耗與增重比(即料肉比)、節省飼料、節能降耗。

大型豬場具備較完整的資訊化系統,具體如下圖所示:

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

豬場資料分析需求如下:

1、 業務需求:

A. 老闆:

 價格分析:各地豬肉價格,豬糧比=豬肉價格/飼料價格

 本月可出售量分析:超過一定重量的豬的數量

 資産分析:不同類别生豬價格*存欄生豬總重量總和

B. 場長

 存欄量分析:據此制定經營生産計劃

C. 生産線主管:

 關心豬是否生病:豬體溫超标預警,避免豬瘟等疾病爆發

 檢驗檢疫記錄分析

2、 技術需求:

A. 自動采集多個不同資料源的資料,包括:

 自動監控系統

 資訊管理系統

 來自于網際網路上的各種價格資料

B. 實時采集、實時分析、實時展示、實時告警

C. 能預測相關名額

D. 如有問題能通過各種方式進行提醒、預警

E. 資料分析相關系統投入不能太大

以下為主要分析需求示例:

1、 豬價分析

A. 全國或不同省份、不同生豬類型的豬價實時分析圖

B. 全國或不同省份玉米價格的實時分析圖

C. 全國或不同省份豬糧比實時分析圖

豬糧比為重要經濟名額,超過或低于特定門限需要預警,如下圖所示:

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

2、 存欄量分析

A. 全國三個豬場存欄量實時展示

B. 超過或低于正常存欄量20%視為異常,進行預警

3、 豬體溫分析(疫情分析)

根據資料,豬的體溫有以下特點:

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

本案例中簡單起見,分為三種生豬:

1、小豬:正常體溫 39.3 度

2、母豬:正常體溫 38.7 度

3、公豬:正常體溫 38.4 度

生豬體溫超過正常體溫0.5度即視為不正常體溫,進行預警。

4、 資産分析

各豬場存欄生豬總資産實時展示

總資産 V = ∑(Pi * ∑Wi)

i:        生豬類别,包括外三元、内三元、土雜豬
Pi:   不同類型生豬價格
∑Wi:為存欄不同種類的生豬體重之和           

5、 本月可出售量分析

生豬養殖超過6個月可以出欄銷售。根據豬的出生日期,超過6個月為本月可出售數量、重量、總價格。對這些名額進行實時展示

6、 檢驗檢疫分析

疫苗接種,每頭豬接種一次(按以下順序,前一種疫苗接種了才能接種後續疫苗):

 SF1 豬瘟疫苗

 FMD 口蹄疫疫苗

 SF2 豬瘟疫苗 AR1 萎鼻疫苗

 JE 乙腦疫苗(前序疫苗為AR1,不需要SF2)

 PPV 細小病毒疫苗

 AD 僞狂犬疫苗

二、 如何使用DataFlux進行養豬場資料分析

DataFlux是實時大資料分析平台。通過對任何來源、類型、規模的實時資料進行監控、分析和處理,釋放資料價值,幫助企業從資料中洞察業務并有效預測,進而做出決策并采取行動,助力商業決策。

DataFlux的功能如下:

1、 多管道資料采集和實時處理:支援雲端資料采集、應用資料采集、日志資料采集、時序資料上報、常用資料庫的資料彙聚;資料存儲可無限擴充,實時處理和分析海量資料

2、 靈活建構面向不同業務場景的資料洞察:支援雲産品性能監控、IT 裝置監控、使用者行為分析等資料洞察,并支援通過自定義 SQL 查詢和檢索實時資料,提供豐富的可視化監控視圖

3、 簡單易用的告警觸發器和基線:支援自定義基線和觸發動作,快速定位業務異常發生的時間範圍,同時支援多個檢測名額和觸發條件的實時資料監測告警

4、 預測和資料交叉分析:對于任何來源的實時資料進行多元度交叉分析,基于智能算法進行預測,實作資料洞察和科學的業務決策

DataFlux功能全圖如下:

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

豬場分析事實資料源可能來自于:

 自動監控系統資料

 管理資訊系統資料

 來自網際網路的價格資料

 手工錄入資料

本案例中由DataMock模拟資料源生成資料,并實施上報資料到資料網關DataWay。最終在DataFlux中完成資料統一存儲、處理、資料洞察,支援各應用場景的實作。如下圖所示:

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

三、 基于DataMock模拟生成養豬場資料

通過 DataMock 資料模拟器,使用者可以:

• 生成模拟資料上報到 DataFlux 中心

• 基于模拟資料可以快速建構和驗證自身的資料洞察場景,即 DataKit 和 DataWay 是否正常工作。

DataMock資料模拟器的使用:

1、 下載下傳安裝

在DataFlux的首頁的“內建”頁面獲得DataMock的下載下傳位址(Windows、Linux、Mac版本),解壓即可,獲得兩個檔案:

 可執行檔案 datamock

 配置檔案 config.yaml

2、 配置

寫配置檔案config.yaml是非常重要的環節。配置檔案主要包括兩個部分:

 DataWay網關位址,可以是雲端DataWay或本地Dataway。

 Measurement名額集配置

本案例中模拟的名額集有四個:

 價格名額集

 生豬庫存名額集

 疫苗接種名額集

 體檢名額集

具體如下:

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

具體配置如下:

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

3、 啟動

賦予DataMock可執行權限後直接啟動即可,生成樣例資料如下:

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

四、 養豬場資料洞察

在 DataFlux 中,使用者可以根據不同的視角建構不同的洞察「場景」,通過檢視場景下的資料可視化圖表分析,進而滿足不同業務的場景需求和資料分析。

步驟如下:

1、 添加場景

2、 添加節點

3、 可視化的分析和檢索

基于DataFlux進行養豬場實時資料模拟生成和分析實踐
最終的洞察結果可以通過圖表和資料集展現。
其中資料的計算有三種方式,按照從易到難排序:           

1、 UI直接處理資料

2、 使用SQL處理

3、 使用函數平台進行實時資料處理開發。

處理步驟:

1、 建立場景

基于DataFlux進行養豬場實時資料模拟生成和分析實踐
基于DataFlux進行養豬場實時資料模拟生成和分析實踐

3、 添加圖表

 UI直接添加

 價格分析

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

 體溫分析

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

 體檢檢疫流程分析

基于DataFlux進行養豬場實時資料模拟生成和分析實踐
基于DataFlux進行養豬場實時資料模拟生成和分析實踐

 時序資料庫SQL語句計算

 豬糧比分析

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

 存欄量分析

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

 利用DataFlux.f(x),它是DataFlux 附帶的基于Python 3的可程式設計資料處理元件,主要目的在于進一步拓展DataFlux在資料處理、展示方面的能力,在統一的平台上實作針對不同場景、行業、領域的專業化進階功能。

 資産分析

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

 可出售量分析

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

并且可以配置自動觸發設定,如下:

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

4、 告警觸發設定

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

 “體溫超标“觸發規則設定步驟

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

采用釘釘告警:

基于DataFlux進行養豬場實時資料模拟生成和分析實踐

 “豬糧比超限”觸發規則設定步驟

基于DataFlux進行養豬場實時資料模拟生成和分析實踐
基于DataFlux進行養豬場實時資料模拟生成和分析實踐

五、 總結

本文首先介紹了DataMock生成養豬場模拟資料,然後基于DataFlux進行養豬場資料實時分析。初步熟悉了這兩個産品的情況下,1天即可完成全流程的模拟和分析,DataFlux具有門檻低、速度快、實時性強、功能全面的特點。