一、 養豬場的資料分析需求
現代化養豬場具有如下特點:規模化、工業化、跨界養豬、周期較長、對安全重視、管理精細化、資訊化程度較高。
注重各項經濟名額,如:提高生豬綜合成活率、降低飼料消耗與增重比(即料肉比)、節省飼料、節能降耗。
大型豬場具備較完整的資訊化系統,具體如下圖所示:

豬場資料分析需求如下:
1、 業務需求:
A. 老闆:
價格分析:各地豬肉價格,豬糧比=豬肉價格/飼料價格
本月可出售量分析:超過一定重量的豬的數量
資産分析:不同類别生豬價格*存欄生豬總重量總和
B. 場長
存欄量分析:據此制定經營生産計劃
C. 生産線主管:
關心豬是否生病:豬體溫超标預警,避免豬瘟等疾病爆發
檢驗檢疫記錄分析
2、 技術需求:
A. 自動采集多個不同資料源的資料,包括:
自動監控系統
資訊管理系統
來自于網際網路上的各種價格資料
B. 實時采集、實時分析、實時展示、實時告警
C. 能預測相關名額
D. 如有問題能通過各種方式進行提醒、預警
E. 資料分析相關系統投入不能太大
以下為主要分析需求示例:
1、 豬價分析
A. 全國或不同省份、不同生豬類型的豬價實時分析圖
B. 全國或不同省份玉米價格的實時分析圖
C. 全國或不同省份豬糧比實時分析圖
豬糧比為重要經濟名額,超過或低于特定門限需要預警,如下圖所示:
2、 存欄量分析
A. 全國三個豬場存欄量實時展示
B. 超過或低于正常存欄量20%視為異常,進行預警
3、 豬體溫分析(疫情分析)
根據資料,豬的體溫有以下特點:
本案例中簡單起見,分為三種生豬:
1、小豬:正常體溫 39.3 度
2、母豬:正常體溫 38.7 度
3、公豬:正常體溫 38.4 度
生豬體溫超過正常體溫0.5度即視為不正常體溫,進行預警。
4、 資産分析
各豬場存欄生豬總資産實時展示
總資産 V = ∑(Pi * ∑Wi)
i: 生豬類别,包括外三元、内三元、土雜豬
Pi: 不同類型生豬價格
∑Wi:為存欄不同種類的生豬體重之和
5、 本月可出售量分析
生豬養殖超過6個月可以出欄銷售。根據豬的出生日期,超過6個月為本月可出售數量、重量、總價格。對這些名額進行實時展示
6、 檢驗檢疫分析
疫苗接種,每頭豬接種一次(按以下順序,前一種疫苗接種了才能接種後續疫苗):
SF1 豬瘟疫苗
FMD 口蹄疫疫苗
SF2 豬瘟疫苗 AR1 萎鼻疫苗
JE 乙腦疫苗(前序疫苗為AR1,不需要SF2)
PPV 細小病毒疫苗
AD 僞狂犬疫苗
二、 如何使用DataFlux進行養豬場資料分析
DataFlux是實時大資料分析平台。通過對任何來源、類型、規模的實時資料進行監控、分析和處理,釋放資料價值,幫助企業從資料中洞察業務并有效預測,進而做出決策并采取行動,助力商業決策。
DataFlux的功能如下:
1、 多管道資料采集和實時處理:支援雲端資料采集、應用資料采集、日志資料采集、時序資料上報、常用資料庫的資料彙聚;資料存儲可無限擴充,實時處理和分析海量資料
2、 靈活建構面向不同業務場景的資料洞察:支援雲産品性能監控、IT 裝置監控、使用者行為分析等資料洞察,并支援通過自定義 SQL 查詢和檢索實時資料,提供豐富的可視化監控視圖
3、 簡單易用的告警觸發器和基線:支援自定義基線和觸發動作,快速定位業務異常發生的時間範圍,同時支援多個檢測名額和觸發條件的實時資料監測告警
4、 預測和資料交叉分析:對于任何來源的實時資料進行多元度交叉分析,基于智能算法進行預測,實作資料洞察和科學的業務決策
DataFlux功能全圖如下:
豬場分析事實資料源可能來自于:
自動監控系統資料
管理資訊系統資料
來自網際網路的價格資料
手工錄入資料
本案例中由DataMock模拟資料源生成資料,并實施上報資料到資料網關DataWay。最終在DataFlux中完成資料統一存儲、處理、資料洞察,支援各應用場景的實作。如下圖所示:
三、 基于DataMock模拟生成養豬場資料
通過 DataMock 資料模拟器,使用者可以:
• 生成模拟資料上報到 DataFlux 中心
• 基于模拟資料可以快速建構和驗證自身的資料洞察場景,即 DataKit 和 DataWay 是否正常工作。
DataMock資料模拟器的使用:
1、 下載下傳安裝
在DataFlux的首頁的“內建”頁面獲得DataMock的下載下傳位址(Windows、Linux、Mac版本),解壓即可,獲得兩個檔案:
可執行檔案 datamock
配置檔案 config.yaml
2、 配置
寫配置檔案config.yaml是非常重要的環節。配置檔案主要包括兩個部分:
DataWay網關位址,可以是雲端DataWay或本地Dataway。
Measurement名額集配置
本案例中模拟的名額集有四個:
價格名額集
生豬庫存名額集
疫苗接種名額集
體檢名額集
具體如下:
具體配置如下:
3、 啟動
賦予DataMock可執行權限後直接啟動即可,生成樣例資料如下:
四、 養豬場資料洞察
在 DataFlux 中,使用者可以根據不同的視角建構不同的洞察「場景」,通過檢視場景下的資料可視化圖表分析,進而滿足不同業務的場景需求和資料分析。
步驟如下:
1、 添加場景
2、 添加節點
3、 可視化的分析和檢索
最終的洞察結果可以通過圖表和資料集展現。
其中資料的計算有三種方式,按照從易到難排序:
1、 UI直接處理資料
2、 使用SQL處理
3、 使用函數平台進行實時資料處理開發。
處理步驟:
1、 建立場景
3、 添加圖表
UI直接添加
價格分析
體溫分析
體檢檢疫流程分析
時序資料庫SQL語句計算
豬糧比分析
存欄量分析
利用DataFlux.f(x),它是DataFlux 附帶的基于Python 3的可程式設計資料處理元件,主要目的在于進一步拓展DataFlux在資料處理、展示方面的能力,在統一的平台上實作針對不同場景、行業、領域的專業化進階功能。
資産分析
可出售量分析
并且可以配置自動觸發設定,如下:
4、 告警觸發設定
“體溫超标“觸發規則設定步驟
采用釘釘告警:
“豬糧比超限”觸發規則設定步驟
五、 總結
本文首先介紹了DataMock生成養豬場模拟資料,然後基于DataFlux進行養豬場資料實時分析。初步熟悉了這兩個産品的情況下,1天即可完成全流程的模拟和分析,DataFlux具有門檻低、速度快、實時性強、功能全面的特點。