天天看點

三位一體的工業大資料綜述

工業大資料的目的是為了改變以往工業價值鍊從生産端向消費端、上遊向下遊推動的模式,實作以客戶價值為核心的定制化産品和服務,以及與之相适應的全産業鍊協同優化。為此,工業大資料應滿足使用者需求定義、工業智能制造、活動協同優化三方面的應用。

在這些應用中,工業大資料的落地需要與之相适應的技術架構作為支撐。目前,李傑教授提出的“5C”架構展現了工業大資料“資料->知識->應用”的資訊架構,而工業網際網路參考架構(IIRA)和工業4.0參考架構(RAMI4.0)均是頂層系統架構,還有一些公司企業依據自身的業務提出了自定義的技術架構,如通用的Predix、三一的根雲等。

我們知道技術架構應由應用場景的特征來決定,就現狀而言,工業大資料還處在産業的初級階段,對工業大資料應用場景的認知還不太深入,但大資料在網際網路的應用已具備成熟的技術體系和應用架構,是以,本文主要通過比較工業應用場景和網際網路應用場景的差異性,期望能夠修正網際網路大資料的相關應用技術架構,以滿足工業大資料落地對技術架構的要求。

工業大資料和網際網路大資料的技術架構都具備資料環境、知識環境和應用環境三個層,如下圖所示。

三位一體的工業大資料綜述

資料環境

從資料環境來看,首先,網際網路大資料和工業大資料具備不同特征。如下表所示:

三位一體的工業大資料綜述
三位一體的工業大資料綜述
三位一體的工業大資料綜述

由于上述對資料的差異性,網際網路大資料更多的是關注資料的持久化,其技術架構側重于實作異構資料的存儲、通路的一緻性,滿足多負載的并行讀能力。是以,網際網路催生了大量的非關系型資料庫、實時資料庫、分布式檔案存儲的技術。

工業大資料同樣關注資料持久化,但工業大資料部署應用的一個原則是将應用盡可能部署在離資料産生源越近的地方。這是因為,就近部署其可靠性、實時性越高。需要按照業務需要進行部署,是以,很多應用部署在裝置、生産工廠中的房間等。是以,與網際網路大資料集中式存放的方式相比,工業大資料對資料存放更加離散化,在空間中形成跨網的分布式存儲,且各資料節點對資料存放、通路的能力要求不一樣。比如以在某一公司實施的智能風場項目為例,在風機上部署的采集終端,需要存儲結構化且要求實時性高的技術方案;在相應業務端,如生産系統或排程系統,資料是半結構化且實時性要求一般;在公司資料中心,資料是非結構化且需要語義組織。是以,需要抽象和設計一個統一的資料持久化環境,為工業大資料的上層應用提供基于語義的資料發現和相适宜的通路能力。

另外,工業大資料的資料環境,更關注資料采集的能力。工業大資料的資料采集依賴于物聯網(IOT)的實作,IOT關注的采集的可靠性,實作資料接入的總線化,但工業大資料對IOT提出了更多的需要。以在某一公司實施的智能風場項目為例,在設計資料采集時,考慮了如下一系列的需要。

一、IOT終端需要具備邊緣計算能力,首先是風機高頻運作狀态資料沒必要全部上傳,隻需要上傳從風機運作狀态資料提取的相應特征資料,在必要時,如發生故障需要原始資料進行深入分析或者為訓練模型需要原始資料,才需要終端上傳資料。是以IOT終端需要運作特征提取算法;

二、IOT終端需要具備對采集資料的辨僞能力,需要對資料品質進行預判和修複。在采集風機運作資料時,資料大多是通過傳感器,傳感器本身存在故障、标定、存在壽命等問題,産生錯誤資料的機率較大,而壞資料對基于實體關聯和因果分析的模型影響相對于網際網路應用基于統計分析的影響更高;

三、IOT需要提供更智能的接入能力,形成資料生态環境,因為工業資料不會自發形成,不像網際網路一樣本身線上,需要解決傳感器、物聯網、嵌入式智能等在邊緣端需要解決的技術問題;

四、IOT需要提供基于語義的定義,是因為作為工業大資料應用的最基本資料産生源,它是實體世界實體的高度抽象,能夠映射實體世界實體的特征、實體間的關系,能夠發現和被發現,提供互操作性,進而形成實體世界在虛拟世界裡的組織和協作能力。

知識環境

工業大資料和網際網路大資料都需要對資料進行分析、處理,以獲得相應的知識,用以支撐上層業務應用。它們的差異性首先展現在模型特性上面。如下表所示:

三位一體的工業大資料綜述
三位一體的工業大資料綜述

由模型的差異性,在工業大資料和網際網路大資料應用中,對模型執行的環境要求有很大差別。

目前,在網際網路環境中,一般都是基于雲平台,使用hadoop生态環境進行搭建,通過流式或離線計算對資料進行處理,采用容器技術運作相應的計算模型,統一對外提供知識資料的通路,其根本是在于其服務或者算法的通用性和可複制性,當一個服務滿足不了外部需求,可以通過容器友善的産生副本,擴充其提供外部通路的能力,而微服務、無服務等技術架構更多是基于對服務的結構、協作等的重新定義,來解決服務響應、資源使用、實施、并行等相關非功能特性。而在工業大資料中,絕大多數模型對外提供服務并不用在意通路的并發性,比如風場智能運維系統對某個風機的健康狀态評估,使用其評估結果的外部通路僅限于幾個終端,畢竟是隻有與風機相關的幹涉人才會需要。是以,工業大資料應用所需要的模型執行平台關注的是單例執行效率以及類型的擴充性。

另外,工業大資料應用的模型相關性較強。比如,在風場智能運維系統中,對風機的狀态評估,依賴于對其組成的多個部件的健康評估,對風機發電效率預測需要結合環境、風機健康狀态的結果。是以,工業大資料應用所需要的模型執行平台還需要提供較好的模型執行協作環境。

是以,工業大資料的知識環境的技術平台是CPS,雲計算是CPS的一個組成部分。CPS關注的是實體實體映射的邏輯實體的管理,提供邏輯實體的關系、協作,以對稱的方式來演進,展現與實體實體的相關性,實作知識的挖掘。

應用環境

網際網路大資料的應用可以充分利用雲平台相關的技術提供集中式的服務環境,對外以SaaS的方式提供應用功能,但工業大資料的應用多樣,既有對物(裝置、生産線)的嵌入式應用,也有與傳統資訊系統相似的應用,如風場的維護排程優化、裝置狀态監控,也有與網際網路大資料應用相同的SaaS應用,如Predix。

是以,工業大資料的應用環境包括了嵌入式環境、單機環境、叢集或雲平台環境,需要考慮應用支撐環境的多樣性統一;其次,工業大資料的應用部署可以在生産一線、控制中心、資料中心等地域分離的地方,其應用環境也需要提供應用跨域的協作能力和應用從故障中恢複的能力;工業大資料的應用環境不僅需要提供服務本身的彈性擴充(并發能力和瞬時負載能力),還需要提供服務的(類型、行為、資源要求)多樣性擴充。

總之,由網際網路推動的大資料、智能應用等已成熟的技術體系和應用架構,是建構工業大資料應用的最好參考,是工業大資料技術實施的基礎。但建立有效的工業大資料應用,離不開工業應用技術的核心——CPS平台,并在相應的資訊架構、資源架構等方面,做出合适的設計和實踐。 

原文釋出時間為:2017-10-25

本文作者:朱武

本文來自雲栖社群合作夥伴“51CTO”,了解相關資訊可以關注。

繼續閱讀