【行業應用】阿裡雲實時計算 Flink 版 IoT 行業解決方案

行業挑戰

物聯網(Internet of Things，以下簡寫為 IoT)是網際網路、傳統電信網等資訊的承載體，能讓所有具備獨立功能的普通物體實作互聯互通的網絡。物聯網将現實世界數位化，應用範圍十分廣泛。物聯網拉近分散的資訊，統整物與物的數位資訊，主要應用領域包括以下方面：運輸和物流領域、健康醫療領域、智慧環境(家庭、辦公、工廠)領域、個人和社會領域等，具有十分廣闊的市場應用前景。物聯網将智能感覺、識别技術、網絡通信與普适計算等技術融合起來，被認為是繼計算機、網際網路、智能手機之後世界資訊産業發展的下一個風口。

據 IDC 估計，到 2020 年物聯網将在全球範圍内産生 1.46 萬億美元的價值；而 Chinaidr 預測，屆時中國的物聯網市場規模将超過 1.8 萬億人民币。人們普遍認為，中國将成為物聯網行業的主要參與者。得益于龐大的人口基數和低廉的晶片制造成本，中國将在推動全球物聯網市場增長上發揮重要的作用。

目前 IoT 行業在如下領域使用日趨廣泛和深入：

1. 工業領域

工業領域是目前物聯網項目最多的應用領域，工業領域所涵蓋的能夠聯網的事物最豐富，比如印刷裝置、工廠中的房間機械、礦井與廠房等。

2. 醫療領域

目前物聯網技術在醫療行業中的應用包括人員管理智能化、醫療過程智能化、供應鍊管理智能化、醫療廢棄物管理智能化以及健康管理智能化。最典型的應用就是可穿戴裝置，這種幫助使用者實作個性化的自我健康管理的裝置已經成為很多注重健康人士的新寵。

3. 智能交通與車聯網

目前，物聯網應用于智能交通已見雛形，并具有極強的發展潛力。物聯網在智能交通的應用包括實時監控系統、自動收費系統、智能停車系統和實時車輛跟蹤系統，可以自動檢測并報告公路、橋梁的健康狀況，并能幫助交通運輸業緩解能耗、污染以及擁堵等問題。

4. 智能家居

物聯網解決了智能家居中裝置聯網的問題。國内已經有很多不同領域的廠商開始涉足智能家居行業，包括網際網路科技廠商、傳統家電廠商以及網際網路巨頭。智能電視、智能音箱等智能硬體也可以當做智能家居的控制中心和樞紐，“人工智能+物聯網”将掀起改變生活方式的狂潮。

5. 智慧物流

智慧物流是把條形碼、射頻識别技術、傳感器、全球定位系統等物聯網技術，廣泛應用于物流業運輸、倉庫、配送、包裝、裝卸等環節。智慧物流的崛起離不開電商爆發的催化，更離不開物聯網技術的加持。

IoT 時代的資料特征

物聯網傳感器不斷從大量連接配接的各種各樣的裝置接收資料。随着連接配接裝置數量的增加，物聯網系統需要可擴充以适應資料流入。分析系統處理這些資料并提供有價值的分析報告，這些報告将給企業帶來競争優勢。IoT 大資料來源于物聯網裝置傳感器産生的資料，與傳統大資料領域的資料特征不完全一樣，IoT 大資料具有“6V”特點，如下所示：

• 容量（Volume）： 資料量是判斷資料集為大資料、傳統的大規模或超大規模資料的一個決定性因素，使用物聯網裝置産生的資料量比以前要多得多，明顯符合這一特點。**
• 速度（Velocity）： 物聯網大資料産生和處理速率要足夠高，以支援實時大資料的可用性。鑒于這種高資料率，也證明了需要先進的工具和技術分析才能有效地運作。**
• 多樣性（Variety）： 一般來說，大資料有不同的形式和類型。這可能包括結構化的、半結構化的和非結構化的資料。各種各樣的資料類型可以通過物聯網産生，如文本、音頻、視訊、傳感器資料等等。
• 真實性（Veracity）： 真實性是指品質、一緻性和資料的可信性，有真實性的資料才能進行準确的分析。這一點對于物聯網來說尤其重要，特别是那些群體感覺資料。**
• 易變性（Variability）： 這個屬性是指資料流的速率不同。由于物聯網應用的性質，不同的資料生成元件可能會有不一緻的資料流。此外，在特定時間，一個資料源的資料加載速率可能不同。例如，利用物聯網傳感器的停車服務應用在高峰期的資料加載會達到峰值。**
• 價值（Value）： 價值是指大資料轉化成為有用的資訊和内容，為組織帶來競争優勢。資料的價值的高度不僅僅取決于對資料的處理過程或服務，還取決于對待資料的方式。

針對以上 IoT 的資料特征，IoT 相關大資料以及 AI 分析工具需要解決如下資料計算問題：

• 越來越多的實時資料需求：目前需要更多的實時資料來支援 IoT 裝置分析、操控、管理。比如需要 IoT 裝置資料進行實時化分析進而直接回報到工業車床進行加工參數調整。
• 越來越多的半結構化、非結構化資料分析需求：越來越多的 IoT 裝置産生半結構化、甚至非結構化資料，包括日志、圖檔、音頻、視訊。這些都需要大資料以及 AI 相關分析工具進行分析處理。**
• 越來越多的智能化資料處理需求：大量圖檔、音頻、視訊場景，需要使用 AI 增強的實時化處理工具進行分析處理，而非傳統的資料庫和大資料工具。**
• 由資料分析人工決策到資料計算反向控制生産鍊路：IoT 的大資料分析從産生報表進而交給人工決策，逐漸過渡到資料計算結果直接反向控制生産鍊路，節省人力決策的成本。

解決方案

阿裡雲實時計算 Flink 版是阿裡雲打造的基于 Apache Flink 的企業級系列産品，其底層技術引擎由 Flink 創始團隊提供的商業化産品 - Ververica Platform 所驅動。針對 IoT 時代下大資料分析的需求，阿裡雲實時計算 Flink 版結合阿裡雲整個 IaaS 以及 PaaS 的基礎設施，能夠為 IoT 客戶解決如下問題：

• 資料實時化處理：阿裡雲實時計算 Flink 版具備低延遲、高吞吐、一緻性等特點，非常适合 IoT 的實時化資料清洗、分析、處理的計算需求。
• 越來越多的半結構化、非結構化資料分析需求：具備結構化資料處理(分析、統計類計算處理)，提供包括 SQL、TableAPI、PyFlink 等高效 API 解決資料分析難題；同時實時計算 Flink 版提供包括 DataStream 的 Flink 底層 API，針對非結構化的音頻、視訊等内容也能夠從容分析。
• 越來越多的智能化資料處理需求：提供流式資料底層架構，基于 Flink 開源 API，使用者可以自由組合圖像、音頻、視訊處理算法包，提供靈活的智能化處理資料需求。

成功案例

協鑫光伏

引入阿裡雲飛天大資料平台以來，光伏生産良品率已經提升了 1 個 百分點，節省成本數千萬。

客戶簡介

協鑫光伏坐落在環境優美的蘇州工業園區，是全球領先的光伏材料制造商，矽片産品占國内流通矽片的 70%，處于國内同行業龍頭地位。在技術研發、品質控制、自動化更新等方面也都處于較高水準。

通過多年對生産流程的優化，協鑫的生産效率和産品品質始終保持着行業領先，然而，他們漸漸感到如果繼續保持傳統的方式，可優化的空間将越來越小。對于追求卓越的協鑫人來說，生産品質提升的最後一公裡要怎麼走，這無疑是一個巨大的難題。蘇州協鑫光伏總經理曾表示：“未來蘇州協鑫的繼續突破還是要靠新技術和新産品。”

阿裡雲實時計算 Flink 版解決方案

智能制造的興起，将大資料分析引入到制造革命中。通過對生産資料的采集并上傳雲端，能夠進行資料實時和長期分析，并對生産過程進行監控，分析生産流程中可優化的部分；監控影響産品品質的環節，對産品品質進行量化分析和提升；對裝置情況進行預測，優化備本備件。

2016 年協鑫光伏正式與阿裡雲合作，希望通過雲計算、大資料等新一代資訊技術推動内部管理更新、進一步提高市場競争力。此次合作的主要目标是透明化生産、資料化管理以及良品率提升。具體包括：

• 低成本長期儲存協鑫生産過程所有資料；
• 通過大資料分析，建立良品率預測模型；
• 通過大資料分析，建立關鍵參數監控模型，對生産過程監控和報警；
• 通過阿裡雲 BI 系統，對協鑫生産資料做多元度統計分析；
• 通過阿裡雲大屏技術，建立工廠中的房間和事業部生産大屏看闆等多方面内容。

整體技術架構可以分為三大部分，工廠中的房間源資料、大資料存儲分析區，以及業務區。具體包括資料上雲、關鍵參數

監控模型、關鍵及全量參數标準曲線模型、生産過程監控報警、良品率預測、備件損耗分析、大屏看闆、BI 分析。

客戶收益

• 經過項目一期的實施，每年節省成本數千萬。
• 通過阿裡雲的大資料分析算法，協鑫光伏可以對生産過程中采集到的全部變量進行分析，找出與良品率最為相關的關鍵變量。“根據這些關鍵變量為協鑫光伏搭建生産的參數監控模型，在生産過程中對這些變量進行分析處理，一旦變量超出模型範圍，協鑫光伏的監測系統就會及時預警。”
• 協鑫光伏作為追求卓越的制造業企業代表，為同類企業轉型更新摸索出了一條道路。大資料作為企業的重要資産，借助于雲計算等新技術，可以實作企業的智能改造和更新，完成提升生産效率和産品品質的最後一公裡。
• 協鑫與阿裡雲合作的模式可以直接複制，利用制造業企業的生産經驗，和雲計算、大資料分析提供的穩定高效的大資料存儲、分析能力，打造企業級資料分析平台。

上海鷗新

上海鷗新軟體有限公司專注于室内定位技術和客流統計與分析的研發，如室内定位引擎、客流統計與分析系統。在使用者導入客流系統的同時，為商業零售實體店提供了覆寫微信上網、定時定地點向客戶推送精準化商業資訊等一體化解決方案。

業務需求

1. 實時熱力圖，通過實時客流分析系統，制作每個樓層的實時熱力圖，不同顔色代表客流人數的密集程度。
2. 實時客流統計圖，實時客流分析産品主要服務于商場營運方，提供的功能包括商場熱力圖、店鋪熱力圖、客流數、新老客占比、停留時間和客流時間分布等，為營運決策提供資料支援。
3. 精準推送，Wi-Fi 采集到的位址跟現有資料庫進行碰撞，對碰撞出的使用者建立使用者畫像，根據來店情況可進行更為精準的推送。
4. 位置定向廣告，與商場線下廣告螢幕打通，設定地理圍欄與規則，命中規則後個性化推薦相關廣告。

系統架構

整個系統的資料源都是 Wi-Fi，Wi-Fi 裝置的布點是系統成功的關鍵。在 Wi-Fi 鋪設的過程中會預先記錄好裝置的位置（所屬樓層、平面坐标、所屬店鋪等），且根據業務情況來确認 Wi-Fi 之間是否重疊：如果要精确，需要多點定位，否則盡量確定 Wi-Fi 的範圍不重疊，防止資料互相污染。

資料流程

1. 使用 Wi-Fi 采集裝置資訊。
2. 把采集的資料經過 SLB 發送到接收伺服器。
3. 接受伺服器把資料發送到消息隊列（DataHub）。
4. 實時計算 Flink 版訂閱 DataHub 資料。
5. 把裝置采集到的使用者資訊跟裝置的地理位置資訊進行關聯。
6. 完成處理，然後把結果寫出供下遊使用。

實時計算 Flink 版的處理邏輯：

1. 資料清洗、去重。
2. 維表關聯，使用者 Mac 位址與裝置地理資訊關聯，實時資料與曆史資料關聯。
3. 手機品牌識别、位置識别、新客識别。
4. 計算停留時間、生成軌迹。

說明：資料收集與清洗部分是整個系統的基礎，在這些資料的基礎上可再進行精準推送和位置廣告等服務。

業務總結

鷗新商場實時客流分析平台涉及多台線下裝置（2000 台裝置），實時計算 Flink 版每秒處理輸入 30K 條資料，每秒輸出 20K 條處理後的資料，整體延遲為秒級，整體收益包括：

• 節省運維成本：免運維，阿裡雲提供高保障；
• 對接上下遊：直接注冊，免開發；
• 降低開發成本：SQL 開發，效率高，門檻低，原來單作業 Java 開發 3 天的工作量降低到 1 天内，且 BUG 少，整個系統重構隻需一周。

這套系統打通了線下與線上，為商場的營運方提供了不同次元的資料支援，提高了營運活動的效果；為在顧客打造更好的購物體驗的同時也提升了商場的整體營收。商場實時客流分析系統是 IoT 技術與大資料實時處理技術結合起來的典型案例。

實時計算 Flink 版産品交流群

阿裡雲實時計算Flink - 解決方案： https://developer.aliyun.com/article/765097 阿裡雲實時計算Flink - 場景案例： https://ververica.cn/corporate-practice 阿裡雲實時計算Flink - 産品詳情頁： https://www.aliyun.com/product/bigdata/product/sc