物聯網智庫 整理釋出
二次轉載請聯系原作者
導讀
為了保障物聯網資料的充分流動和有效利用，除了通信技術本身的連接配接能力外，還需要打通物聯網各層架構之間的壁壘，才能實作資料采集、傳輸、處理、分析全生命周期的管理，進而讓資料真正發揮“物聯網時代石油”的價值。EMQ映雲科技是一家在物聯網資料基礎設施領域深耕多年的企業，在2021中國AIoT産業年會上，EMQ映雲科技解決方案VP餘傑霖為大家帶來了題為《EMQ：AIoT的資料基礎設施》的精彩演講。以下是其演講全文分享：
我今天分享的主題是《AIoT的資料基礎設施》，這是我在産業網際網路行業過去十年來所積累的經驗和對行業趨勢的判斷，希望對大家有所幫助。
EMQ是一家開源物聯網資料基礎設施軟體供應商，我們一直以開源為核心，産品覆寫了消息和流處理，以及邊緣端的能力，主要目的是解決實時資料的移動、流處理和分析，希望服務産業的數字化、實時化、智能化轉型。
在營運商的努力下，我們現在面對的AIoT物聯網架構基本解決了連接配接的問題。在端側，有很多異構裝置在實時産生資料，這些資料通過一個小網關進行初步彙聚，經過邊緣基站接入到核心網絡後，再進入到雲資料中心，對資料分析處理後回報到各個端——這是目前所看到的大部分物聯網架構的模型。
但是連接配接的問題解決了，資料與資訊之間還是有很大的差別，即空有資料但不産生價值，物聯網資料并沒有真正反哺到業務層。現在中國大部分AIoT企業的應用也隻是停留在資料化的階段，而非數字化、資訊化。
EMQ認為，物聯網時代的數字化轉型有四個趨勢：
一是全面的雲原生轉向，從原來的業務上雲、資料上雲，轉變為無論是應用服務還是資料基礎設施應用服務，都逐漸向雲原生靠攏。不論是研發、部署，還是運維、測試，雲原生理念目前已深入行業内部。
二是資料逐漸從雲端下沉到邊緣端，如資料量比較高的V2X以及對于邊緣端的裝置資料采集有要求的應用，使得邊緣計算開始崛起。但邊緣計算本身并不是完美的，其可能存在碎片化的問題也帶來了雲邊協同的困難。
三是分布式雲的發展，很多網際網路平台和AIoT應用的開發者将原有的雲原生技術向邊緣發展，把之前集中在公有雲上的内容逐漸放到了分布式雲中。
四是資料的類型也在發生變化，從移動網際網路時代由手機産生的具有明顯波峰波谷的交易型資料、事務型資料，轉變成由機器産生的連續不斷的分析型資料。
接下來，我将詳細闡述物聯網全連接配接時代資料的範式變化。
- 資料生産主體和産生方式
資料産生主體從人類轉變為機器。人類行為産生的交易型資料可以有諸如雙十一、雙十二這種明顯的波峰波谷變化，而對于物聯網裝置來說，往往每分鐘甚至每秒都在上報資料，沒有明顯的波峰波谷，而且這些資料具有非常明顯的時空上下文特征。
- 資料類型
對AIoT領域的資料來說，其産生的那一刻價值最大。例如當你使用充電樁時某一刻充電失敗了，這背後失敗的原因，對使用者來說才是價值最高的，是以需要從事務型資料轉變為流式資料，以進行實時的分析處理。
- 資料體量
在連接配接的問題解決之後，資料連接配接量就迎來了井噴式增長。根據最新的報告，全球的物聯網資料未來會達到ZB級别，這意味着大部分大型的物聯網平台以後面對的資料量将從原來的GB時代過渡到PB、EB時代。
- 資料處理
對于海量資料并發連接配接的需求，同時又要做到實時的流式計算，原有的大資料架構必然要發生改變。之前是從資料的源頭把資料錄入到事先設計好的表中，在需要分析的時候從資料庫裡把資料讀出來進行分析。而現在面對的資料很多都是半結構化、非結構化的，比如視訊、音頻之類的資料，對于這一類資料，往往在産生的那一刻不知道該怎麼分析，需要有查詢的能力，才能把資料的價值發揮到最大，這就要求從原先的批處理方式過渡為流式計算，自然會産生新的資料庫。
綜合以上幾點，我們提出了四個原則，我們的産品也是基于這四個原則來設計和開發的：
第一，移動計算優先。在半導體産業發展中我們看到了共享記憶體的設計，資料在資訊層面的複制成本是很低的，但在實體層面對它進行搬運和存儲的複制成本非常高，特别是在海量資料情況下。是以我們盡量把價值高的計算移動到離資料産生更近的地方，讓計算和資料産生更大的價值。
第二，資料流可複用。在任何的AIoT裝置中，一個資料源都不會隻對接一個系統，很可能因為業務的發展，需要資料能夠一次接入，多次複用。
第三，全場景可适配。面對物聯網裝置端的系統，包括裝置協定裡需要具有的能力，任何一個适合的網際網路IoT架構，都需要有一個元件來彌合碎片化協定的接入。
第四，分布式雲原生。未來很多資料會從中心化的雲端轉變為在分布式的邊緣雲進行處理。
AIoT對資料提出最大的要求就是互操作性。之前資料存儲進去後再讀取出來的成本是很高的，原本可能有非常多的裝置對應一個應用，如果之後增加更多的應用，就會造成很複雜的架構耦合，帶來的結果就是架構不可橫向擴充。
如果有一個統一的資料命名空間，所有的資料在内部互相共享，并對不同的資料模型進行隔離，讓真正的AI和IoT應用不用關心資料的内部路由，才是最适合IoT時代的架構。
對于這個作為命名空間使用的統一資料接入層，我們提出了四個要求：
一是要能夠承受持續穩定的海量超高并發連接配接，而且這個連接配接量是以前移動網際網路時代前所未見的。
二是對于一些需要防控的場景，需要保證鍊路的QoS支援，特别是OTA場景，必須能夠和端側建立可靠的資料傳輸通道以及雙向QoS支援。
三是對于大資料量，要同時滿足超低延時的有狀态流式處理與分析資料，這樣在資料産生的時候就能直接進行計算産生價值。
四是資料的可重用，需要流虛拟化，降低資料重用成本，快速的從海量的資料中找到所需資料，才能在資料平台上發展出更多的應用。
基于以上這些原則，我們的産品也在不斷地疊代。首先是解決資料在雲端海量連接配接和移動存儲的架構。
EMQ X是我們最早開始做的一個彈性、可靠、多協定的産品，前端可以接受标準的協定，内部是一個消息路由層的規則引擎，能夠和别的開源元件或者應用系統無縫內建，讓資料多次存儲快速消費，同時也可以在雲原生中部署，各種架構部署都非常友好。
HstreamDB流式資料庫，可以針對多個資料流合成一個資料的虛拟流，這個虛拟流能在上面針對分析模型産生實時的視圖，幫助任務決策，同時也提供插件和大資料架構的AI應用內建。
講AIoT的部分，不可不說到邊緣計算。因為資料在邊緣，無邊緣計算就沒有連接配接也沒有資料，但邊緣計算在方案傳遞過程中有幾個挑戰：
首先就是邊緣的異構裝置和協定接入問題，其次是異構裝置和碎片化帶來的邊緣資料之間缺乏互操作性的問題，即有的裝置是藍牙接入，也有是2G、3G、4G接入，在邊緣端就需要有一個能支援雲邊協同的元件，能自己識别到裝置所處的狀态，按照現在的邊緣裝置所處的情況進行邊緣資料自治。
對于大部分雲端或者軟體開發者來說，邊緣端的硬體環境始終還是陌生的，而且這個環境對于他們來說非常掣肘，難以用原有的開發模式。在各種垂直行業裡，不同的協定都有自己的一席之地，我們必須有邊緣端的接入層彌合不同的碎片化協定和裝置接入。
在邊緣端，一邊是不斷上漲的裝置連接配接量和計算需求，另外一邊是捉襟見肘的邊緣硬體的資源和成本限制。
這裡結合一個背景，在雲資料中心的發展趨勢裡，多核處理器已經是主流了，我們可以确信在邊緣端也能實作這個趨勢。未來勢必會有更多的邊緣多核處理器來支撐更高的裝置連接配接量和計算需求。這對傳統的邊緣端嵌入式開發者的習慣和程式設計模型都提出了新的挑戰。
基于邊緣碎片化協定的問題，首先我們開發了工業協定網關軟體Neuron，來應對工業4.0的背景下對于不同垂直行業的裝置統一接入和協定轉換的需求。
Neuron 2.0做得非常輕量化，很容易在各個不同的硬體平台上進行移植使用，甚至可以移植到模組上，可以解決互操作性難的問題。它還可以部署在各種各樣單核、多核的晶片架構系統之上。另外我們也很好地平衡了在邊緣端對硬體多核性能的利用，以及對軟體産品可移植性和可多載性的保證。
對于嵌入式程式設計領域，如何高效而正确地使用多核硬體進行并行算法的實作，達到高性能的同時又兼顧易移植、易适配的特性，是一直以來存在的問題。而NanoMQ通過内部改進後的NNG異步I/O很好地解決了這一點。
NanoMQ 是 EMQ 今年剛剛釋出的面向 IoT&5G 邊緣計算場景的下一代輕量級高性能 MQTT 消息服務引擎，也是國内第一款開源的邊緣輕量級MQTT Broker。NanoMQ 具備高性能的消息總線能力，彌合邊緣硬體和雲端的架構差異，連接配接實體世界與數字智能。賦予邊緣消息彙聚再分發能力，解決了邊緣端接入層的海量并發問題，進而為邊緣計算應用開發提供便利。
為了解決邊緣端計算解除安裝和與AI系統對接的能力，我們推出了eKuiper，将Flink在邊緣端做了輕量化實踐。例如這裡展示了一個簡單的應用例子：前端接一個攝像頭，通過一個插件就能形成在邊緣端的資料推理。
綜上所述，EMQ映雲科技在資料的連接配接、移動、存儲、處理和分析鍊路上提供了完善的産品矩陣，實作雲邊端統一資料的閉環，以便在最靠近資料産生的地方為資料創造最大的價值。
我們既有邊緣端的消息資料服務Neuron與NanoMQ，以及用于流式分析的eKuiper，還在雲端有支援海量連接配接的EMQ X，以及支援流式資料處理分析的HSreamDB。
基于這些産品，我們可以為行業打造一個架構。首先在邊緣部分把它想象成一個網關，連接配接不同的工業協定，如果有邊緣端的AI應用，可以用eKuiper進行流式處理，然後再通過邊緣的雲端進行橋接，進而把資料打通，形成資料從誕生到邊緣彙聚、存儲分析全鍊路的覆寫。
有了資料的全鍊路追蹤和覆寫能力，就可以形成資料的閉環，将資料轉變成資訊和業務的洞察能力，進而實作資料反哺到業務的流程。
EMQ希望通過我們自己的世界級開源軟體，為IoT行業企業數字化轉型更新提供一些幫助，真正服務于産業與社會。謝謝！
3月31日，深圳
中國萬物智聯大會——工業物聯網專場
誠邀您的參與~
版權聲明：“物聯網智庫”除釋出原創幹貨以外，緻力于優秀科技/研究/投資類文章精選、精讀。部分文章推送時未能與原作者取得聯系。若涉及版權問題，或由于二次轉載标錯了轉載來源，敬請原作者聯系我們。聯系方式：微信wangsujing1314