40年技術發展變革，物聯網行業的趨勢、現狀與挑戰

基礎設施的完善，推動應用形态不斷變遷

我們把過去四十年分為五個重要的技術發展階段，從時間軸上我們把它切分為：1980 - 2000，2000 - 2005，2005 - 2010，2010 - 2020 以及 2020 - 2025。今天的釋出會和第五個階段的技術發展有關，從過去看未來，是以我們先回顧下技術發展史，先來看下前四個階段分别經曆了怎樣的技術發展？在技術應用上的主要場景是什麼？主流的應用形态是什麼？誕生了什麼樣的新技術和新産品？

在 1980~2000 這個階段，是計算機技術發展和應用的階段。計算機能夠幫助企業更好的管理自己的資料，對提升流程效率有很大的幫助，是以這個階段的應用主要是企業資訊系統。這個階段誕生了很多專為企業服務的科技公司，創造了很多偉大的商業産品。應用系統的資料主要存儲在資料庫内，資料庫以關系資料庫為主，這一階段是關系資料庫理論和産品的成熟期，誕生了像 Oracle、IBM DB2、微軟 SQL Server 等商業資料庫産品。

在 2000~2005 這個階段，是網際網路技術的初始發展階段。資訊能夠通過網際網路更有效的傳遞，是以這個階段誕生了大量門戶類的網站，也就是 Web 1.0 時代。LAMP（Linux+Apache+MySQL+PHP） 是當時最流行的建站技術，是一個完全由開源産品組合的低成本解決方案。應用系統的資料存儲仍以關系資料庫為主，MySQL 以其開源和低成本的優勢替換商業關系資料庫，得到大規模的應用。随着網際網路上的資訊越來越多，人們擷取有效資訊的訴求越來越強烈，是以搜尋引擎作為一個新的應用形态誕生。搜尋引擎是首個面臨大規模資料處理挑戰的應用，Google 作為一家偉大的技術公司首創了很多大資料處理技術。大家熟知的三駕馬車（GFS、Mapreduce 和 Bigtable），奠定了未來十年 NoSQL 和 Bigdata 技術的發展基礎。

在 2005~2010 這個階段，随着個人 PC 得到普及，以及接入網際網路的成本逐漸降低，接入網際網路的『人』越來越多。有一些新的應用形态是以誕生，一是人們不再僅滿足于從網際網路上單向擷取資訊，更渴望在網際網路上進行人與人之間的資訊交流，于是促進了社交網絡的發展；二是圍繞『人群』的應用，一些 B2C 或 C2C 的電商網站開始發展。這個時代就是所謂的 Web 2.0 時代，『人』作為新的資料源開始在網際網路上産生大量資料。這個階段誕生了一些超大體量的網際網路公司，主要是在電商和社交網絡領域。這些公司面臨着如何支撐如此大規模資料線上服務，以及如何處理和分析這些海量資料的挑戰。彼時還沒有成熟可用的解決方案，是以這些公司不得不開始自研系統的開發，是以之後流行的一些 NoSQL 和 Bigdata 系統都是誕生或孵化自這個時代的超大體量網際網路公司，比如 Hadoop 最早在雅虎内部孵化，Cassandra 最早是應用在 Facebook 的收件箱搜尋場景。

在 2010~2020 這個階段，随着 4G 技術發展和智能手機的普及，移動網際網路開始發展。人們可以随時随地聯網，移動應用可以覆寫到更廣的人群，滲透到更多的生活場景，比如支付、打車等。傳統網際網路應用逐漸向移動應用形态轉換，産生了大量應用搭建的需求，雲平台作為低成本、易接入的資料中心被更多企業接受，這十年也是雲計算發展的黃金十年。雲計算徹底改變了應用的運作環境，與傳統 IDC 不同，在這個運作環境中，計算、存儲等資源是池化的，可彈性擷取多類型的存儲和計算資源。基于雲的彈性資源建構的應用即『雲原生』應用，越來越多的大資料、資料庫産品基于雲原生建構，而為了擁有彈性可擴充能力，分布式技術也得到大量的使用。現代的新的大資料和資料庫産品，分布式和雲原生一定是必備的能力。

最後在 2020~2025 這個階段，我們已經能看到 5G、IoT 技術逐漸成熟，又會誕生一個新的應用形态即物聯網。我們能看到的一些新的應用場景，包括車聯網、工業物聯網以及智能家居等。

總結下過去幾十年的技術和産品演進的規律（基礎設施技術 -> 資訊化範圍變大 -> 更多場景、更大資料規模 -> 技術和産品發展）：

每個階段都是由一個『基礎設施』的完善和普及作為起點，基礎設施的核心作用是讓資訊化的範圍進一步變大。比如網際網路讓應用能與更多終端連接配接，移動網際網路直接打破了終端這個壁壘，直接讓應用能與更多人連接配接，而物聯網會把更多裝置也加入這個連接配接。

随着資訊化的範圍變大，更多新的應用場景誕生，同時更大數量的『個體』産生更大規模的資料，成為基礎技術發展的推動力。

在這個過程中，往往基礎技術會落後于應用形态發展。但随着分布式技術和雲計算的普及，基礎技術演進和普及的速度越來越快。我們也可以看到基礎技術産品形态的變化，從最早的商業型産品，到開源型産品，再到現在的雲原生産品。

那在物聯網這個新階段，裝置的數量以及産生的資料會是更大的規模，會有更大的挑戰。那在這樣的挑戰下，又會推動怎樣的技術發展呢？

物聯網行業将迎來高速發展，會面臨怎樣的技術挑戰

我們來看下物聯網到底在經曆怎樣的高速發展，從以下兩個市場報告中來看下物聯網整體的增長态勢：

裝置數的大規模增長：Gartner 預測到 2021 年物聯網内裝置數增長到 250 億。如何管理如此海量的裝置是第一大挑戰。

裝置資料的大規模增長：IDC 報告中可以看到，到 2025 年物聯網資料規模達到 79.4 ZB，年平均增長率高達 34.91%。那如何存儲和分析如此海量的資料是第二大挑戰。

以車聯網場景為例，定義對資料存儲的具體需求

這次釋出會的主題是物聯網存儲解決方案，是以我們來具體看下物聯網場景下對資料存儲的具體需求是什麼。我們以一個車聯網中的一個真實應用場景為例，假如你是一家提供網約車服務的新能源車企，日常管理數十萬量新能源汽車提供網約車服務，你會遇到如下幾個具體的場景：

為便于對這些汽車進行管理，每輛汽車都得實時彙報自己的狀态，包括位置資訊、剩餘電量、行駛裡程、行駛速度等等。除了這些動态資訊外，每輛車還會有自己的一些靜态資訊例如型号、車主等，每輛車的這些資訊都需要在後端實時擷取和管理。

有了這些車輛的實時狀态資訊後，就可為車主、乘客或者是背景提供車輛的實時狀态查詢服務。背景也會有一些計算任務依賴于實時狀态，例如根據位置資訊或特定條件進行車輛圈選來進行特定任務的管理，或者是根據實時狀态來進行車輛排程。

除了車輛自身需要實時彙報狀态外，車輛與管理背景還需要保持一個消息通道。通過這個消息通道，車輛會彙報自身的一些異常事件，背景也可下發一些消息資訊或者控制指令。

另外車輛的一些行駛資訊會上報并存儲為軌迹資料，同時行駛中的一些傳感器資料也需要存儲。有了這些資料後，一方面可以對行駛軌迹進行查詢，另一方面是可以基于資料進行一些計算分析，挖掘更多的價值，比如通過分析曆史行駛資料來優化排程算法等。

從這幾個場景中可以看到，車輛相關的資料主要有三類，一是實時狀态資料，我們把這類資料歸類為『中繼資料』；二是消息通道，我們把這類資料歸類為『消息資料』；三是軌迹資料，我們将這類資料歸類為『時序資料』。這三類資料對底層存儲有不同的要求，『中繼資料』的特征是高頻更新，對查詢能力要求高，需要根據多字段條件進行資料查詢或篩選；『消息資料』的特征類似消息隊列，隊列數量極多，需要為每個裝置維護一個獨立的對壘；『時序資料』的特征是高吞吐寫入，資料規模較大，比較偏重分析場景。

在傳統方案中，中繼資料一般使用 MySQL 存儲，但 MySQL 最大的問題是無法靈活支援多字段條件篩選，一般需要組合 Elasticsearch，依賴 Elasticsearch 來提供多字段檢索能力。消息資料雖然具備消息隊列的特征，但無法使用傳統消息隊列，因為傳統消息隊列無法支撐如此多數量的 Topic，是以一般也有選擇使用 MySQL 來模拟隊列實作。時序資料一般選擇使用 HBase 來存儲，能提供高吞吐寫入和支撐大規模存儲，但 HBase 不具備分析能力。

往往基礎技術會落後于應用形态發展，傳統架構是通過組合多款産品的方式來建構整個物聯網存儲系統。這種多元件的組合架構，架構複雜度高，帶來極高的運維成本。開發者需要了解和使用多款産品，且分布式元件的運維具備一定的難度，導緻整體的成本非常高。另外每個元件并不是為物聯網場景設計和優化，我們可以看到物聯網場景下裝置中繼資料、消息資料和時序資料都有非常典型的特征，且整體規模增長速度會遠超網際網路時代，可以預見老一代産品無法應對物聯網下更大資料規模的增長。

物聯網需要什麼樣的存儲産品

根據過去幾十年技術産品發展的客觀規律，物聯網時代已經到來，目前的技術架構難以支撐未來物聯網規模的增長。面對物聯網下萬物互聯這一新的應用形态，在海量裝置和海量資料的挑戰下，基于雲計算這一新一代基礎平台，我們利用雲原生、分布式等基礎技術，需要打造一個什麼樣的新的基礎産品呢？

我們希望這個新的基礎産品具備以下幾個特性：

基于雲原生和分布式技術建構，具備可擴充性和彈性

滿足裝置中繼資料、消息資料、時序資料的一站式存儲、檢索和分析需求

具備足夠低的成本來支撐如此海量資料

是以為了應對物聯網行業發展帶來的挑戰，阿裡雲表格存儲通過10年技術沉澱，将在9月1号重磅釋出表格存儲新能力：一站式物聯網存儲IoTStor；想要了解更多釋出會資訊，可點選下方連結或掃描海報二維碼檢視詳情！

連結：

https://yqh.aliyun.com/live/iotstorage