天天看點

2016美國QCon“見證”:IoT未來已來,我們應該關注什麼?

編者按:iot一直是雷聲大雨點小,但是在今年的會議上無論是演講篇幅還是披露的相關進展都在預示着一個新的時代的來臨,iot的爆發隻是個時間的問題,等待的隻是那個臨門一腳,正如智能手機爆發的前夜。iot相關的技術儲備從标準、硬體到軟體生态都已經就緒,從商業上來看iot也在各個領域如物流、醫療健康、智能硬體、汽車等行業慢慢滲透,但是目前iot的價值還沒有完全顯現出來,iot的核心還是在于資料,隻有當資料産生、蓄積、流轉并産生價值之後iot才會展現出他真正的威力和應有的地位。

         iot(internet of

things 物聯網)最近幾年才開始熱起來,但是嚴格來講iot已經存在了很長時間,如工業設施中的一些傳感器網絡、用于氣象采集和地震資料采集的網絡、超市或停車場的nfc網絡等等,隻不過在iot成為一種顯學之前這些資料都是孤立的,每一個網絡都是一個資訊孤島,隻有當這些網絡聯通、其中的資料能夠流轉并能持續産生價值并重塑每個行業的時候iot才算真正地降臨。

         本次大會iot也得到了很多的關注,來自riak的同行分享了對iot的了解和思考,以及對iot資料處理的一些探索,riak本身也iot資料處理方面積極做準備。主講人對iot相關的行業做了一些梳理,主要有:制造業、交通、國防、農業、礦物勘探及采油、保險、智能家庭、餐飲、基建、零售、物流、銀行、醫療、保健、智能建築、公共設施等。根據披露的資料,iot 2016年的市場規模在64億美金左右,2020年會到達210億美金,平均每年增長率在30%左右,平均每天有550萬個裝置被激活,到2020年時我們的生産和生活有一半都是和iot相關,大約會有6萬億美金投資在iot解決方案上,而硬體和應用開發會占大頭:

2016美國QCon“見證”:IoT未來已來,我們應該關注什麼?

         是以對于iot項目來講,需要關注以下幾個方面:

         a:iot相關的協定(如coap,mqtt,http)、會産生哪些資料(溫度、濕度、位置、速度等),厘清這些之後并投入

         b:實作資料收集的協定和解析過程,然後把這些資料存儲/彙集在“data lake”中

         c:資料存儲在“data

lake”後,對資料進行分析挖掘然後用以預測和發現未知

         整體架構如圖:

2016美國QCon“見證”:IoT未來已來,我們應該關注什麼?

         但是如作者所說,整個過程是漫長和浩大的。

         而且iot的生态也是足夠複雜,如圖:

2016美國QCon“見證”:IoT未來已來,我們應該關注什麼?
2016美國QCon“見證”:IoT未來已來,我們應該關注什麼?

         在iot的整個資料鍊條上,作者給出了一個wishlist:

         a:網絡可靠性,如光纖網絡

         b:資料投遞,需要專用的管道

         c:端到端低延遲,需要足夠強的信号

         d:服務品質,扛幹擾和交串

         e:工程拓撲,需要高的信噪比

         f:承諾資訊速率,需要低的誤碼率

         但實際情況要糟糕很多:

         a:無線技術,采用的都是低成本的硬體

         b:共享傳輸媒介,采用的是低功耗的無線電傳輸

         c:帶寬受限,采用的是很短的天線

         d:mesh或ad-hoc拓撲技術,采用的是定制的firmware

         e:很可能有信号幹擾,采用的是coap協定

         f:亂序或者丢包,采用“shoot

and forget”的模式

         iot是不折不扣的大資料,資料的特點有:

         速度:大量的small

writes,低延遲讀很多,流式更新;

         多樣性:傳感器資料、使用者和裝置資料、時序資料;

         規模上:開始很小,增長很快7*24*365,會随業務爆發,需要很好的retention政策;

         精确性:由于裝置成本低精度低,是以不能假設是可靠的,資料可能會損壞或者在傳輸過程中丢失;

         價值:profiles和summaries資料會比原始資料有價值,近期的原始資料會比曆史資料更有價值,聚合出的資料會比原始資料更有價值

           複雜性:資料schema比較簡單,為了速度和靈活性考慮會有些非結構化的資料

         處理這些iot大資料需要的技術能力有:

         處理原始時序資料:吞吐高,能快速讀取最新資料

         處理聚合的時序資料:sql查詢、聚合、數學運算、用于分析的大塊查詢、二級索引

         高效存儲:自動資料過期、壓縮、熱備

         處理profiles和中繼資料:并行低延遲讀、可靠寫、結構化和半結構化、二級索引和文本索引

         可擴充性和可用性:分布式、線性擴充 scale up/down

         易操作:架構無master、自動均衡、可滾動更新

可用于存儲這些iot資料的資料庫有:

2016美國QCon“見證”:IoT未來已來,我們應該關注什麼?

處理iot資料的完整技術棧有:

2016美國QCon“見證”:IoT未來已來,我們應該關注什麼?

來自apsaradb的解決方案有:

relational

k-v

document

wide colunmn

graph

time series

mysql

redis

mongodb

hbase

petadata

sql server

memcache

postgresql

    值得一提的是apsaradb的petadata産品是一個支援pb級别存儲的分布式關系資料庫,底層采用tokudb引擎,壓縮比在10:1左右,而且petadata支援按時間retention,是以天然是個時序資料庫,petadata還自帶搜尋功能,支援豐富的全文搜尋,petadata也是oltp和olap的融合,是以算是iot時代的一把利器,這也是apsaradb對iot對未來的投資。

    總結:iot喊了那麼多年,終于要從閨閣下樓了,但是iot實在太大,是遠比移動網際網路要大得多、包容得多的生态,每個人每個行業都會或主動或被動成為這個生态中的一環或多環。在iot時代,大家的差別會來自于對資料了解深度的高低不同,在資料面前,傳統公司和所謂的網際網路公司地位是等同的,未來屬于能真正洞察資料的個人群組織。當下,我們能做的就是為此做好技術和人力儲備,然後等風來。

繼續閱讀