資訊技術不斷進步 監控系統雲計算更新

資訊技術不斷進步，閃存、磁盤、資料中心、dna等各種新的存儲技術不斷出現。可即便如此，仍難以滿足日漸龐大的資料體量的存儲需求，加之iot(物聯網)行業的發展，緻使資料的體量更為驚人。不可否認，這些資料中許多都蘊含着價值，但也不能忽視資料的驚人體量。難道到2020年，我們要将44zb的資料全部記錄并存儲下來嗎？是以，我們需要用雲計算技術對資料進行智能分析。今天就來探讨2017年監控系統雲計算核心技術。

　　資訊技術不斷進步 監控系統雲計算更新

一、大規模混合計算技術

監控系統産生的大量視訊圖像資料如果隻靠人工來進行處理，效率會非常低，借助于視訊智能化處理算法，已經可以從視訊圖像資料中擷取一些簡單的特征進行比對，或者進行模式比對産生報警事件，提高了處理的效率。這種方式能夠處理的資料量，資料組合的程度，資料的類型等等都還處于較低的水準，無法應對海量資料和日益增長的需求。大規模計算技術的目的就是為了提供一種統一的資料處理平台，上面可以內建各種智能化算法和計算模型，綜合處理海量監控資料，以更快的速度得到更有價值的資料。

二、統一資源管理技術

監控系統産生的主要資料就是視訊和圖像資料，原始資料經過處理後，會産生更豐富的資料，處理的方式也會有很大不同。比如對于曆史視訊資料可以在背景處理的視訊資料檢索，對于卡口的車牌和人臉特征資料需要實時布控，對曆史卡口資訊需要做到實時檢索。這些資料都需要不同的計算架構進行處理，通過引入統一的資源管理平台，可以在同一個資源池裡運作不同的計算架構，大幅提高資源的使用率，同時在資源被某種業務獨占時，又能最大限度的發揮系統的性能。

三、實時檢索技術

傳統的結構化資料都采用關系型資料庫進行儲存，通過rac等技術形成資料庫叢集，通過索引方式進行加速，但是核心還是基于行存儲和關系運算，面對海量記錄時在各個方面都已經遇到了瓶頸。實時檢索技術通過引入分布式資料庫，列式存儲，記憶體計算，索引引擎等技術，能應對100億級别的結構化資料，在存儲容量，可擴充性，檢索速度等多個方面都可以得到大幅提升。該系統在智能交通、刑事偵查等視訊監控領域具備重要的研究價值和廣闊的應用前景。

四、複雜事件處理技術

随着安防監控行業的發展，業務變的也來越複雜，比如智能交通領域，出現了車輛積分研判、套牌車分析、同行車分析等需求。這些需求存在産生結果所依賴的條件多、處理過程實時性的要求高、需要處理的資料量巨大等特點。傳統的方式是采用關系資料庫，通過複雜的sql語句組合，不斷查詢比對的方式，很難滿足實時性的要求。複雜事件處理通過引入流式計算等技術，動态地對輸入資料進行實時的分析，處理速度可以大幅提供。不符合條件的資料都被丢棄掉，系統中隻存在處理的結果或者可能有用的中間資料，這樣對存儲的要求也變小了，完全在記憶體中進行全過程的分析，實時性得到了保證。

五、人臉檢索技術

人臉檢索的技術在單台伺服器上的應用已經比較成熟，可以應用在身份鑒别、在逃人員抓捕、可疑人員排查、身份證查重等領域。人臉檢測過程可以分為以下幾個階段：視訊或圖像解碼、人臉檢測、特征提取、特征比對，前三個步驟都是每次請求對應一次計算，計算量相對可控，而最後一個步驟特征比每次請求則需要和達億級的人臉特征進行比對，是運算量最大的一個階段。

一些實時應用的請求數每秒鐘可達請求數達到數百次，每次人臉比對次數可達百萬級别時，則整個系統需要支援每秒億級的人臉特征比對計算。如此大規模的計算，單機上是無法完成的，必須采用叢集完成。特征庫本身規模不大，但是比對次數很大，屬于典型的計算密集型叢集，特征庫可以全部倒入到記憶體，在記憶體中完成計算。

六、海量視訊檢索技術

圖像傳感器采集到的視訊資料儲存到後端存儲後，使用者可以随時選擇目标區域的多個攝像頭，送出給視訊檢索叢集，檢索叢集按照目标物體的特征快速檢索的所有對應攝像頭産生視訊資料，找到目标物體特征所出現的視訊，并定位到準确的時間點。其中主要使用了智能化技術實作視訊資料到物體特征結構化資料的轉換，支援車輛顔色，車牌，衣着顔色，人臉等特征。基于統一的計算資源池，實作智能化算法的并行運算，線性提高檢索效率。

結構化之後的資料可以儲存到資料庫，下次檢索可以直接通過結構化資料進行二次檢索，大幅提高檢索效率。

七、分布式對象存儲技術

安防雲在系統架構和設計上，充分考慮大規模叢集環境下軟硬體發生故障的現實，采用先進的管理思想和軟體系統，實作對大量普通存儲伺服器存儲空間資源進行虛拟化整合，實作軟硬體故障高度容錯，搭建高度穩定可靠的存儲叢集。

系統将控制流與資料流分離，以及充分優化中繼資料節點控制系統，使得系統具備極高的性能和良好的線性擴充能力。系統整體為應用提供統一命名空間，使得系統具備極好的資料共享能力。系統将負載均衡到叢集内的各節點上，充分利用叢集各節點性能，以獲得很好的性能聚合能力以保證系統的穩定。叢集采用高度靈活自組網技術，提供簡易部署和維護功能。系統在資料可靠方面，采用智能備援重建技術，保證較高磁盤使用率的前提下，提供最佳備援政策。另外，系統在節點軟硬體故障容錯方面，也進行充分考慮，具備屏蔽所有可屏蔽錯誤能力。

八、快速檔案索引技術

雲存儲系統可以支援上億級的檔案，同時還需要支援上千個使用者同時通路。這麼大規模的中繼資料和并發通路量，采用傳統的記憶體加磁盤多級存儲，以及多級索引方式，尋址的開銷将非常大，直接影響到系統的可用性。

為了提高系統的響應速度，雲存儲采用粗粒度的管理方式，以64m作為典型的塊大小進行索引，大幅減小中繼資料的數量，即使如此，系統的中繼資料規模還是會達到gb級别。基于這種情況，系統采用全記憶體态的中繼資料通路模式，可以将檔案尋址時間降到毫秒級别。

為了保證中繼資料的可靠性，需要對中繼資料的通路做日志記錄，并定期将中繼資料持久化到硬碟。

九、高速并發通路技術

用戶端在通路雲存儲時，首先通路中繼資料伺服器，擷取将要與之進行互動的資料節點資訊，然後直接通路這些資料節點完成資料存取。

用戶端與中繼資料伺服器之間隻有控制流，而無資料流，這樣就極大地降低了中繼資料伺服器的負載，使之不成為系統性能的一個瓶頸。用戶端與資料節點之間直接傳輸資料流，同時由于檔案被分成多個節點進行分布式存儲，用戶端可以同時通路多個節點伺服器，進而使得整個系統的i/o高度并行，系統整體性能得到提高。

通常情況下，系統的整體吞吐率與節點伺服器的數量呈正比。

本文轉自d1net（轉載）