天天看點

EasyGBS國标視訊服務視訊智能分析算法接入方案:EasyAIFilter視訊智能分析自定義子產品

人工智能的發展和在行業中的作用就不用多說了,已經到了一個遍地開會、勢在必行的階段,尤其是對于流媒體音視訊行業來說,基本上是人工智能重中之重的核心領域,視訊人工智能,也就是機器視覺智能分析的方式大體上可以分為兩種:

  1. 中心計算:也就是雲端分析,所有視訊圖像資料都以圖檔或者視訊流的形式傳輸到中心服務,再由中心服務進行視訊資料的分析,這種模式比較考驗中心服務的網絡能力和中心硬體的算力;
  2. 邊緣計算:也就是智能分析網關,将大部分的計算工作都在邊緣裝置中完成,比如人臉、車牌、物體、行為等的分析和比對,這種做法相比于中心計算的優勢是不但降低了對帶寬占用的要求,而且分析的實時性更高,但邊緣計算設型的智能裝置的生産和制造門檻會相對較高;
之前我們聊到過關于EasyNVR的視訊邊緣分析的功能,視訊邊緣分析的主要作用是解決中心算力和帶寬瓶頸的問題,但是對于某些行業應用場景,是不得不采用中心計算方式的,例如部署區域非常廣泛的電力、水利、能源、環保等行業,其裝置常分布交廣且裝置與裝置間距較大,裝置搭配分析網關的話,建設成本和運維成本都會非常高,成本效益還不如投入中心計算硬體和帶寬的方式;

EasyGBS接入AI智能分析算法

經過多年的音視訊技術積累,以及在國标GB28181領域的深耕,我們的很多國标GB28181項目使用者傳遞給了我們很多視訊智能分析接入的需求,在經過多次的需求溝通和實踐論證後,我們成功在EasyGBS國标視訊雲服務中加入了AI視訊智能分析的功能,同樣,這裡說的我們功能加入,類似于EasyNVR,實際上是我們為更多的AI人工智能公司打開了一個嫁接算法的口子,讓做智能分析的公司專注做視訊智能分析的事情,充分發揮各自算法的優勢,不用擔心流媒體流轉的問題,我們會将整個視訊監控裝置從内網,到公網,到用戶端的傳輸的整個流程都整合的非常穩定、可靠。

那麼我們是如何将不同廠家的AI智能分析算法接入到EasyGBS?
EasyGBS國标視訊服務視訊智能分析算法接入方案:EasyAIFilter視訊智能分析自定義子產品

1、EasyGBS對每一路需要做智能分析的通道進行分析開關的配置,當需要對某一路接入的通道視訊進行AI+的智能分析的時候,在不破壞原有由裝置取流(Source)到流媒體輸出(Sink)大過程的情況下,我們需要在中間加入AI+視訊智能分析的過程,即EasyGBS内部的 Source->AIFilter->Sink,而這個AIFilter過程是可選的,配置了這個過程就調用,不配置就不調用,配置了,但是沒有Load到視訊智能分析庫就不調用,Load到了視訊智能分析庫就調用;

2、需要在每一個通道中配置Filter的名稱以及自定義的參數,通過Filter的名稱作為Function進行執行,Function會傳入(avFrame,userData,userPtr,callback),再由Callback輸出(userPtr,userData,avFrame),這樣就形成了整個的AI+使用者自定義流程;

3、使用者回調出來的avFrame是進行下一步推流或者存儲的原材料,AVFrame可以是原樣的音視訊,也可以是經過标注後的視訊幀;userData是使用者自定義的資料格式,EasyGBS可以通過接口或者SEI資料等形式,傳輸給業務展示端或者業務端;

EasyAIFilter分析結果輸出的幾種方式
  1. 同步輸出:疊加分析結果或者原畫面與分析結果同步輸出;
  2. 異步輸出:原畫面即時輸出+分析異步結果;

EasyAIFilter示例

目前,EasyAIFilter已經在很多項目中有了應用,我們的大部分産品也開始支援了EasyAIFilter的架構,現在,我們為AI視訊分析的廠家提供了一套完整的視訊分析接入的示例:https://github.com/tsingsee/EasyAIFilter

EasyGBS國标視訊服務視訊智能分析算法接入方案:EasyAIFilter視訊智能分析自定義子產品

繼續閱讀