AI 視訊分析識别系統技術分析

AI 視訊分析識别系統

關鍵字:AI視訊行為識别分析系統、AI視覺分析系統、AI圖像識别分析系統、AI識别系統、AI行為分析系統

• 概述
  1. 背景

    人工智能大時代背景下，視訊應用領域相關的行業應用方式已經發生了深刻的變化，各論安防監控還是各類垂直行業視訊應用，都需要AI視覺分析與識别技術助力，而且需求廣泛而迫切。在應用層面，以AI分析識别技術為核心，集傳統視訊監控和行業相應傳感器/預警等裝置一并接入管理并互相關聯的一體化綜合管理成了剛性應用需求，由此，深圳融合永道科技有限公司早在2012年就已以此方向，研發新一代AI智能視訊一體化平台軟體，深挖行業需求，響應時代号角，向AI領域進軍。

1. 1. 目标

    本平台在我司AI-MIS分析識别算法中間件為核心的技術架構下,以AI人工智能機器視覺技術為支撐，以AI視訊應用為核心，把實作客戶需求為目标。細化應用規則，在良好的橫向業務應用規則擴充支援的同時，又重視縱向的技術深度化研發。持續研發适配更多的場景業務，為社會治安治理、保障安全生産提供有力的技術手段。

• 系統架構

2.1 系統網絡拓樸圖

2.1.1 區域網路模式典型應用

備注: 本模式為區域網路環境下典型應用，所有裝置都接入在同一個區域網路下,AI系統伺服器可以接入各式各品牌的網絡攝像頭和硬碟錄像機，也可以對接一些報警裝置和傳感器設行。

用戶端管理電腦登入連接配接主伺服器，在用戶端軟體使用者界面統一管理系統。

      一台主AI伺服器支援接入多台從AI伺服器，實作堆疊接入管理，便于系統擴容。

2.1.2 多分部本地AI系統網際網路應用

備注: 本模式為多個分散在各地的分部AI系統，将報警事件統一上傳雲平台，通過IE用戶端連接配接雲伺服器通路，本地AI系統架構為區域網路模式，隻要将本地AI伺服器設定指向雲管理伺服器位址資訊即可完成聯網。本模式特點：兩級架色，本地局部單元系統（本地運算),中心系統統一所有分部的本地系統的接警記錄

2.1.3 網際網路/大型多級區域網路背景分析模式

備注:

2.2 AI-MIS算法中間件

2.2.1 AI-MIS算法中間件簡介

     AI-MIS采用人工智能機器視覺“深度學習”技術底層架構，結合應用級算法，采用元件化設計，友善擴充算法類型，同時具備強大的樣本處理能力，樣本自動化生産标簽能力，可以高效研發新算法元件。

2.2.2 算法子產品

序号	名稱	備注
1	對象類别識别能力	人,跌倒的人,吸煙,眼鏡,背包,安全帶,反光衣,帽子,廚師帽,安全帽,手機,口罩,手提包,路面坑洞,蒙面,人臉正面,人臉側面,舉手,持刀,持槍,持棍,小汽車,自行車,機車,面包車,大客車,中巴車,火車,計程車标志,挖掘機,自卸貨車,灌式貨車,貨櫃車,渣土車,飛機,風筝,狗,貓,牛,馬,鳥,老鼠,蟑螂,壁虎,行李箱,打包箱,手,三輪車,輪椅,火,煙柱,蛇
2	拌線探測	本算法規則在視訊内劃線，指定布控對象類别，系統檢測當布控對象經過線條時，觸發抓拍事件;對象長時間停留線上條上，則每隔N秒後觸發一次抓拍事件，由使用者指定檢測哪一種對象或多個對類别 本算法規則通常應用于檢測某種對象經過，如人員越界，車輛進出， 動物出入等。
3.	AB線探測	本算法規則在視訊内劃兩條線，指定布控對象類别，系統檢測當布控對象經過A線條再經過B線條時，觸發抓拍事件;反之則不觸發 本算法規則通常應用移動方向要求的某種對象經過，如人員越界，車輛進出， 動物出入，逆行，不按方向行駛等。
4	對象滞留偵測	本算法規則在視訊内繪制一個矩形或多邊形布控區域，設定某種對象長時間滞留在布控區域内(設定超過指定的N秒後)，産生抓拍事件 本算法規則通常應用于周界預警，車輛違停，人員排徊
5	區域入侵偵測	本算法規則在視訊内繪制一個矩形或多邊形布控區域，指定某種對象經過布控區域内，跟蹤并産生抓拍事件  本算法規則通常應用于周界預警
6	對象移走探測	本算法規則在視訊内繪制一個矩形或多邊形布控區域，設定必須有某種對象存在于布控區域内，如果在設定的時間範求沒有檢測到該對象，則産生抓拍事件 本算法規則通常應用于保安離崗或衛兵離崗、貴重物品看護
7	進入AB區域探測	本算法規則在視訊内繪制兩個區域，指定布控對象類别，系統檢測當布控對象經過A區再經過B區時，觸發抓拍事件;反之則不觸發 本算法規則通常應用移動方向要求的某種對象經過，如人員越界，車輛違規變道，不按方向行駛、逆行等。
8	人群聚集探測	本算法規則在視訊内繪制區域，設定區域内人數超過N人時，産生人群聚集抓拍事件
9	車輛擁堵探測	本算法規則在視訊内繪制區域，設定區域内車輛數量超過N時，産生車輛擁堵抓拍事件
10	區域人流統計	本算法規則在視訊内繪制區域,跟蹤進入區域的人員，當人員離開區域時産生一次抓拍記數事件 本算法規則應用于區域性人數統計
11	有人跌倒	本算法規則在視訊内繪制區域,跟蹤進入區域的人員，當人員在區域内跌倒時産生一次抓拍事件 本算法規則通常應用于敬老院、社群、看護老人是否跌倒預警。
12	對象靜止探測【警門睡崗】	本算法規則在視訊内繪制區域,跟蹤進入區域的人員，當人員處于靜止狀态時産生一次抓拍事件 本算法規則通常應用于識别警/門衛是否正在睡覺的行為
13	煙火探測	本算法規則在視訊内繪制區域,識别布控區域内産生火苗或煙柱時産生抓拍事件 本算法規則通常應用于消防安全場所
14	打電話	本算法規則在視訊内繪制區域,識别布控區域内人員打電話時産生抓拍事件 本算法規則通常應用于石油化工，防止打電話時的無線電流觸發火災; 另外防止一些安全生産區域，防止員工因打電話造成安全事故
15	未戴安全帽識别	本算法規則在視訊内繪制區域,識别布控區域内人員未戴安全帽時産生抓拍事件 本算法規則通常應用于工地、安全生産工廠中的房間，防止員工戴安全帽，以免引發安全事故
16	對象快速移動探測	本算法規則在視訊内繪制區域,識别布控區域内人員快速移動時産生抓拍事件 本算法規則通常應用于監獄，當有人快速移動時，及時預警
17	黑名單人臉識别預警	本算法規則在視訊内繪制區域,識别布控區域内人員是否為黑名單人員，如果為黑名單人員則産生抓拍事件，及時預警通知安全人員處置等 本算法規則通常應用于機關或社群，或公安布控,及時發現黑名單人員便于從業人員及時處置
18	人車識别跟蹤	本算法規則在視訊内繪制區域,跟蹤識别進入區域内的人員(人臉識别)和車輛(車牌識别),産生抓拍事件 本算法規則應用多攝像頭人員或車輛跨鏡軌迹跟蹤
19	出入人流計數	本算法規則是在視訊内繪制兩條線，即A線和B線，當人員從A線再到B線時，觸發一次人流計數抓拍事件，通常應用于具有方向性的人流計數統計場所
20	未戴手套識别	本算法規則在視訊内繪制區域,識别布控區域内人員未戴手套時産生抓拍事件 本算法規則通常應用于需要戴手套的工作場景，防止員工不戴手套，以免影響衛生或其它安全事件
21	吸煙識别	本算法規則在視訊内繪制區域,識别布控區域内人員吸煙時産生抓拍事件 本算法規則通常應用于消防安全場所
22	有人持刀識别	本算法規則在視訊内繪制區域,識别布控區域内人員有人持刀時産生抓拍事件,及時預警 本算法規則通常應用于校園安全監控
23	未戴口罩識别	本算法規則在視訊内繪制區域,識别布控區域内人員未戴口罩時産生抓拍事件 本算法規則通常應用于廚房或其它需要戴口罩的工作場景，防止員工不戴口罩，以免影響廚房衛生或其它安全事件
24	未戴廚師帽識别	算法規則在視訊内繪制區域,識别布控區域内人員未戴廚師帽時産生抓拍事件 本算法規則通常應用于廚房工作場景，防止員工不戴廚師帽，以免影響廚房衛生環境
25	外來人員人臉識别	算法規則在視訊内繪制區域,識别布控區域内人員不是内部人員時産生抓拍事件 本算法規則通常應用于機關或社群，防止閑雜人員進入
26	白名單人臉識别	算法規則在視訊内繪制區域,識别布控區域内人員是否為内部人員，如果為内部人員則出入口通行放行、關聯開門、考勤記錄、會議簽到等 本算法規則通常應用于機關或社群，防止閑雜人員進入
27	打架行為識别	本算法規則支援識别有人打架行為，及時預警
28	未穿反光衣識别	檢測人員是否穿反光衣,或同行人中是否有人穿反光衣
29	未戴安全帶識别	檢測人員是否未戴安全帶
30	石油石化勞工工服識别	檢測人員是否有穿工裝，目前隻支援中石油中石化勞工工服識别
31	騎車不戴頭盔	支援檢測騎自行車、電動車、三輪車的人員未戴頭盔
32	舉手求救	支援檢測人員舉手方式發出求救信号
33	貨車違規載人	支援檢測各類貨車違規載人，或家用三輪車載人抓拍
34	汽車車牌識别	支援各種汽車号牌識别，相容新能源汽車車牌識别,相容香港車牌識别
35	兩輪電動自動車車牌識别	支援各種自動機車/自行車白牌、黃牌、藍牌号牌識别
36	人數限定	支援設定視訊場景内小于指定的人數參預警或大于指定的人數預警

2.2.3 算法定制能力

     AI-MIS中間件采用元件化架構，是以具有強大的可擴充性，完備的生産工具元件，使得AI-MIS中間件可以支援快速的定制新業務算法，在不需要太多改動上層業務代碼的情況下，高效的研發和訓練生産新型算法規則。

2.3 系統環境說明

     本系統采用跨平台主式編寫底層算法，和上層應用軟體，理論上可以适配支援任何作業系統，目前經過測試的作業系統為ubuntu 18.04 和Windows 7/8/10/12/16 ,本系統資料庫為了更好的适配算法，提高查詢速度和大資料存儲，采用了自研資料庫 AIDB。

• 功能子產品

3.1 實時預覽

3.1.1 AI通道實時預覽

     用戶端預覽功能界面，支援實時預覽AI節點通道實時視訊，該視訊帶有分析疊加效果，支援雲台控制、支援預置位管理、捕圖、畫面輕按兩下放大、全屏等操作。

3.1.2 監控通道實時預覽

用戶端預覽功能界面，支援實時預覽監控攝像頭節點通道實時視訊，該視訊不帶有分析疊加效果，支援雲台控制、支援預置位管理、捕圖、畫面輕按兩下放大、全屏等操作。

3.1.3 視圖管理

    在用戶端預覽功能界面内，支援将已經打開的視訊儲存為視圖模闆，支援建立9999個視圖，可以設定用戶端啟動後自動加載模闆。

3.1.4 雲台控制

    在用戶端預覽功能界面内，支援将已經打開的視訊進行雲台操作，預設支援向左、向左、向上、向上、左上、右上、左下、右下、拉遠、拉近、轉到預置位等操作，支援建立自動定時執行預置位計劃。

3.2 資料查詢

    用戶端具有資料查詢功能界面，支援選中某個通道、事件類型、時間範圍查詢系統智能抓拍通道産生的報警抓拍資料，支援将查詢到的資料(含圖檔)下載下傳到用戶端 本地磁盤。

3.3 統計分析

     系統内器海量統計分析子產品，自動計數每一種事件類型資料，統計粒度最小機關為小時，支援按每日、月、年、時間段、通道等方式快速查詢統計資料。

3.4 檔案管理

系統支援人員檔案管理和車牌檔案管理，人員檔案管理主要應用人臉識别黑白名單和訪客管理應用，黑名單人員主要應用于人臉識别發現黑名單人員預警，白名單人員主要應用于機關内部人員出入口通行管理、考勤和會議簽到管理。

車輛與号牌管理主要應用于出入口車輛通行管理（不涉及收費）。

3.5 系統配置

在系統配置功能子產品内，管理者使用者可以操作設定如下功能：

AI通道相應的攝像頭及分析識别算法應用規則

監控通道相應的攝像頭，及設定是否錄像等

上傳第三方平台http協定配置

關聯郵件發送配置

系統維護操作（系統重新開機、時間同步）

3.6 二次開發

     本系統提從如下二次開發協定接口：

1. 第三方Http 請求協定 ,由使用者向本系統發起http post請求響應操作，系統接收到指令後，執行相應的操作，主要包含：請求系統通道清單，查詢通道的抓拍事件記錄，拉取圖檔，添加人員（人臉），查詢人員，删除人員，檢測人臉，檢測對象等接口
2. 系統主動上傳抓拍事件Http協定, 由使用者在系統配置添加第三方接收ip位址和端口資訊，系統将抓拍事件記錄實時上傳到此第三方ip位址端口，具體協定請查閱相應的文檔
3. Socket方式實時視訊傳輸和抓拍事件實時接收協定， 系統由通過Socket TCP通訊方式向系統拉取視訊流（含分析疊加資訊）、訂閱接收報警事件，詳情可查閱對應的DEMO程式。

• 系統性能參數

序号	項目	備注
1	系統使用者數	最大支援9999個使用者同時線上
2	事件記錄最大數量	最大支援1024億條記錄存儲，查詢響應速度不高于3秒
3	AI伺服器堆疊數量	支援1024台AI伺服器
4	監控攝像頭接入數量	最大支援900000個監控攝像頭
5	抓拍事件接收時間	少于1秒
6	單個AI通道疊加分析規則數量	最大可同時添加16個算法同時運算
7

歡迎電話聯系，一起交流 AI行為分析系統技術開發事宜 TEL&WX: 13570895778