截止2020年底，大陸高速鐵路營運裡程已達3.79萬km，覆寫範圍廣，營運場景複雜，涉及不同氣候和環境條件，由自然災害、環境及人為原因引發的安全隐患，如線路塌方落石、接觸網挂附異物、行車裝置破損、重點區域人員入侵、作業過程不規範等時有發生，及時發現和消除這些隐患對保障高速鐵路營運安全極為重要。
目前，綜合視訊監控系統已成為大陸高速鐵路保障營運安全的一種重要基礎設施[1]，可為鐵路車務、客貨運、工務、電務、供電、機務、車輛、資訊和公安等各專業提供實時視訊和錄像回放等功能，為鐵路各業務部門遠端監視現場裝置工況、環境狀況、作業過程提供了一種便捷、高效的技術手段。當裝置出現故障或事故發生後，可利用綜合視訊監控系統的曆史資料回放功能，輔助故障原因分析，進行事故調查驗證。由于綜合視訊監控系統實作的報警功能是基于傳統的視訊移動檢測（VMD，Video Motion Detection）技術[2]，隻能判斷出畫面變化的内容，無法區分目标和背景幹擾，報警準确率不高，妨礙了其成為鐵路各專業安全監控的利器。另外，綜合視訊監控資料尚未與各專業資訊系統的相關資訊有效關聯和融合，造成綜合視訊監控系統的現有應用功能尚存不足和局限性，限制了綜合視訊監控系統的應用成效。
近年來，雲計算和大資料技術已經成為鐵路資訊化融合創新發展的新動力，使得以較低成本存儲和處理海量、高增長的視訊資料成為可能。同時，智能視訊分析技術日趨成熟，廣泛應用在安防[3]、客流監測[4]、機器人[5]、車輛識别[6]、基建現場管理[7]等應用場景，也湧現了越來越多的商用智能視訊分析工具。智能視訊分析系統能夠自動識别出監控視訊畫面中的不同物體，分析出異常情況[8]，進而提供準确的報警資訊，支援從業人員及時進行危機處理；并通過持續的深度學習優化智能分析算法模型，減少誤報和漏報。
為此，本文結合北京—張家口高速鐵路（簡稱：京張高鐵）綜合視訊系統應用狀況和需求調研，開展高速鐵路基礎設施視訊大資料應用系統（簡稱：視訊大資料系統）方案研究，為下一步全面推進該系統研究與開發奠定基礎。
1. 高速鐵路基礎設施視訊大資料應用的可行性分析
目前，綜合視訊監控系統已經成為高速鐵路安全防護的一種重要技術裝備[9]，主要監控範圍覆寫高速鐵路沿線各動車所、部分存車場及站段生産場所等大多數關鍵場所，能夠采集較為全面的高鐵基礎設施動态視訊資料。按照《高速鐵路安全防護設計規範》，針對高速鐵路的綜合視訊監控系統監控點設定要求如表1所示。
表 1 高速鐵路綜合視訊監控系統監控點設定要求
| 監控點 | 監控場所 | 專業 |
| 車站咽喉區、進出站口、檢票口、售票區、候車區、樓扶梯、站前廣場、停車場進出口及落客區、驗證口、安檢區、垂直電梯、站内天橋、道地、站台等 | 車站 | 車務、客運、公安 |
| 公跨鐵橋梁、橋梁救援疏散通道、隧道洞口、治安防範重點地段等 | 區間 | 工務、電務、公安 |
| 通信、信号、資訊、牽引供電、電力機房内外 | 裝置機房 | 電務、資訊、供電 |
京張高鐵作為支撐2022年北京冬奧會的重要交通設施，沿線設定了3600多個監控點，可以采集到京張高鐵沿線許多基礎設施的監控視訊；這些監控點所采集的視訊資料已經全部接入中國國家鐵路集團有限公司（簡稱：國鐵集團）主資料中心。京張高鐵沿線安裝的所有錄影機均具有夜視功能，視訊資料格式統一為MP4格式，分辨率為1920×1080，圖像清晰度較好，從原始資料源頭上保證全天候視訊分析具有較高的準确率，也無需進行轉碼處理。每日采集的監控視訊資料量大約為80 T，集中存儲在主資料中心專用的視訊雲存儲[9]中，儲存周期為3年。
另一方面，目前已經有不少既有鐵路各專業資訊系統接入到國鐵集團主資料中心的資料服務平台，為開展跨系統、跨專業的資料融合與內建應用研究與開發提供了有利條件。為此，以京張高鐵為試點，展開高鐵基礎設施視訊大資料應用切實可行。
高速鐵路列車運作速度快，維修天窗時間短，及時掌握各類基礎設施的狀态和潛在的安全隐患，對保障高速鐵路安全營運意義極為重大。現有的各類高鐵安全監測系統采集的監測資訊内容還不夠豐富，遠遠不能滿足高速鐵路營運安全保障的需要。監控視訊資料是一種具有豐富内涵和洞察力的非結構化資料，其展示形式直覺和生動，一直以來主要在遠端監控、事故調查驗證、輔助裝置設施故障原因分析等方面發揮着重要作用。
為此，選用适用的視訊智能分析技術，利用綜合視訊監控系統采集的各種實際業務場景下海量監控視訊資料進行智能視訊分析，自動檢測高速鐵路沿線處在視訊監控範圍内的基礎設施的異常狀态及行車環境中不安全因素，将複雜多源的監控視訊資料轉化為計算機可識别的、具有明确語義的各類異常事件告警資訊，并将監控視訊資料與既有各專業資訊系統中涉及行車安全、環境安全的監測資訊資料資源進行有效關聯和融合，進一步豐富告警資訊内容，使高速鐵路綜合視訊監控系統采集的視訊資料能夠發揮更大的使用價值。
2. 系統方案
2.1 建設目标
（1）面向高速鐵路基礎設施運維管理提供監控視訊結構化分析平台
監控視訊資料價值密度相對低，在一個小時的監控視訊資料裡，往往僅隻有幾秒鐘的資料具有使用價值。目前，綜合視訊監控系統采集的視訊資料以非結構化形式存儲，當事件發生後需要追查時，難以快速、高效地檢索所需視訊内容。
高速鐵路沿線設定的視訊監控點一般都有較為确定的典型資料采集場景、固定的監控範圍和拍攝角度。對高速鐵路沿線所有監控點的監控目标開展全面、細緻的調查，找出涉及線路設施、軌旁信号裝置、接觸網、機房等重點區域、自然災害易發地段的所有監控點，并利用這些監控點的曆史視訊資料進行分析，确定資料具有使用價值的監控點清單，将這些監控點采集的視訊資料作為視訊大資料系統的資料源；并根據這些監控點監控目标的類型及可能出現的異常事件，定義各個監控點的視訊摘要模闆、特征資料及視訊濃縮方案。通過視訊資料标注處理，根據監控視訊資料自身蘊含的語義和内容層次，為視訊資料添加明确語義标簽和清晰層次結構，以便于視訊資料的存儲組織、管理和使用，提升海量監控視訊資料的檢索效率。同時，隻有制作出準确标注的視訊資料集，才能利用智能視訊分析算法完成準确的目标檢測、識别和行為分析，從視訊資料中精準捕獲異常事件。
（2）實作視訊資料與相關業務資料的有效關聯與融合
目前，綜合視訊監控系統采集的視訊資料還是相對封閉的資料孤島，未與相關業務資料進行有效關聯和融合，綜合應用難以開展，海量監控視訊資料的潛在價值尚未得到有效挖掘。添加了索引和标簽的監控視訊資料在被賦予明确的語義和一定的結構層次後，具備了與其它專業資訊系統的結構化資料進行關聯和融合處理的基礎。為此，通過資料接口從相關業務資訊系統中擷取與監控視訊中目标對象的有關各種屬性資料，一方面可利用屬性資料完善智能視訊分析算法，提高智能視訊分析的準确性；同時，可建立監控目标的資料立方體，支援多角度探索，進行關聯分析及趨勢分析；此外，實作與地理資訊系統（GIS，Geographic Information System）資訊內建，可以實作基于鐵路網電子地圖的監控點視訊浏覽、監控點屬性及告警門檻值設定、報警關聯等應用功能。
（3）開展視訊智能分析并實作異常告警閉環管理
利用智能視訊分析技術，自動檢測監控點現場出現的異常事件，并根據告警處置規則，将告警資訊連同經結構化處理後的相關視訊資料的索引，主動推送給排程人員和基礎設施運維人員，使其及時地掌握監控點現場動态，以采取針對性處置措施，同時還可使視訊監控成為人工線路巡檢的有益補充，減少不必要的人工巡檢工作。此外，實作多專業系統關聯的告警處置閉環管理，更好地支援多專業共同應對安全事件的協同能力，高效實施搶修，避免事故的發生，或為救援指揮人員組織事故救援工作提供一種便捷工具，促進高速鐵路營運管理精細化，提高高速鐵路安全保障能力。
（4）提供定制化查詢功能和資料共享服務，充分發揮監控視訊資料的應用價值
面向高速鐵路基礎設施運維管理、環境安全及列車運作安全監控等業務，為國鐵集團、路局、站段不同業務層面使用者提供便捷的定制化監控視訊資料及智能分析結果查詢功能，在事故調查、故障分析、現場救援、線路裝置搶修等多種業務場景下，使用者能夠友善快捷地查找和浏覽曆史監控視訊資訊及現場動态監控資訊；同時，依托資料共享平台，通過微服務網關，向各業務資訊系統提供定制化監控視訊資料共享服務，促進鐵路資訊系統的內建與業務融合創新。
2.2 總體架構
高速鐵路基礎設施視訊大資料應用系統依托國鐵集團主資料中心的雲計算資源和平台即服務（Platform as a Service，PaaS）建構，主要包括監控視訊結構化分析平台、視訊綜合應用、資料互動接口3個部分，如圖1所示。
圖 1 高速鐵路基礎設施視訊大資料應用系統總體架構示意
（1）監控視訊結構化分析平台：主要包括視訊資料抽取/轉換/加載（ETL，Extract-Transform-Load）子產品、視訊結構化存儲、視訊資料标注工具庫、綜合分析資料庫、智能視訊離線分析算法庫、智能視訊線上分析算法庫、資料關聯與融合處理子產品。
其中，視訊資料ETL子產品從綜合視訊監控系統彙集到主資料中心的視訊雲存儲中，抽取高速鐵路沿線基礎設施監控視訊資料，進行初步的結構化處理（如添加摘要、基本索引、分層标簽、視訊濃縮等）後，存入視訊結構化存儲中。
視訊資料标注工具庫用于對視訊資料添加更為豐富的索引、标簽，完成細化目标标注，使視訊資料更便于查詢和浏覽，并用于制作訓練特定智能視訊分析模型的資料集。
智能視訊離線分析算法庫是一組用于智能視訊分析工具，針對某個具體監控點或監控類型的特定目辨別别和事件分析任務，分析人員利用标注好的資料集對算法模型進行訓練，得到性能和準确性均滿足應用需求的視訊分析算法模型，經過驗證的算法模型歸并到智能視訊線上分析算法庫中。
智能視訊線上分析算法庫是一組經過測試驗證、針對特定視訊分析任務的算法元件，由管理者按照預先制定的運作政策部署運作，完成對來自特定監控點的視訊資料的分析處理，生成的異常報警資訊存入綜合分析資料庫。
綜合分析資料庫是一個可支援聯機分析處理（OLAP，OnLine Analytic Processing）任務的資料庫，集中存儲來自外部系統的相關資料、智能視訊分析生成的異常報警資訊，可根據綜合分析的需要，将資料組織成資料立方體。
資料關聯與融合處理子產品對來自外部系統接入資料接口的相關資料進行抽取和轉換，并将這些資料與視訊大資料系統自身的結構化視訊資料和報警資料進行關聯和融合，生成面向綜合分析應用的資料存儲在綜合分析資料庫中。
（2）視訊綜合應用：采用B/S架構，面向國鐵集團、鐵路局集團公司、站段、工廠中的房間4個業務層面使用者，提供針對多種應用場景（包括事故調查驗證、裝置故障分析、事故救援、現場搶修等）的定制化視訊查詢功能；同時，基于微服務架構，為各專業資訊系統提供所需的定制化視訊資料共享服務。
（3）資料互動接口：完成與外部資訊系統的資料互動，包括外部資訊接入接口和視訊資料共享服務接口。
其中，外部資訊接入接口依據資料接入接口協定，從綜合維修系統擷取基礎設施裝置（包括線橋隧、接觸網、軌旁信号裝置、機房等）技術台賬資料，從鐵路安全監督管理系統擷取事故故障資訊，從高速鐵路自然災害及異物侵限監測系統（簡稱：災害監測系統）擷取天氣、災害、異物侵限資訊，從列車排程指揮系統（TDCS，Train Dispatching Command System）擷取高速鐵路列車運作計劃和實績資訊；調用鐵路地理資訊服務平台GIS服務，生成用于展示和浏覽導航的GIS鐵路網電子地圖。這些外部系統通過視訊資料共享服務接口，調用視訊大資料系統提供的定制化視訊資料共享服務。
2.3 邏輯架構
按照系統技術構成要素的功能層次，高速鐵路基礎設施視訊大資料應用系統劃分為基礎設施層、資料存儲層、資料處理層、資料服務層、查詢分析應用層，如圖2所示。
圖 2 高速鐵路基礎設施視訊大資料應用系統邏輯架構示意
（1）基礎設施層：提供系統運作的基礎軟硬體環境，主要包括存儲海量視訊資料的分布式檔案系統（HDFS，Hadoop Distribute File System）和分布式資料庫（HBase）、存儲綜合分析資料的資料庫伺服器（MySQL） 和記憶體資料庫伺服器（ Redis）、提供定制化查詢功能的應用伺服器（ Weblogic）、通信伺服器（Rabbit MQ），均采用虛拟化叢集配置，確定系統高性能、高可靠性和可擴充性。
（2）資料存儲層：基于分布式資料存儲架構實作視訊結構化存儲，視訊濃縮和分級分區域存儲，提高視訊資料的檢索效率和浏覽進度；從其它系統擷取的關系型資料存儲在關系型資料庫，關聯融合後的結構化資料可按照多元立方體形式存儲。
（3）資料處理層： 完成基礎設施監控視訊資料的抽取、清洗，手工或自動生成視訊的索引、摘要初步标注；完成從其它系統采集的接口資料的抽取以及初步的關聯和融合處理；使用Hadoop MapReduce分布式計算模型來運作智能視訊分析算法元件，完成基于網格計算的海量視訊實時處理和高并行視訊分析計算。
（4）資料服務層：包括基礎服務、資料接口服務以及業務服務，使用Spring Cloud 實作服務治理；其中，基礎服務提供日志記錄、使用者與使用者組管理、系統運作參數配置、GIS 鐵路網圖生成等功能；資料接口服務以微服務形式，提供與相關業務資訊系統的資料采集、資訊互動及共享資料通路服務；業務服務為本系統查詢應用層功能提供資料通路服務。
（5）查詢應用層：面向本系統最終使用者提供查詢和分析功能，使用者通過浏覽器通路Web應用伺服器，擷取各類定制化查詢和資料分析功能。
3. 主要功能
高速鐵路基礎設施視訊大資料應用系統主要功能包括視訊資料抽取清洗與标注、資料關聯與融合、智能異常檢測、報警閉環管理、視訊查詢與共享、系統管理，系統功能結構如圖3所示。
圖 3 系統功能結構
3.1 視訊資料抽取、清洗與标注
（1）視訊資料抽取：依據監控視訊資料價值調查分析後确定的監控點清單，按照系統預定義監控點視訊摘要模闆、特征資料及視訊濃縮方案，從綜合視訊監控系統的視訊資料存儲中抽取這些監控點的視訊資料，形成初始的結構化監控視訊資料存儲；根據監控點不同監控目标的特性、智能視訊分析的要求以及查詢浏覽的具體需求，按實時抽取、分階段抽取、定期彙總抽取3種方式完成資料抽取。
（2）視訊資料清洗：利用智能分析算法，自動檢測錄影機是否存在成像異常和取景範圍異常的情況，将夜視成像異常和取景範圍異常的視訊資料添加标記，并将其從智能視訊分析資料集中剔除。
（3）視訊資料标注：針對視訊結構化查詢和視訊智能分析應用需求，采用人工和自動化工具相結合的方式完成視訊資料标注；針對視訊結構化查詢的視訊資料标注，主要是基于對視訊内容的分析和了解，為抽取的監控視訊資料建立語義索引和層次結構，以友善使用者檢索和浏覽查詢；針對視訊智能分析的視訊資料标注，主要是制作用于訓練智能分析模型的資料集，一般需要根據畫面中需要識别的目标及其行為（或事件），對視訊中每一幀圖像标注好其分類，以及對其進行語義分割及執行個體分割，甚至于全景分割。
3.2 資料關聯與融合
（1）基礎設施資訊關聯融合：根據監控點清單，從綜合維修系統中擷取各個視訊監控點上監測目标所對應的基礎設施裝置（包括線橋隧、接觸網、軌旁信号裝置、機房等）技術台賬資料，将存儲在結構化資料庫中，并建立與監測目标的關聯關系。
（2）災害監測資訊關聯融合：從高鐵災害監測系統擷取高鐵沿線天氣資訊（如雨、雪、大風等），可用于為智能視訊分析模型增加天氣因素，同時可監控視訊資料加注天氣類型标簽。
（3）事故/故障資訊關聯融合：從鐵路安全監督管理系統擷取高速鐵路基礎設施相關的事故/故障資料，作為确定系統監測點清單的分析資料（如确定事故多發地段），同時也可為事故地點監控視訊添加事故/故障摘要資訊。
（4）GIS鐵路網圖：從鐵路GIS擷取GIS 鐵路網圖，可以通過電子地圖實作監控點調看、設定、報警關聯等。
（5）列車運作資訊關聯融合：高鐵沿線的通信鐵塔及高層建築上安裝的視訊監控攝像頭可采集到動車組運作視訊，從列車排程指揮系統（TDCS，Train Dispatching Command System）中擷取高速鐵路列車運作計劃和實績資訊，可将沿線這些監控點采集到的動車組視訊片段彙編成動車組沿途追蹤視訊。
3.3 智能異常檢測
針對不同類型視訊監控點對異常識别實時性的不同要求，按照實時處理、分階段處理、定期彙總處理3種異常檢測模式，通過智能視訊分析算法模型完成監控目标的異常檢測，生成異常檢測分析結果，并将分析結果連同相關視訊索引一并存入綜合分析資料庫中，供使用者查詢異常資訊和檢索相關視訊。
（1）結構物位置偏移檢測：對隧道口邊仰坡、路塹邊坡、上跨橋等結構物的過車前後視訊進行智能分析對比，判斷是否發生移位；當偏移量超出系統設定的門檻值門檻值時，判斷該結構物出現位置偏移異常，并自動抽取該結構物在若幹個時段的不同視訊片段的索引，友善使用者檢索視訊進行異常情況比對。
（2）軌旁信号裝置外觀異常檢測：對應答器、箱盒、橋槽蓋闆等軌旁信号裝置建立資料樣本集，實作基于深度學習的軌旁裝置外觀異常檢測；當檢測出裝置外觀異常時，自動抽取該裝置外觀異常視訊片段的索引，友善使用者檢索視訊來了解裝置具體情況。
（3）接觸網異物檢測：對接觸網異物的易發區段視訊進行智能分析，利用出現鳥窩、風筝、塑膠袋等異物的監控視訊圖像資料建立資料樣本集，實作基于深度學習的接觸網異物檢測；當檢測出接觸網存在異物時，自動抽取接觸網異物視訊片段的索引，友善使用者檢索視訊來了解具體異物情況。
（4）重點區域人員入侵檢測：采用基于深度學習的目标檢測算法，對裝置機房等重點區域人員入侵進行檢測；當檢測出人員入侵行為時，自動抽取入侵人員進入該區域内的整段視訊的索引，供相關人員詳細掌握人員入侵過程。
3.4 報警閉環管理
系統自動生成異常報警通知，并主動推送相關使用者；相關人員到現場核查和處理後，使用者及時回報現場核查與處置情況，實作異常告警閉環管理。
（1）報警通知推送：當視訊智能分析子產品檢測出異常時，告警引擎會根據按業務規則自動生成預警通知，向相關使用者推送告警資訊及處置建議；使用者在手機App或監控終端浏覽器監控頁面上收到告警資訊時，可點選告警資訊附帶的監控視訊連結，下載下傳檢視相應的視訊；若使用者在指定時限内未确認收到告警資訊，或是未按要求回報報警處置報告，系統均以明顯的聲光或閃爍圖示提醒使用者。
（2）報警處置報告：接收到告警資訊及處置建議的使用者，需要在現場核查和處置完畢後，或是指定的有效期限内，報告報警處置結果，包括現場核查情況、已處置結果、未處置的原因等；依據報警回報資訊，系統可以發現虛警情況。
（3）報警處置監控：系統将報警分為待處置、處置中、已處置、未處置4種狀态，超級使用者（通常是排程或專職管理人員）可以檢視所有報警的目前狀态，掌握全線視訊監控異常報警整體狀況，對未按要求處置報警的相關人員進行監督。
（4）告警規則管理：提供告警規則編輯功能，系統管理者按照崗位職責、業務處理要求及處理時限，設定各種異常事件的告警規則；告警通知引擎會按照告警規則的設定，自動生成告警資訊和處置建議。
3.5 視訊查詢與共享
面向各類使用者提供便捷的定制化視訊資料查詢功能，滿足各種業務場景（包括事故調查驗證、裝置故障分析、事故救援、現場搶修等）下，查詢和浏覽監控視訊的需求；根據其它鐵路業務資訊系統的視訊資料共享需求，以微服務方式，提供基礎設施監控視訊及動車組沿途追蹤視訊資料共享接口服務，友善相關系統利用視訊大資料系統提供的共享視訊資料，開展增值應用的開發。
（1）線路設施監控視訊：根據線路公裡标、運作方向、線路設施編号、時間段、是否告警等條件，提供線路設施監控視訊彙編。
（2）信号裝置監控視訊：根據線路公裡标、運作方向、線路設施類型、時間段、是否告警等條件，提供軌旁信号裝置監控視訊彙編。
（3）接觸網設施監控視訊：根據線路公裡标、運作方向、線路設施類型、時間段、是否告警等條件，提供接觸網設施監控視訊彙編。
（4）重點區域監控視訊：根據線路公裡标、重點區域名稱/編号、時間段、是否告警等條件，提供重點區域監控視訊彙編。
（5）動車組沿途追蹤視訊：根據車次、運作時段、線路區段和運作方向，将高速鐵路沿線通信鐵塔及高層建築物上的多個監控點采集到的動車組運作視訊片段彙編成一個動車組沿途運作追蹤視訊。
（6）監控視訊目錄與索引：基于本系統處理過的結構化視訊資料，提供分線路區段、分基礎設施類别、分報警級别、分監控時間段的監控視訊目錄及關鍵字索引，友善使用者搜尋所需監控視訊。
3.6 系統管理
（1）使用者與使用者組管理：采用基于角色的使用者通路控制，提供角色、使用者、使用者組建立、修改、删除等操作；角色和使用者定義主要對應于各項系統功能使用操作權限；使用者組則确定了異常告警事件及關聯視訊資訊的共享範圍，用于确定系統接收系統主動推送某類資訊的目标使用者群。
（2）運作參數設定：設定影響系統任務執行時機、資料處理方式、應用功能顯示方式等各類參數；例如，設定重點事件置頂顯示參數，系統管理者可從告警事件庫中選擇若幹個告警事件作為Web應用首頁置頂顯示的通告内容。
（3）基礎資料維護：提供各類基礎資料字典的維護。
（4）監控點清單管理：依據監控視訊資料價值調查分析結果，确定視訊大資料系統需要從綜合視訊監控系統中抽取視訊資料的監控點，并完成監控點清單配置資訊的錄入；設定每個監控點的預定義視訊摘要模闆、特征資料及視訊濃縮方案；設定每個監控點的視訊資料抽取方式，實時抽取、分階段抽取或定期彙總抽取；視訊資料抽取子產品根據監控點清單設定資訊，自動完成視訊資料的抽取、摘要生成、特征資料提取及視訊濃縮處理。
（5）日志管理：系統提供多種日志記錄和統計分析，包括使用者登入日志、使用者記錄檔、視訊抽取日志、視訊标注日志、智能視訊分析日志等；使用者登入日志記錄使用者登入資訊，使用者記錄檔記錄使用者在系統中的操作過程，主要用于安全審計；其它日志記錄系統主要處理元件的運作過程，主要用于故障分析和性能調優。
視訊大資料系統的運作監控将納入主資料中心的運維監測平台，利用健康與應用性能監控元件，提供統一的可視化監控界面，對視訊大資料系統的核心元件運作狀态實行7×24 h 健康監控與異常預警，保證系統持續穩定運作。
4. 關鍵技術
4.1 視訊标注技術
實作海量的非結構化監控視訊資料的快捷檢索和智能分析，需要将複雜多源的監控視訊資料轉化為計算機可識别的、具有明确語義的資訊。視訊标注為視訊語義轉化提供了一條有效的途徑，根據視訊内容不同的語義概念，給視訊資料标記上關鍵字和注釋，建立視訊索引，實作對視訊内容的有效分類群組織管理。通常，計算機視覺底層特征與高層語義的聯系，難以找到較為通用的解決方法。而在綜合視訊監控系統中，每一個監控點的視訊内容都具有基本一緻的時域結構和場景語義，都有相對固定的主題、目标和語義事件，根據領域相關的語義事件，易于提取使用者真正關心的資料。例如，對于裝置機房等重點區域人員入侵檢測，可定義人員進入、退出、開關門等語義事件。視訊标注完成對視訊監控目标和語義事件的檢測與識别，按照事先定義好的目标類别和事件類型，對視訊片段進行辨別，以實作基于内容的視訊分析和檢索。對于具有較強結構性特點的視訊資料，在語義标注之後，還可以通過視訊标注序列的分析，生成監控視訊的層次浏覽結構，自動生成分層組織的視訊浏覽目錄。
每個視訊監控點一般都有較為确定的典型資料采集場景、固定的監控範圍和拍攝角度。針對特定類型基礎設施的監控視訊畫面中，待識别目标類别一般較為确定，可分析的特定行為（或異常事件）也相對明确，屬于特定場景下針對特定目标的視訊分析應用，有利于實作較為高效、準确的人工智能（AI，Artificial Intelligence）算法。對于深度學習和計算機視覺，訓練資料的品質對訓練結果有着至關重要的影響。而取得這些資料主要途徑就是完成監控視訊資料标注，針對特定任務進行學習和推理，獲得較高的目辨別别和事件（或行為）分析的準确率。資料标注可以由人工使用資料标注工具，或是由資料标注軟體自動完成；通常，人工資料标注的結果比較可靠，自動資料标注一般都需要人工二次複核，避免程式處理錯誤。
以接觸網監控視訊為例，從曆史監控視訊資料中抽取接觸網出現異物的視訊碼流，如在鐵路沿線周邊有農用地膜、城市防塵網和工地彩鋼房的區段，利用支援圖像分類、對象檢測框、圖像語義分割、執行個體分割資料的标注工具，截取視訊圖像，并提取神經網絡特征，計算圖像之間的特征值，若特征值達到一定門檻值，則系統自動發出報警。
為做好監控視訊資料标注，首先需要對綜合視訊監控系統提供的監控視訊資料的内在特性進行全面、細緻的調查與梳理，明确每個監控點位置、錄影機安裝位置（如通信鐵塔、建築物等）、監控方向（線路上行/下行）、典型監控場景、主要監控對象及其狀态事件、次要監控對象及其狀态事件、适用的業務範圍，以便準确制定每個監控點的視訊資料标注方案。此外，利用在災害監測系統中擷取的天氣資訊（雨、雪、大風等），還可在智能視訊識别算法模型中加入天氣等影響識别準确率的因素。
4.2 錄影機成像異常分析與取景範圍異常分析算法
夜視錄影機成像異常分析與取景範圍異常分析是視訊資料清洗的基礎，用于将存在異常的監控視訊資料從視訊分析資料集中剔除，確定視訊分析的效率和效果；同時，夜視錄影機成像異常與取景範圍異常本身也是一類裝置故障，會觸發報警。
（1）夜視錄影機成像異常分析算法：計算圖像中像素強度分布及每一個強度值所具有的像素個數，判斷雷射相機的夜視狀态是否開啟；将圖像中RGB值換算為亮度值并進行比較，若圖像像素強度分布或每一個強度值所具有的像素個數低于設定門檻值，自動判斷出雷射夜視光斑打開、雷射夜視未打開及異常的情況。定期在設定時間範圍内抽取各個監控點視訊碼流，使用夜視錄影機成像異常分析算法，判斷雷射相機的夜視狀态是否正常。對于虛警和漏報的情況，可抽取對應視訊樣本對算法進行訓練和測試，提高算法精度和适用範圍，提升識别準确率。
（2）受大風等較惡劣天氣的影響，錄影機的取景角度會發生偏斜，導緻拍攝的圖像可能無法覆寫使用者關注的取景範圍。取景範圍異常分析可采用基于金字塔Lucas-Kanade的跟蹤算法，精确計算出圖像偏移，據此測算錄影機監視角度偏移量；設定合适的門檻值參數，以準确判斷出錄影機監視角度偏移量。
4.3 智能視訊分析技術
主流的視訊智能分析技術大多采用監督式學習（supervised learning）算法，視訊資料集的有效性和品質很大程度上決定了視訊智能分析結果的準确性。要在以幀為機關在一系列圖像中識别和跟蹤物體，必須對視訊資料進行有效标注，再将标注後的視訊資料作為資料集，用于訓練智能視訊分析模型，模型經過測試驗證後可用于特定的計算機視覺應用。可以說，視訊标注是實作視訊智能分析的技術關鍵，視訊索引和标簽越準确，模型的表現就越好。智能視訊分析技術包括運動目标檢測、運動目标跟蹤、目辨別别、目标行為識别與了解、運動目标異常行為識别5種類型。
運動目标檢測是智能視訊分析的基礎，主要任務是從監控視訊圖像中将變化區域（如裝置外觀破損或結構缺失、列車、行人、異物等）從背景中提取出來。例如，分析乘客上車時在車門處的擁擠程度，是否有誤傷情況，根據需要進行客流疏導，保證營運安全。運動目标檢測主要算法有3種：幀間差分法、背景差分法和光流法。
運動目标跟蹤即通過目标的有效表達，在視訊中尋找與目标模闆最相似候選目标區位置的過程。運動目标跟蹤算法主要分為4類：基于主動輪廓的跟蹤、基于特征的跟蹤、基于區域的跟蹤和基于模型的跟蹤。
運動目辨別别是指根據監控視訊圖像中目标内容，自動将其劃分到預定義類别，運動目标分類的效果直接影響到系統後期目标行為了解與描述。基礎設施監控視訊中需要識别的主要目标是每個監控點相對固定的監控對象，以及可能出現的種類有限的異物或行人。
運動目标檢測、分類和跟蹤屬于智能視訊分析中底層和中層處理部分，而行為識别是将測試序列與預先标定的代表典型行為的參考序列進行比對，以确定測試序列的行為類别，并判斷該行為是否屬于異常行為，屬于智能視訊分析中高層處理部分。對于基礎設施監控視訊，行為識别與了解主要是對基礎設施裝置外觀破損缺失、進入監控區域的行人或出現的異物的了解與識别。行為識别方法主要有模闆比對法和狀态空間法。異常行為（事件）往往具有突發性大、不可預知、持續時間短、無周期性等特點，異常行為識别的關鍵是如何從學習樣本中擷取參考行為序列，并且學習和比對的行為序列必須能夠處理在相似的運動模式類别中空間和時間尺度上輕微的特征變化。針對特定的場景進行異常行為（事件）檢測，常用方法有基于模型的異常行為檢測方法和基于相似度的異常行為檢測方法。
以接觸網異物檢測為例，通過對比兩張圖像的相似度，檢測出異物的特定位置。從曆史監控視訊資料中抽取接觸網出現異物的視訊碼流，在接觸網異物多發地段，如鐵路沿線周邊有農用地膜、城市防塵網和工地彩鋼房等，采集來自該地段内錄影機的監控視訊圖像，通過智能視訊分析的監控視訊，能夠及時發現接觸網異物，例如圖4所示的鳥窩。
圖 4 接觸網異物檢測（鳥窩）
對于虛警和漏報的情況，抽取對應的監控視訊作為樣本集，用于改進異物檢測算法。
5. 結束語
結合對京張高速鐵路中綜合視訊監控系統應用現狀及視訊資料潛在應用需求的調研，分析開展高速鐵路基礎設施視訊大資料應用的可行性，明确系統建設目标，提出系統總體架構和邏輯架構，探讨其主要應用功能及關鍵技術，為全面推進系統研究與開發奠定基礎。
視訊大資料系統以基于智能視訊分析的基礎設施異常報警及其閉環管理為核心功能，将綜合監控系統采集的海量視訊資料轉化為輔助高速鐵路基礎設施運維管理和強化營運安全保障的重要資訊資源。該系統提供監控視訊結構化分析平台，通過視訊資料标注，實作視訊資料的結構化組織和存儲管理，不但可為智能視訊資料分析提供準确有效的資料集，也為鐵路資訊資源整合和綜合應用開發提供了有利條件；此外，提供監控視訊定制化查詢功能和資料共享服務，有助于提升視訊資料應用價值，促進鐵路資訊系統內建化發展與融合創新。
确定監控點清單是推進視訊大資料系統研發的起點和基礎性工作，決定了監控視訊資料采集、清洗和标注的具體方案，也是選擇适用視訊标注工具和智能視訊分析技術，以及設計算法模型的依據。下一步，将在京張高鐵相關業務部門的支援下，全面深化監控點清單的調研和分析工作。