随着國民經濟的快速增長，大陸鐵路正處于高速發展時期，運輸規模不斷擴大，鐵路運輸的安全保障能力面臨着更高的要求。
據統計，在導緻鐵路事故發生的諸多因素中，人為因素占據較高比例[1]。作為列車操縱者，機車乘務員對鐵路行車安全起着至關重要的作用。由于列車運作密度增大，加之作息不規律、機車駕駛環境複雜等現實狀況，機車乘務員承受着較大工作壓力，因機車乘務員疲勞駕駛、個人失誤等原因造成的行車安全事故時有發生。另外，機車乘務員群體中，“三高”及心血管疾病發病率也明顯高于全國平均水準[2]。上述問題都是鐵路行車安全的重大隐患。
本文提出利用人工智能和物聯網技術，建構機車乘務員智能監測系統，實時掌握和評估機車乘務員的作業與健康狀況，預防行車事故。
1. 機車乘務安全管理資訊系統現狀
在現有的機務資訊系統中，針對機車乘務員的管理功能主要有2個方面。
（1）工作流程管理：機務運用安全管理系統中的乘務管理子產品實作派班、待乘、出退勤等管理功能[3]。
（2）值乘狀态管理：通過機車車載安全防護系統（簡稱：6A系統）中的機車自動視訊監控及記錄子系統（簡稱：AVDR系統）可采集和記錄機車乘務員工作狀态的監測視訊。但受限于現有通信傳輸條件，大容量車載監測視訊資料無法實時傳輸到地面系統，隻能由專職人員進行人工轉儲，并依靠檢查人員進行人工抽查，時效性較差，檢查覆寫率低，不能及時發現安全隐患，且人力成本高。此外，受限于檢查人員自身業務素質及經驗等因素，一些安全隐患難以準确判斷，易造成誤判和漏報，檢查效率和準确性均難以滿足管理需求[4]。
目前，國内針對機車乘務員工作狀态實時監測已開展了一些相關研究和應用實踐。如基于DSP的以眼睛閉合度為判斷依據的疲勞檢測[5]、利用智能手環擷取手部加速度資訊的疲勞檢測[6]等。特别是近年來，随着物聯網、大資料、人工智能技術的迅速發展和日趨成熟，可穿戴裝置采集的資料種類日益豐富，為機車乘務員工作狀态和健康狀況的智能化分析提供了新的技術手段。
2. 系統功能
系統采用多種智能感覺裝置，實時擷取機車乘務員在崗過程中的值乘工作狀态和健康狀态資料，利用深度學習技術和前端AI晶片及時識别機車乘務員的危險工作狀态，自動告警，并生成參考建議發送給相關管理人員，增強機車乘務員管理水準，降低機務部門管理成本。
系統功能主要分為工作狀态管理和健康睡眠管理2個方面：（1）工作狀态管理針對的是機車乘務員因疲勞瞌睡、麻痹大意等可能造成的人為失誤、操作不規範等異常工作狀态；（2）健康睡眠管理主要是監測機車乘務員健康名額和監測備班睡眠狀況，為機車乘務員管理和值乘安排提供決策支援。
系統整體功能架構如圖1所示。
圖 1 機車乘務員智能監測系統功能架構
下載下傳: 全尺寸圖檔 幻燈片
2.1 工作狀态管理
動态監測機車乘務員值乘過程中的工作狀态，包括疲勞狀态檢測、行為識别、手比及呼喚應答等規定作業流程的執行情況監測，自動識别異常工作狀态。
2.2 健康睡眠管理
健康管理利用可穿戴裝置（如睡眠帶）等采集機車乘務員待乘、值乘時心率、體溫等重要體征資料，監測機車乘務員當班前的睡眠時長和品質，幫助管理部門更好地掌握乘務員健康動态，可自動叫班，輸出休息合格乘務員名單，作為制定派班計劃的參考依據。
2.3 告警與決策支援
分析判斷機車乘務員的工作與健康狀态，提供告警和通知功能：（1）當機車乘務員的工作狀态、行為、健康體征出現異常時，及時提醒乘務員，遠端通知相關管理人員；（2）利用長期積累的機車乘務員資料（基本資訊、曆史監測記錄、體檢資訊等），分析機車乘務員的工作狀态和健康狀況，生成乘務員畫像，為機車乘務員的值乘安排和管理工作提供更多支援。
3. 總體架構
機車乘務員智能監測系統采用B/S應用模式，系統總體架構劃分為4個層次，如圖2所示。
圖 2 機車乘務員智能監測系統總體架構
下載下傳: 全尺寸圖檔 幻燈片
（1）資料采集層：包括各種資料采集裝置，目前主要有機車駕駛室的攝像頭、擷取體征資料的可穿戴裝置和各類健康監測裝置，自動采集動态監測資料；其中，車載裝置采集的資料可由車載智能子產品實時進行分析，形成初步的分析結果資料。
（2）資料傳輸層：将資料采集層資料實時傳輸到中心伺服器，可采用藍牙、有線網絡、Wi-Fi、LTE或5G網絡等多種通信制式。
（3）服務層：完成采集資料與導入資料的存儲和管理，提供資訊搜尋、資料分析、圖像分析、資料通路、接口等服務，滿足應用層各類業務功能需求。
（4）應用層：根據使用者需求，提供面向使用者的業務應用。
4. 部署方案
機車乘務員綜合監測系統可劃分為地面子系統和車載子系統，系統部署如圖3所示。
圖 3 機車乘務員智能監測系統部署示意
下載下傳: 全尺寸圖檔 幻燈片
車載子系統包含車載機車乘務員資訊采集裝置、車載智能分析子產品、通信子產品。其中，乘務員資訊采集裝置包括：（1）手環、心率貼等可穿戴裝置及相應的藍牙AP，用于采集機車乘務員健康資料；（2）行為采集裝置（如擷取視訊圖像、語音資料的攝像頭、拾音器等）以及車載智能分析裝置，用于實時分析乘務員是否出現疲勞、操作不規範等行為。車載子系統通過無線網絡與地面子系統通信，實時傳送司機狀态的智能分析結果、圖檔、告警消息等。
地面子系統包括：（1）設定在乘務員較高價的電梯大廈内的健康監測裝置、睡眠監測裝置，用于擷取機車乘務員備班休息時的體征資料、睡眠資料；（2）設定在機房内的背景伺服器、物聯網網關、無線通信子產品，背景伺服器的部署可基于雲平台，為後續的系統內建與資料融合預留條件；（3）設定在控制室内的系統操作終端。
5. 關鍵技術
基于人工智能深度學習技術的視訊行為分析是機車乘務員智能監測系統采用的核心關鍵技術。
5.1 人臉關鍵點檢測
人臉關鍵點檢測也稱為人臉關鍵點定位或人臉對齊，基于給定的人臉圖像，能夠定位出人臉面部的關鍵區域位置，包括眉毛、眼睛、鼻子、嘴巴、面部輪廓等。
采用級聯卷積神經網絡（DCNN）[7]，以機車乘務員面部視訊圖像為輸入，實作面部關鍵點精準定位；同時，采用深度對齊網絡（DAN）[8]，将整張圖像作為各級網絡的輸入，以有效消除頭部姿态變化對檢測精度的影響。
當系統檢測到機車乘務員閉眼時，依據設定的閉眼時長門檻值，可将被檢測者的疲勞、瞌睡狀态與正常眨眼區分開，識别出疲勞駕駛狀态；通過對面部關鍵點的關聯分析，還可判斷被檢測者的面部朝向，據此識别出機車乘務員視線脫離前方、駕駛不專注等情況。
5.2 人體姿态估計
基于人體骨骼關鍵點檢測實作人體姿态估計（human pose estimation），判斷機車乘務員是否出現異常姿态以及手比執行情況。
其中，人體骨骼關鍵點對于描述人體姿态、預測人體行為至關重要。利用人體若幹關鍵點（如關節、頭部等）資料可建構人體姿态骨架圖，每個關鍵點定義為一組坐标，将關鍵點連接配接起來描述人體骨骼，判斷人體姿态。随着深度學習技術的進步，通過人體關鍵點檢測實作人體姿态估計的效果會不斷提升。
圖4展示了機車乘務員人體姿态估計模組化與識别效果：左側為基于機車乘務員圖像的人體骨骼關鍵點檢測模型，右側上、下兩圖分别展示在白天、夜晚光線條件下對機車乘務員手比的識别效果。
圖 4 機車乘務員人體姿态估計模組化與識别效果
下載下傳: 全尺寸圖檔 幻燈片
6. 試驗驗證
針對駕駛過程中機車乘務員行為實時分析場景，搭建基于AI智能晶片+深度識别技術的試驗系統。該試驗系統在機車駕駛室内部署攝像頭、嵌入式智能工控機和聲光報警裝置，采集機車乘務員狀态和行為視訊，根據駕駛規範對乘務員的異常行為分類标注，基于深度學習技術，利用機車乘務員的狀态圖像資料進行訓練，建立機車乘務員行為分析模型，部署到車載智能裝置中，對機車乘務員圖像資料進行實時分析。
針對識别的異常行為，系統設定2級響應：1級為語音提醒，發現乘務員異常行為（如視線脫離、疲勞駕駛）時，通過本地語音聲光提醒糾正；2級為遠端報警，當問題未得到及時糾正時，通過無線網絡，将報警事件記錄及乘務員異常行為狀态圖像發送至指定管理部門，并留存備案。
試驗表明：（1）系統可準确識别機車乘務員視線脫離、遮擋攝像頭、疲勞駕駛、手比不合格現象；（2）檢出規則（即視線脫離、遮擋攝像頭等現象産生告警的時間門檻值）、報警級别及對應規則可靈活配置；（3）采用高性能智能車載裝置，體積小，功耗低，能夠保證明時分析的速度。利用此車載智能裝置實時監測機車乘務員工作狀态，識别準确率和效率均能夠滿足管理要求，适用于車載場景，技術和實踐均具備可行性。
7. 結束語
針對機車乘務員工作中的主要危險因素，提出機車乘務員工作狀态智能監測解決方案；采用深度學習技術，對機車乘務員值乘工作狀态圖像進行分類學習，建立機車乘務員行為分析模型，可實作較高的異常工作狀态檢出率，使得機車乘務員工作狀态分析無需再依賴于大量經驗或通過人工進行提取特征。系統采用體積小、功耗低的高性能AI晶片，能夠對車載監測資料進行初步的實時分析。
搭建試驗系統，對車載場景下機車乘務員行為實時分析的效果進行驗證。通過對乘務員備班、值乘、休息等時段進行全面監測，以及時發現問題并實施幹預，保障鐵路機車安全駕駛，突破了目前機車乘務員管理工作中存在的監測手段落後、易漏檢誤判、風險發現滞後等困局。
該方案中，機車乘務員可穿戴裝置采集的大量監測資料和分析結果需實時傳輸到地面系統，對無線傳輸帶寬要求較高。近年來，各鐵路局集團有限公司、地方鐵路企業陸續開展LTE–R和5G技術的應用研究及現場試驗[9]。
目前，系統尚未在實際生産環境中廣泛試用，資料積累不足，對曆史監測資料的深度分析和應用研究有待進一步開展；同時，需要結合實際應用，深化研究基于監測資料的機車乘務員工作狀态分析評價機制和面向管理部門的輔助決策機制，以提高系統分析評價結果的準确性和适用性，增強對機車乘務員安全管理的指導作用；此外，目前研究主要利用重載鐵路駕駛場景的視訊資料，針對旅客列車、動車組列車場景的應用尚待研究和驗證。