“讓尊重事實、推崇理性、強調精确、注重細節的理念，貫穿公共安全工作的全過程。善于從多源的、分散的、碎片化的大資料中找到規律。”——孟建柱
平安城市系統中車輛大資料的發展背景
随着經濟快速發展，城市機動車保有量持續增加，不僅加大了交通管理的難度，而且涉車涉駕的案件比例也不斷上升，特别是盜搶機動車輛、機動車肇事逃逸以及涉車類刑事案件，嚴重影響了社會治安狀況，損害了人民群衆利益。而随着平安城市建設的擴大深入和資源整合，公安通過自建卡口電警系統加強了車輛管控，掌握了大量的車輛卡口資料和圖檔。
過車資訊的爆發式增長得益于三個方面：
一、按照中共中央辦公廳和國務院辦公廳印發《關于加強社會治安防控體系建設的意見》關于各地加快公共安全視訊監控系統建設，全面提高社會治安防控體系的科技化水準要求，前端車輛抓拍點位的建設規劃品質、成像效果等直接影響車輛大資料研判系統應用成效的因素都會提出優化和改進措施。包括：根據城市地域特點和布局規劃，道路按照“科學布局、圍繞實戰、建用結合”的方法，通過治安卡口防控系統，基于“圈”、“塊”、“格”、“線”、“點”的邏輯布局，在全市建構技術防控“圈”、責任明晰的管控“塊”、基本封閉的單元“格”、掌握人車動态的軌迹“線”，以及防控有效的關鍵“點”，進而實作“區域全面監控、時空無縫銜接、目标全程追蹤”的防控效果。
二、前端錄影機的智能化水準提升，使得車牌識别技術在正常視訊監控系統中得到快速普及。以往需要在路口部署标準的卡口錄影機，現在可以在路段中間部署簡易卡口錄影機，在對普通監控場景錄像的同時自動捕獲和識别車輛和車牌資訊；此外，對社群出入口、加油站、停車場出入口等車輛進出口部署微型卡口錄影機，利用地形封閉的特點，對出入車輛實作自動抓拍和識别。
三、深度學習技術的發展，推動了圖檔結構化和特征提取的能力。早期建設的卡口系統，智能分析能力弱，圖檔品質以及車牌識别準确率較低，經常要根據品牌型号顔色等車輛自身固有資訊，從海量過車圖檔或視訊中，人工查找目标車輛，由于一線警力有限、勞動強度大、車型種類多、光線角度不确定等因素，無法保證查找的準确性和時效性，特别是突發緊急事件，經常贻誤最佳處理時機。通過使用車輛深度學習系統，對前端卡口或簡易卡口擷取的過車圖檔進行特征結構化分析識别，充分挖掘海量的卡口過車圖檔中有價值資訊，不但可以提高車牌車型的準确率，而且增加了車輛特征的識别資訊，實作了車輛子品牌、車身顔色、不系安全帶、駕駛員接打電話、遮陽闆狀态等識别檢測功能，對過車資料進行精細化校正，擺脫了傳統單純依靠車牌進行分析研判的單一手段，為卡口電警資料提供了更加豐富實用的車輛防控應用，可以實作對高危車輛的有效預警防控，優化警力部署進行針對性車輛排查，可以在大量涉車涉駕案件中有效鎖定嫌疑車輛，提高刑事偵查效能，使治安防控手段從事後被動偵查向事前主動預警轉變。
大資料提升城市治安及管理水準
大資料的價值在于通過對大資料進行高速捕獲和實時分析，及時擷取核心業務和戰略決策所需的關鍵資訊，提升管理決策水準。
依據統計學，任何動态發展的事物，隻要有足夠多的樣本資料，就一定能從樣本資料中找到動态發展的規律。資料越多，準确率越高，這就是資料的價值所在。對于商業應用，可以通過資料分析使用者行為規律進而提高銷售量、分析市場規律進而定點投放廣告降低成本；對于公安行業，可以通過資料分析區域性犯罪趨勢，提前預防進而降低犯罪率，可以分析交通行為規律，提前做交通疏導，提高交通通暢率。
2016年1月，政法委書記孟建柱同志提出大資料的八個推動，要求：1、推動理念創新，順應網際網路時代的要求，确立合作、互通、共赢理念。2、推動風險共擔，運用衆創、衆包、衆智理念，讓大衆的問題由大衆來解決。3、推動“資料文化”，堅持用資料說話，防止拍腦袋随意決策。4、推動創新風險預警機制，探索“人力+科技”、“傳統+現代”的風險預警模式。5、推動科技運用創新，大資料表示的是過去，但表達的是未來，得資料者得未來。6、推動運用新技術，加強基層基礎建設，把“不起眼”的資訊彙集起來。7、推動社會信用體系建設，堅持推行實名制和保護公民個人資訊安全并重。8、推動國家資訊安全維護，避免被他國“竊奪”資料資訊控制權。
大資料通過對海量資料的整合和挖掘，揭示傳統技術方式難以展現的關聯關系，還可以預警風險，及時切斷風險鍊。例如：
針對堵車現象，實時采集車流資料，自動控制信号燈，讓堵車能有所緩解。
針對城鄉結合部“治安盲區”，采集人口流動資訊，分析出潛在風險，警力針對性地科學調配。
針對保險理賠，通過社會資訊搜集分析系統，上海等地正積極探索商業保險公司參與社會治理，将保險事務由“事後理賠”轉為“事先風險防範”。
針對聚集疏導，通過關鍵詞搜尋技術、熱力圖技術、電子巡邏技術等，探索預測人群聚集苗頭和動向，人員過密時及時提示預警，适時分流人群。
針對犯罪熱點，內建公安專業資料，實時掌握犯罪軌迹、預判犯罪熱點，提高防範打擊犯罪的水準。
針對安全生産，工程建設特别容易出事，建立工程建設監管和信用平台，以大資料為依托，“全程留痕”，讓監管“無死角”。
車輛大資料實際使用中面臨的問題
大資料的特征是大量性（規模超大、不斷攀升）、高速性（高速産生、處理高效）、多樣性（種類多樣、來源多樣）、低密性（有用資料提純）。海量資料給正常技術（擷取存儲管理、處理傳遞共享、關聯聚類分析）帶來了衆多挑戰——雖然資料很多，但是有用的資料隻有34%，好用的資料僅有7%，被分析的資料更是少到隻有1%。如何在海量的資料中提取出有價值的資訊需要多學科多技術的研究。目前的特點是大資料、小模型、小定律交叉，即使是同一類問題，每個系統也都不一樣，是以模型和程式要針對資料設計。結構化資料通過資料庫或者資料倉庫解決，半結構化資料使用網頁和搜尋引擎等技術解決，非結構化資料使用深度學習、網絡互動和群體智能解決。
幹警在實戰使用中，最主要的操作應用是查詢車牌資訊和其他過車記錄以便掌握線索。面對動辄幾十億、上百億甚至千億級别的海量過車資料的存儲和查詢壓力，如何進行可靠存儲和高效應用？傳統的普通關系型資料庫解決方案和技術手段存在檢索難、并發難、挖掘難、擴容難、應用難等一系列問題，速度慢、準确性差，需要投入大量的精力和資源進行技術更新改造。是以，及時準确擷取各類相關資料并建構大資料處理模型是建設平安城市大資料中心的前提，而這一難題目前正逐漸通過先進的大資料技術進行解決。
車輛大資料的幾項關鍵技術
1、海量資料檢索
資料檢索作為大資料最基本的應用，分布式記憶體檢索引擎通過将海量資料在叢集各個節點建立索引，并高速緩存在各節點記憶體，節點之間通過分布式特有的網絡通信技術，用最小的代價将計算和讀取資料完成彙總。當然，基于智慧城市車輛大資料中資料模型的特點，還要對分布式記憶體檢索引擎的機制做專門的優化，才能實作千億級資料多條件組合的秒級查詢。
針對百億級以上資料，大資料檢索的硬體伺服器需要考慮ssd固态硬碟，核心資料存儲在固态硬碟，可以提高磁盤的讀取速度，在分布式并行計算的同時，進一步提升了資料的檢索效率，也為資料的穩定性提供了重要保障。
2、大資料研判分析
目前比較先進的方式是流式處理與批量處理相結合，以hbase資料倉庫為資料源，針對車輛大資料研判分析，可以提供多樣化的應用功能，既滿足實時線上的資料處理需求，又支援海量資料的線下分析。例如，天地偉業easy7公安實戰平台的資訊深度研判系統提供了多點碰撞、區域徘徊、伴随車輛、晝伏夜出等将近20種技站法以及各種流量統計和态勢分析，都是在資料挖掘中将流式處理技術、數學統計算法、遺傳算法、神經網絡算法、貝葉斯判别、機器學習等算法結合起來，并針對現場使用者實際需求研發出來。
基于hadoop技術架構
車輛大資料系統架構
資源接入層：實作各類前端系統的綜合接入，包括電警卡口系統、簡易卡口系統、公安自建視訊監控系統以及社會資源監控系統。
資料接入層：實作平台間的資料對接和分類彙聚整理，卡口平台和電警平台的非結構化和半結構化過車資料用于深度識别分析，六合一平台、車駕管庫、盜搶庫等結構化資料可接入車輛大資料。
資料處理層：通過圖像特征解析，提取圖檔中關鍵資訊，包括車牌、車标、車型、車身顔色、車輛子品牌、主副駕駛未系安全帶、駕駛員打手機、夜間遮陽闆狀态等。easy7車輛深度識别平台就是在資料處理層為系統提供分析引擎。
實戰應用層：為公安使用者提供面向實戰的應用平台，在大資料支撐下可以提供包括車輛資訊綜合查詢、以圖搜圖、車輛技戰法、稽查布控、違法資料統計等功能，使視訊圖像資料的研判挖掘應用更有針對性，提高了對犯罪行為的精确打擊。
車輛大資料分析檢索系統的應用
以天地偉業推出的easy7大資料分析檢索系統為例，該系統立足平安城市系統建設應用，結合智慧城市系統規劃需求，支援在海量大資料資訊中快速檢索和研判分析。該系統可全面接入公安自建監控網、社會面監控資源以及主流廠家的交通卡口和電警裝置，将采集到的資料以結構化語義存儲。系統采用基于大規模叢集分布式并行運算存儲的hadoop作為底層資料分析存儲架構，在工作排程、負載平衡、容錯容災、裝置運維等方面進行了深度整合，保證了大資料通路的可靠性、安全性和高性能，徹底消除了傳統存儲系統的瓶頸，可以滿足高帶寬和高并發的海量資料存取需求。系統将音視訊資訊和使用者業務産生的結構化資料建構成圖像資源特征庫，使用hbase進行分布式存儲，解決了傳統關系型資料庫在超大規模和高度并發方面的限制，為百億級别的資料量提供秒級通路性能，并針對各行業對業務資料的實際需求應用，建構了多樣化的數學分析模型，提供了直覺的圖形化資料結果展現。
該系統提供的功能包括：
1、分類檢索：按照行人、三輪車、汽車分類檢索，點選結果可播放相應圖檔或者對應片段的視訊。
2、大資料全文檢索：支援精确車牌查詢、模糊車牌查詢、路口過車查詢、區域過車查詢、車輛類型查詢、車輛品牌查詢、無牌車查詢、車身顔色查詢，還支援多種條件組合查詢，可在秒級提供檢索結果。例如在一個月内的過車記錄中對車牌号碼進行模糊查詢，可在2秒傳回結果。
3、車輛研判分析：為車輛資訊深度研判系統提供應用計算的加速作用，在車輛多點碰撞、初次入城分析、跟車政策分析、出入案發現場車輛分析、伴随車輛分析、車輛頻次分析、連續違法分析、落腳點分析、頻繁入城分析、頻繁夜出分析、棄置車輛分析、區域徘徊分析、疑似假**、晝伏夜出分析、嫌疑套**等技戰法政策中可以大幅提升運算效率。系統基本可在10秒内提供檢索結果。
車輛大資料分析檢索系統是針對資料快速增長的雲存儲、雲計算、大資料等多種綜合技術集合，不僅能夠輕松處理海量的音視訊等結構化資料，還能結合車輛資訊深度研判系統發掘視訊圖檔及資料中的關聯情況，為業務處理和決策分析提供有力支援。
本文轉自d1net（轉載）