ECCV2018 非限制場景（大傾角，小比例）車牌識别論文解讀

look for papers for alpr contributer : leoluopy

• 歡迎提issue.
• 歡迎watch ，star，實時讨論前沿分享
• 歡迎加入分享：聯系微信：leoluopy

個人微信歡迎交流： 

github：https://github.com/leoluopy/paper_discussing/blob/master/ALPR/alpr.md

Overview

• 

• 來自ECCV2018，提出了一個整套車牌檢測，分割，字元識别方案。【很多論文隻是這個pipeline其中一部分】
• 目前大多數方案對于車牌的識别假設車牌正對，或者傾斜角不大。本文提出了WPOD-Net解決車牌傾斜。
• 本文提供了，傾斜資料、手工标注資料集及合成資料方法（訓練集：196張手标資料集） [ 測試集： 102 張困難 傾斜資料集。]
• 性能上，特定場景和商業持平，非限定場景超過商業系統。
• 獨立測試集表現出強泛化能力。

結構綜述 【pipeline 總體流程】

• 

• 第一步：車輛檢測YOLOV2
• 第二步：WPOD-Net 車牌檢測，及車牌矯正 （本文重點貢獻）
• 第三步：OCR 車牌識别 （它是巴西車牌，我們這裡不關注）

WPOD-Net 處理流及網絡結構

RESIZE 預處理

• resize已經檢測出的車輛

• 

• 在resize圖檔采用了如下思路：

在車牌無傾角時，往往車牌有足夠的像素用于車牌識别，但是車輛照片有傾斜度時，車牌和車輛比例會減小不少，這不利于車牌的提取。 基于此，作者使用此思路來提高，在車輛照片有角度時，放大圖檔，以放大車牌像素。而在車輛照片像素本來就很大時，采用了Max=608做了相應的縮小。

• 參考代碼 【以下代碼是公式的實作】：

• 

• 

雙* 号是指數操作

雙冒号代表list中取元素位置和步長。

同時，代碼中做了 對16可整除的對齊操作（為适配後面WpodNet卷積）

WPOD-Net 結構

• 

• WPOD-Net 是一個全卷積網絡，可以輸入任意尺寸的圖檔（但是需要能整除16），最後生成Ns/16 的特征圖。特征圖上每個點八個通道tensor如下：

（m,n,8） : m,n 是 特征圖長寬，有車牌confidence ， 無車牌confidence ， 6個二維仿射變換參數。

• 

網絡如上圖所示，總共由21個卷積層組成，14個卷積層在resblock中，所有的卷積核都為3x3.他們都使用了RELU作為激活函數， 隻有在仿射變換參數的激活中采用了LINEAR（f(x)=x）。網絡一共有4個最大池化層，也就是輸入圖檔縮放尺度為:16.

WPOD-Net Loss 設計

全局loss由兩部分構成，有無對象置信度loss和仿射變換參數loss。如上圖所示。

• 置信度loss采用類似于SSD中對數loss的設計方法見下圖： 

  

• 仿射變換loss由兩部分組成 

  

總體loss設計思路，利于仿射參數和特征圖格子，通過仿射變換和平移構造機關尺度車牌，對等相減實作loss設計。

Tmn： 其中q是基于原點的機關矩陣。

Tmn： max(v, 0) 是仿射變換數學性質中保證沒有異常的鏡像和旋轉。

Tmn： v3,v4,v5,v6 負責形狀變換，v7，v8是bias負責少量平移

Amn： 其中p是gt，是标注車牌的8個點。

Amn: Ns 是縮放因子，如果網絡是4層最大池化，Ns = 2 ** 4 = 16

Amn: m和n是原圖經過特征提取後得到的特征圖cell。

Amn: a 是經驗參數，目的是将按照特征圖比例縮放和平移後的 車牌形狀能更加貼近縮放到機關矩陣尺寸的車牌大小。

WPOD-Net 資料增廣及訓練方法

• 

• 訓練樣本很多，但是标注不多，标注一共隻有196張，采用真實圖像增廣和合成圖像，以及合成圖像增廣的方法增加樣本集合。

• 

• 采用的資料處理方法：
  • rectification基于标注将傾斜的車牌直接利用仿射變換拉為平面上，此資料增廣在困難傾斜車牌樣本中增加18個點的準确率提升。。
  • 縮放車牌長寬比到 【2-4】 之間用以适應不同尺寸的車牌區域。
  • 平移并縮放和截取使得車牌成為圖像的中心。
  • 縮放車牌的寬度到 40px - 208px。這點設計和loss中a的取值密切相關。
  • 随機3D角度旋轉
  • 50%機會進行鏡像處理
  • 車牌中心進行在 208 x 208 px 區域内限制移動
  • 以車牌為中心進行208 x 208 裁剪
  • HSV空間顔色輕微調整

整體系統 結果對比