港口自動化項目視覺技術方案
系統以高清攝像頭為主要裝置，使用Python語言的計算機視覺技術，并配合使用MySQL資料庫，實作對港口吊機的自動控制。
1、系統以地平面為X-Y平面，以河岸線的平行線為X軸、以吊機的旋轉軸為Z軸，建立世界坐标系。在地平面設定參照物，如果參照物始終出現在視訊中的特定位置，則判定視訊為有效狀态。
2、圖1為世界坐标系的X-Y平面圖，其中圓表示吊機的作業區域，藍色的B1區域表示貨船攝像頭在地平面的拍攝範圍，紅色R1區域表示貨船貨箱在地平面的投影，藍色的B2區域表示貨車攝像頭在地平面的拍攝範圍，紅色R2區域表示貨車貨箱在地平面的投影。理論上紅色框（R1、R2）内的每一個坐标，都能對應吊機的特定旋轉角度和俯仰角度。預先實測紅色框内的X、Y坐标與吊機旋轉、俯仰角度的對應關系，并儲存在資料庫的對照表中。
3、使用前先标定攝像頭，保證測距使用的圖檔是矯正後的、沒有畸變的，并記錄矯正系數。
4、圖2為世界坐标系的Y-Z立面圖，紅線部分為貨船貨箱平面在Y-Z平面的投影。假設貨船攝像頭的中心射線與Z軸重合，貨船貨箱到地平面的高度為X米（0點到z2點），貨船貨箱投影的y’點到Z軸的距離是Y米。已知貨船攝像頭的視角範圍∠a，貨船攝像頭的安裝高度為h1米（0點到z1點），紅線部分的長度為w米；貨船攝像頭成像平面的Y軸有n個像素，貨船貨箱邊緣y’點到視訊中心點，在Y軸方向有n1個像素；貨船貨箱邊緣y’’點到視訊中心點，在Y軸方向有n2個像素。則有二進制一次方程：Y/(tan(a/2)*(h1+X))=n1/(n/2)，(Y+w)/(tan(a/2)*(h1+X))=n2/(n/2)。解方程可得貨船貨箱到地平面的高度，以及y’和y’’點的坐标。
5、圖3為世界坐标系的X-Z立面圖，其中∠a表示貨船攝像頭的視角範圍。假設攝像頭的安裝高度為h1米（0點到z1點），通過步驟（4）的計算，得出貨船貨箱到地平面的高度為h2米（0點到z2點），紅線部分為貨船貨箱平面在X-Z平面的投影。已知貨船貨箱平面到貨船攝像頭的高度為(h1+h2)米，貨船攝像頭在z2平面成像的邊緣x點的X軸坐标是tan(a/2)*(h1+h2)米。假設攝像頭成像平面的X軸有n個像素，貨船貨箱邊緣x點到視訊中心點，在X軸方向有n1個像素，則貨船貨箱邊緣x’點的X軸坐标是tan(a/2)*(h1+h2)/(n/2/n1)米。同理可以計算出x’’點的X軸坐标。
6、貨船攝像頭垂直于地平面安裝，貨船攝像頭拍攝範圍的邊緣平行于X軸。系統使用深度學習的相關算法，讓系統識别出貨船的貨箱，并計算出貨船貨箱的輪廓。根據貨船攝像頭的安裝高度和貨船貨箱邊緣到地平面的高度，計算出貨船貨箱邊緣的X、Y坐标。系統運作過程中根據每個抓貨點的坐标，确定吊機的旋轉、俯仰角度，并執行卸貨任務。
7、圖4為世界坐标系的X-Z立面圖，其中∠a表示貨車攝像頭的視角範圍，∠b表示貨車攝像頭的傾斜角度，紅線為貨車貨箱平面在X-Z平面的投影，藍線為貨車攝像頭中心射線的垂線。 假設z’z1線與攝像頭中心線0’’z1的夾角為∠c，z1z’與z'0’’的夾角為∠d，已知貨車攝像頭的安裝高度為h1米（0點到z1點），貨車貨箱到地平面的高度為h2米（0點到z2點），貨車攝像頭中心射線在z2平面的交點0’’點的坐标，攝像頭成像平面的X軸有n個像素，貨車貨箱邊緣z’點到視訊中心點，在成像平面X軸方向有n1個像素。則c=Arctan(a/2)*n1/(n/2)，d=π/2-b-c。根據正弦定理z’0’’ : sin(c) = (h1-h2)/cos(b) : sin(d)，進而得出z'點的坐标。
8、貨車攝像頭可傾斜于地平面安裝，貨車攝像頭拍攝範圍的邊緣平行于坐标系X軸。系統使用深度學習的相關算法，讓系統識别出貨車的貨箱，并計算出貨車貨箱的輪廓。根據步驟(7)的計算公式，計算出貨車貨箱邊緣的X、Y坐标，每輛貨車裝貨前，系統先計算出貨箱所有放貨點的位置，根據對照表，确定放貨時吊機的旋轉角度和俯仰角度。運作過程中根據每個放貨點的放貨量确定裝貨任務的排程。
9、貨車在裝貨過程中，攝像頭實時監測貨車車牌，并且把車牌資訊發送給伺服器，如果沒有監測到車牌，則向伺服器發送錯誤資訊。伺服器根據接收到的資訊做出相應的處理。
