港口自动化项目视觉技术方案
系统以高清摄像头为主要设备，使用Python语言的计算机视觉技术，并配合使用MySQL数据库，实现对港口吊机的自动控制。
1、系统以地平面为X-Y平面，以河岸线的平行线为X轴、以吊机的旋转轴为Z轴，建立世界坐标系。在地平面设置参照物，如果参照物始终出现在视频中的特定位置，则判定视频为有效状态。
2、图1为世界坐标系的X-Y平面图，其中圆表示吊机的作业区域，蓝色的B1区域表示货船摄像头在地平面的拍摄范围，红色R1区域表示货船货箱在地平面的投影，蓝色的B2区域表示货车摄像头在地平面的拍摄范围，红色R2区域表示货车货箱在地平面的投影。理论上红色框（R1、R2）内的每一个坐标，都能对应吊机的特定旋转角度和俯仰角度。预先实测红色框内的X、Y坐标与吊机旋转、俯仰角度的对应关系，并保存在数据库的对照表中。
3、使用前先标定摄像头，保证测距使用的图片是矫正后的、没有畸变的，并记录矫正系数。
4、图2为世界坐标系的Y-Z立面图，红线部分为货船货箱平面在Y-Z平面的投影。假设货船摄像头的中心射线与Z轴重合，货船货箱到地平面的高度为X米（0点到z2点），货船货箱投影的y’点到Z轴的距离是Y米。已知货船摄像头的视角范围∠a，货船摄像头的安装高度为h1米（0点到z1点），红线部分的长度为w米；货船摄像头成像平面的Y轴有n个像素，货船货箱边缘y’点到视频中心点，在Y轴方向有n1个像素；货船货箱边缘y’’点到视频中心点，在Y轴方向有n2个像素。则有二元一次方程：Y/(tan(a/2)*(h1+X))=n1/(n/2)，(Y+w)/(tan(a/2)*(h1+X))=n2/(n/2)。解方程可得货船货箱到地平面的高度，以及y’和y’’点的坐标。
5、图3为世界坐标系的X-Z立面图，其中∠a表示货船摄像头的视角范围。假设摄像头的安装高度为h1米（0点到z1点），通过步骤（4）的计算，得出货船货箱到地平面的高度为h2米（0点到z2点），红线部分为货船货箱平面在X-Z平面的投影。已知货船货箱平面到货船摄像头的高度为(h1+h2)米，货船摄像头在z2平面成像的边缘x点的X轴坐标是tan(a/2)*(h1+h2)米。假设摄像头成像平面的X轴有n个像素，货船货箱边缘x点到视频中心点，在X轴方向有n1个像素，则货船货箱边缘x’点的X轴坐标是tan(a/2)*(h1+h2)/(n/2/n1)米。同理可以计算出x’’点的X轴坐标。
6、货船摄像头垂直于地平面安装，货船摄像头拍摄范围的边缘平行于X轴。系统使用深度学习的相关算法，让系统识别出货船的货箱，并计算出货船货箱的轮廓。根据货船摄像头的安装高度和货船货箱边缘到地平面的高度，计算出货船货箱边缘的X、Y坐标。系统运行过程中根据每个抓货点的坐标，确定吊机的旋转、俯仰角度，并执行卸货任务。
7、图4为世界坐标系的X-Z立面图，其中∠a表示货车摄像头的视角范围，∠b表示货车摄像头的倾斜角度，红线为货车货箱平面在X-Z平面的投影，蓝线为货车摄像头中心射线的垂线。 假设z’z1线与摄像头中心线0’’z1的夹角为∠c，z1z’与z'0’’的夹角为∠d，已知货车摄像头的安装高度为h1米（0点到z1点），货车货箱到地平面的高度为h2米（0点到z2点），货车摄像头中心射线在z2平面的交点0’’点的坐标，摄像头成像平面的X轴有n个像素，货车货箱边缘z’点到视频中心点，在成像平面X轴方向有n1个像素。则c=Arctan(a/2)*n1/(n/2)，d=π/2-b-c。根据正弦定理z’0’’ : sin(c) = (h1-h2)/cos(b) : sin(d)，从而得出z'点的坐标。
8、货车摄像头可倾斜于地平面安装，货车摄像头拍摄范围的边缘平行于坐标系X轴。系统使用深度学习的相关算法，让系统识别出货车的货箱，并计算出货车货箱的轮廓。根据步骤(7)的计算公式，计算出货车货箱边缘的X、Y坐标，每辆货车装货前，系统先计算出货箱所有放货点的位置，根据对照表，确定放货时吊机的旋转角度和俯仰角度。运行过程中根据每个放货点的放货量确定装货任务的调度。
9、货车在装货过程中，摄像头实时监测货车车牌，并且把车牌信息发送给服务器，如果没有监测到车牌，则向服务器发送错误信息。服务器根据接收到的信息做出相应的处理。
