KITTI Dataset
1 簡介
KITTI資料集由德國卡爾斯魯厄理工學院和豐田美國技術研究院聯合創辦，是目前國際上最大的自動駕駛場景下的計算機視覺算法評測資料集。該資料集用于評測立體圖像(stereo)，光流(optical flow)，視覺測距(visual odometry)，3D物體檢測(object detection)和3D跟蹤(tracking)等計算機視覺技術在車載環境下的性能。KITTI包含市區、鄉村和高速公路等場景采集的真實圖像資料，每張圖像中最多達15輛車和30個行人，還有各種程度的遮擋與截斷。 3D目标檢測資料集由7481個訓練圖像和7518個測試圖像以及相應的點雲資料組成，包括總共80256個标記對象。
下圖紅色框标記的為我們需要的資料，分别是彩色圖像資料（12GB）、點雲資料（29GB）、相機矯正資料（16MB）、标簽資料（5MB）。其中彩色圖像資料、點雲資料、相機矯正資料均包含training（7481）和testing（7518）兩個部分，标簽資料隻有training資料。
官網下載下傳位址為：http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=3d （國内目前還下載下傳不了，百度雲連結：連結：https://pan.baidu.com/s/1yQ17ElQ1hK10ekDH-JwmKA 密碼：l523
1.1 資料采集平台
圖1.1 3D物體的觀察角和方位角
如圖1.1所示，KITTI資料集的資料采集平台裝配有2個灰階錄影機，2個彩色錄影機，一個Velodyne 64線3D雷射雷達，4個光學鏡頭，以及1個GPS導航系統。具體的傳感器參數如下：
2 × PointGray Flea2 grayscale cameras (FL2-14S3M-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
2 × PointGray Flea2 color cameras (FL2-14S3C-C), 1.4 Megapixels, 1/2” Sony ICX267 CCD, global shutter
4 × Edmund Optics lenses, 4mm, opening angle ∼ 90◦, vertical opening angle of region of interest (ROI) ∼ 35◦
1 × Velodyne HDL-64E rotating 3D laser scanner, 10 Hz, 64 beams, 0.09 degree angular resolution, 2 cm distance accuracy, collecting ∼ 1.3 million points/second, field of view: 360◦ horizontal, 26.8◦ vertical, range: 120 m
1 × OXTS RT3003 inertial and GPS navigation system, 6 axis, 100 Hz, L1/L2 RTK, resolution: 0.02m / 0.1◦
圖1.2 傳感器布置圖
傳感器布置平面圖如圖1.2所示。為了生成雙目立體圖像，相同類型的攝像頭相距54cm安裝。由于彩色錄影機的分辨率和對比度不夠好，是以還使用了兩個立體灰階錄影機，它和彩色錄影機相距6cm安裝。
1.2 坐标系
在這裡插入圖檔描述
圖1.3 物體坐标系
camera: x = right, y = down, z = forward
velodyne: x = forward, y = left, z = up
GPS/IMU: x = forward, y = left, z = up
2 資料解析
2.1 image檔案
image檔案以8位PNG格式存儲，圖集如下：
2.2 velodyne檔案
velodyne檔案是雷射雷達的測量資料（繞其垂直軸（逆時針）連續旋轉），以“000001.bin”檔案為例，内容如下：
7b14 4642 1058 b541 9643 0340 0000 0000
46b6 4542 1283 b641 3333 0340 0000 0000
4e62 4042 9643 b541 b072 0040 cdcc 4c3d
8340 3f42 08ac b541 3bdf ff3f 0000 0000
e550 4042 022b b841 9cc4 0040 0000 0000
10d8 4042 022b ba41 4c37 0140 0000 0000
3fb5 3a42 14ae b541 5a64 fb3f 0000 0000
7dbf 3942 2731 b641 be9f fa3f 8fc2 f53d
cd4c 3842 3f35 b641 4c37 f93f ec51 383e
dbf9 3742 a69b b641 c3f5 f83f ec51 383e
2586 3742 9a99 b741 fed4 f83f 1f85 6b3e
.
.
.
點雲資料以浮點二進制檔案格式存儲，每行包含8個資料，每個資料由四位十六進制數表示（浮點數），每個資料通過空格隔開。一個點雲資料由四個浮點數資料構成，分别表示點雲的x、y、z、r（強度 or 反射值），點雲的存儲方式如下表所示：
2.3 calib檔案
calib檔案是相機、雷達、慣導等傳感器的矯正資料。以“000001.txt”檔案為例，内容如下：
P0: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 0.000000000000e+00 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
P1: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.875744000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
P2: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 4.485728000000e+01 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.163791000000e-01 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.745884000000e-03
P3: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.395242000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.199936000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.729905000000e-03
R0_rect: 9.999239000000e-01 9.837760000000e-03 -7.445048000000e-03 -9.869795000000e-03 9.999421000000e-01 -4.278459000000e-03 7.402527000000e-03 4.351614000000e-03 9.999631000000e-01
Tr_velo_to_cam: 7.533745000000e-03 -9.999714000000e-01 -6.166020000000e-04 -4.069766000000e-03 1.480249000000e-02 7.280733000000e-04 -9.998902000000e-01 -7.631618000000e-02 9.998621000000e-01 7.523790000000e-03 1.480755000000e-02 -2.717806000000e-01
Tr_imu_to_velo: 9.999976000000e-01 7.553071000000e-04 -2.035826000000e-03 -8.086759000000e-01 -7.854027000000e-04 9.998898000000e-01 -1.482298000000e-02 3.195559000000e-01 2.024406000000e-03 1.482454000000e-02 9.998881000000e-01 -7.997231000000e-01
2.4 label檔案
label檔案是KITTI中object的标簽和評估資料，以“000001.txt”檔案為例，包含樣式如下：
Truck 0.00 0 -1.57 599.41 156.40 629.75 189.25 2.85 2.63 12.34 0.47 1.49 69.44 -1.56
Car 0.00 0 1.85 387.63 181.54 423.81 203.12 1.67 1.87 3.69 -16.53 2.39 58.49 1.57
Cyclist 0.00 3 -1.65 676.60 163.95 688.98 193.93 1.86 0.60 2.02 4.59 1.32 45.84 -1.55
DontCare -1 -1 -10 503.89 169.71 590.61 190.13 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 511.35 174.96 527.81 187.45 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 532.37 176.35 542.68 185.27 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 559.62 175.83 575.40 183.15 -1 -1 -1 -1000 -1000 -1000 -10
每一行代表一個object，每一行都有16列分别表示不同的含義，具體如下：
第1列（字元串）：代表物體類别（type）
總共有9類，分别是：Car、Van、Truck、Pedestrian、Person_sitting、Cyclist、Tram、Misc、DontCare。其中DontCare标簽表示該區域沒有被标注，比如由于目标物體距離雷射雷達太遠。為了防止在評估過程中（主要是計算precision），将本來是目标物體但是因為某些原因而沒有标注的區域統計為假陽性(false positives)，評估腳本會自動忽略DontCare區域的預測結果。
第2列（浮點數）：代表物體是否被截斷（truncated）
數值在0（非截斷）到1（截斷）之間浮動，數字表示指離開圖像邊界對象的程度。
第3列（整數）：代表物體是否被遮擋（occluded）
整數0、1、2、3分别表示被遮擋的程度。
第4列（弧度數）：物體的觀察角度（alpha）
取值範圍為：-pi ~ pi（機關：rad），它表示在相機坐标系下，以相機原點為中心，相機原點到物體中心的連線為半徑，将物體繞相機y軸旋轉至相機z軸，此時物體方向與相機x軸的夾角，如圖1所示。
第5~8列（浮點數）：物體的2D邊界框大小（bbox）
四個數分别是xmin、ymin、xmax、ymax（機關：pixel），表示2維邊界框的左上角和右下角的坐标。
第9~11列（浮點數）：3D物體的尺寸（dimensions）
分别是高、寬、長（機關：米）
第12-14列（整數）：3D物體的位置（location）
分别是x、y、z（機關：米），特别注意的是，這裡的xyz是在相機坐标系下3D物體的中心點位置。
第15列（弧度數）：3D物體的空間方向（rotation_y）
取值範圍為：-pi ~ pi（機關：rad），它表示，在照相機坐标系下，物體的全局方向角（物體前進方向與相機坐标系x軸的夾角），如圖1所示。
第16列（整數）：檢測的置信度（score）
要特别注意的是，這個資料隻在測試集的資料中有（待确認）。
圖1 3D物體的觀察角和方位角
3 KITTI可視化
目前已經完成了pointcloud、gt boxes、label、dt boxes（PointRCNN）等可視化，後續會把體素化加進去，先貼個可視化效果圖：