三維計算視覺研究内容包括：
1）三維比對：兩幀或者多幀點雲資料之間的比對，因為雷射掃描光束受物體遮擋的原因，不可能通過一次掃描完成對整個物體的三維點雲的擷取。是以需要從不同的位置和角度對物體進行掃描。三維比對的目的就是把相鄰掃描的點雲資料拼接在一起。三維比對重點關注比對算法，常用的算法有最近點疊代算法 ICP和各種全局比對算法。
2）多視圖三維重建：計算機視覺中多視圖一般利用圖像資訊，考慮多視幾何的一些限制，射影幾何和多視圖幾何是視覺方法的基礎，在攝影測量中類似的存在共線方程。光束平差法是該類研究的核心技術。這裡也将點雲的多視比對放在這裡，比如人體的三維重建，點雲的多視重建不再是簡單的逐幀的比對，還需要考慮不同角度觀測産生誤差累積，是以存在一個針對三維模型進行優化或者平差的過程在裡面。多視圖三維重建這裡指的隻是靜态模組化，輸入是一系列的圖像或者點雲集合。可以隻使用圖像，或者隻使用點雲，也可以兩者結合（深度圖像）實作，重建的結果通常是Mesh網格。
- SFM（運動恢複結構） vs Visual SLAM [摘抄] SFM 和 Visual SLAM
- Multi-View Stereo （MVS）多視圖立體視覺，研究圖像一緻性，實作稠密重建。
3）3D SLAM
按照傳感器類型分類：可以分為基于雷射的SLAM和基于視覺的SLAM。
基于雷射的SLAM可以通過點雲比對（最近點疊代算法 ICP、正态分布變換方法 NDT）+位姿圖優化（g2o、LUM、ELCH、Toro、SPA）來實作；實時雷射3D SLAM算法 （LOAM，Blam，CartoGrapher等）；Kalman濾波方法。通常雷射3D SLAM側重于定位，在高精度定位的基礎上可以産生3D點雲，或者Octree Map。
基于視覺（單目、雙目、魚眼相機、深度相機）的SLAM，根據側重點的不同，有的側重于定位，有的側重于表面三維重建。不過都強調系統的實時性。
（1）側重于定位的VSLAM系統比如orbSLAM，lsdSLAM；VINS是IMU與視覺融合的不錯的開源項目。
（2）側重于表面三維重建SLAM強調建構的表面最優，或者說表面模型最優，通常包含Fusion融合過程在裡面。通常SLAM是通過觀測形成閉環進行整體平差實作，優先保證位姿的精确；而VSLAM通過Fusion過程同時實作了對建構的表面模型的整體優化，保證表面模型最優。最典型的例子是KinectFusion，Kinfu，BundleFusion，RatMap等等。
（4）目标檢測與識别：無人駕駛汽車中基于雷射資料檢測場景中的行人、汽車、自行車、道路（車道線，道路标線，路邊線）以及道路設施（路燈）和道路附屬設施（行道樹等）。這部分工作也是高精度電子地圖的主要内容。當然高精度電子地圖需要考慮的内容更多。同時室内場景的目辨別别的研究内容也很豐富，比如管線設施，消防設施等。
（5）形狀檢測與分類：點雲技術在逆向工程中有很普遍的應用。建構大量的幾何模型之後，如何有效的管理，檢索是一個很困難的問題。需要對點雲（Mesh）模型進行特征描述，分類。根據模型的特征資訊進行模型的檢索。同時包括如何從場景中檢索某類特定的物體，這類方法關注的重點是模型。
（6）語義分類：擷取場景點雲之後，如何有效的利用點雲資訊，如何了解點雲場景的内容，進行點雲的分類很有必要，需要為每個點雲進行Labeling。可以分為基于點的分類方法和基于分割的分類方法。從方法上可以分為基于監督分類的技術或者非監督分類技術，深度學習也是一個很有希望應用的技術。最近深度學習進行點雲場景了解的工作多起來了，比如PointNet，各種八叉樹的Net。
（7）雙目立體視覺與立體比對 ZNCC：立體視覺（也稱雙目視覺）主要研究的兩個相機的成像幾何問題，研究内容主要包括：立體标定（Stereo Calibration）、立體校正（Stereo Rectification）和立體比對（Stereo Matching）。目前，立體标定主要研究的已經比較完善，而立體比對是立體視覺最核心的研究問題。按照比對點數目分類，立體比對可分為稀疏立體比對（sparse stereo matching）和密集立體比對（dense stereo matching）。稀疏立體比對由于比對點數量稀少，一般很難達到高精度移動測量和環境感覺的要求。是以，密集立體比對是學術界和工業界的主要研究和應用方向。
（8）自動造型（構型），快速造型（構型）技術。對模型進行凸分割，模型剖分，以實作模型進一步的編輯修改，派生出其他的模型。
（9）攝像測量技術，視訊測量
1、點雲濾波方法（資料預處理）：
雙邊濾波、高斯濾波、條件濾波、直通濾波、随機采樣一緻性濾波。
VoxelGrid
2、關鍵點
ISS3D、Harris3D、NARF，
SIFT3D、均勻采樣，曲率方法采樣
3、特征和特征描述
法線和曲率計算 NormalEstimation 、特征值分析Eigen-Analysis、EGI
PFH、FPFH、3D Shape Context、Spin Image
4、點雲比對
ICP、穩健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP
NDT 3D、Multil-Layer NDT
FPCS、KFPCS、SAC-IA
Line Segment Matching、ICL
5、點雲分割與語義分類
分割：區域生長、八叉樹區域生長、Ransac線面提取、NDT-RANSAC、全局優化平面提取
K-Means、Normalize Cut（Context based）
3D Hough Transform(線、面提取)、連通分析、
分類：基于點的分類，基于分割的分類；監督分類與非監督分類
目前基于深度學習的點雲語義分類比較熱：PointNet，OctNet之類的吧，需要多加關注。
6、SLAM圖優化
Ceres（Google的最小二乘優化庫，很強大）， g2o、LUM、ELCH、Toro、SPA
SLAM方法：ICP、MBICP、IDC、likehood Field、Cross Correlation、NDT
7、目辨別别、檢索
Hausdorff距離計算（人臉識别），Graph Matching
8、變化檢測
基于八叉樹的變化檢測
9. 三維重建
Delaunay triangulations
表面重建，人體重建，建築物重建，樹木重建。
結構化重建：不是簡單的建構一個Mesh網格，而是為場景進行分割，為場景結構賦予語義資訊。場景結構有層次之分，在幾何層次就是點線面等幾何圖元。
實時重建：重建植被或者農作物的4D（3D+時間）生長态勢；人體姿勢識别；表情識别；
10.點雲資料管理
點雲壓縮，點雲索引（KD、Octree），點雲LOD（金字塔），海量點雲的渲染
本文僅做學術分享，如有侵權，請聯系删文。
—THE END—