天天看點

3D點雲深度學習-淺談點雲分割

先說一點題外話

研究所學生三年,開始學了一年的圖像檢測,還沒學明白,然後實驗室都開始做點雲,就轉到點雲方向做了兩年,沒什麼大成就,因為感覺我學了兩年時間剛剛入門,而且大多數的學習都是跑跑現成的代碼,有一些結果就算有輸出了,還沒有真正的自己改的大網絡或者寫一整套代碼,但是長期下來對這個方向也算是有點熟悉了。現在畢業了,沒機會再做這個方向了,就按照自己了解的接觸路線為一些剛接觸的同學們介紹一下吧,說的也不一定都對,但是有空我就來整理補充一下。

背景

1.點雲是什麼?

官方解釋:點雲是在同一空間參考系下表達目标空間分布和目标表面特性的海量點集合。

實際上:點雲是一組三維點(x,y,z)的集合。

2.深度學習是什麼?

不知道,就是各種卷,跟上班一樣,卷就完了。

3.點雲深度學習的難點在哪裡?

其實在圖像中深度學習已經取得了很好的效果了,商用的模型随處可見,而點雲最大的難點就是怎麼解決點雲的無序性問題,就是同一個物體的那麼多點排列順序不同,所得到的效果應該是相同的,目前都在想怎麼更好的解決這個問題,當然,點雲裡面還有遮擋,嘈雜點等等因素的困難。

4.為什麼點雲深度學習最近比較火?

一方面是深度學習目前的學習能力比較強,另一方面,3D傳感器發展的很多,更加接近真實世界,而且近期出現了很多3D應用,可能再有就是電雲可能相對容易發論文一些吧,哈哈哈~

5.點雲深度學習領域包括哪些領域的學習?

圖像卷積神經網絡、資料處理、可視化、TF/Torch架構

6.點雲的研究方向有哪些?

點雲檢測、點雲分割、點雲識别、點雲補全、點雲資料增強、點雲資料集制作及Benchmark

點雲資料集

深度學習任務一定少不了資料集,模型需要大量的訓練樣本,當然也可以用深度相機或者雷射雷達實時采集處理,那是模型訓練好以後的應用層面了吧,因為參與過一個資料集綜述文章的編寫,是以資料集接觸的多一些,點雲領域的資料集各式各樣吧,應為大家的采集裝置不同,采集政策不同,後期的一些處理和标記格式等都有所不同,對了,他們采集的場景規模,類型等也都不同,是以大家可以針對某一個場景類型去進行點雲方向的研究,比如專門做點雲物體的識别,室内場景的點雲分割,室外場景的點雲分割等,介紹一些常用的資料集吧。

1.Semantic3D

這個應該是最經典的室外場景的電雲分割資料集,固定的一個雷射雷達一直掃描周圍場景得到的資料集,精度還是不錯的,很多論文的效果比較都是基于這個資料集的,而且他提供官方網站送出你跑的結果。

3D點雲深度學習-淺談點雲分割

工程位址:http://www.semantic3d.net/

3D點雲深度學習-淺談點雲分割

2.S3DIS

S3DIS資料集是斯坦福大學開發的帶有像素級語義标注的語義資料集。室内場景點雲資料集,一般是3D相機或者iPad什麼的進行采集。

工程位址:http://buildingparser.stanford.edu/dataset.html

3D點雲深度學習-淺談點雲分割

3.SemanticKITTI

連續多幀點雲資料集,好像就是kitti資料集後面又經過處理得到的,汽車采集。

工程位址:http://www.semantic-kitti.org/index.html

3D點雲深度學習-淺談點雲分割
3D點雲深度學習-淺談點雲分割

4.SensatUrban

室外大場景點雲資料集,是真的大,無人機分區域采集組合得到的資料集。

項目位址:http://point-cloud-analysis.cs.ox.ac.uk/

資料集挑戰賽網址:https://competitions.codalab.org/competitions/31519#results

3D點雲深度學習-淺談點雲分割

5.Modelnet

竟然忘記了最經典的分類資料集-ModelNet,該系列延伸出很多資料集,包括ModelNet-10和ModelNet-40,都是最開始接觸點雲領域用到的資料集。

網站:http://modelnet.cs.princeton.edu/#

6.ShapeNet

也算是經典,很早的資料集~

點雲深度學習模型

深度學習模型目前主要分為幾個方向:基于原始點雲、基于圖像、基于圖神經網絡、基于3DCNN的方向去做,主要的差別就是将點雲資料轉化為不同的資料源去處理。介紹幾個比較經典的網絡模型。

1.PointNet/PointNet++

最最最最最經典的點雲處理網絡,感覺現在都被人家當成子產品用了,不得不說,很好用。

3D點雲深度學習-淺談點雲分割

2.RandLA-Net

牛津大學胡慶擁CVPR2020的一篇文章,也是我畢設跑的最多的代碼,SensatUrban也是這個作者提出資料集,并且也舉辦了挑戰賽

3D點雲深度學習-淺談點雲分割

3.PointCNN

4.PointConv

5.

相關資料

點雲PCL

結語

周末在公司閑下來随便整理一點,有時間再來補充,還有很多很多内容,先列個小架構~

繼續閱讀