接上篇第一部分
- GEOMetrics, 網格模型是一種編碼三維物體的有效方式,圖編碼的幾何結構可以提供三維物體的重建效果。通過圖卷積來保留定點資訊,并利用自适應刨分啟發式的融合,同時訓練了由定點定義的局部表面和由網格定義的全局結構。(from McGill University, Montreal) 三維圖形不同的編碼方式及其效率: 網格到定點的映射: 一些結果:
代碼:https://github.com/EdwardSmith1884/GEOMetrics
ref:pixels2mesh, code
- MONet, 提出了一種多目标網絡用于場景中目标的解構和了解,能夠語義地了解出場景中的物體背景,識别出場景中的物體結構并用通用的方式表達出來。(from deepming) 重建和語義mask:
資料集:
Objects Room dataset
Multi-dSprites
CLEVR dataset
-
Noise2Self, 自監督的盲去噪方法。在無需信号先驗、無需噪聲估計和無需幹淨訓練資料的情況下實作高次元去噪聲。僅僅假設噪聲在測量上具有獨立的統計分布,并且具有廣泛的适應性。作者在顯微鏡資料和自然圖像上進行了驗證。同僚在單細胞的基因表達資料上也進行了驗證。
(from Chan-Zuckerberg Biohub)
一些效果:code:https://github.com/czbiohub/noise2self
相關方法:
Smoothness\Self-Similarity\Generative\Gaussianity\Sparsity\Compressibility\Statistical Independence
0.NLM and BM3D,
1.trained withclean targets (Noise2Truth)
2.with independently noisy targets (Noise2Noise)
3.purely convolutional architecture with clean targets (DnCNN)
盲去噪參考文獻
natural dataset: HANZI IMAGENET CELLNET
-
人臉表情識别評測,人臉識别中的四種表情分為微笑、驚奇、生氣和自然。在特征抽取階段,有基于靜态二維面部特征的68關鍵點法、有基于三維動态幾何描述的運動參數AU8個性化Candide-3模型、還有基于灰階描述子的描述方法。在分類階段一般基于cnn和支援向量機兩種形式。(from 華沙大學)
68關鍵點模型:
AU10/AU20面目運動模型:
不同表情的運動矢量:
ref:人臉68關鍵點資料集:300W, 300VW, IBUG
-
TUNet,利用分割圖促進熒光顯微鏡下的蛋白分類。(from 紐約大學)
熒光顯微鏡細胞資料集: Cell Atlas, FlowRepository
- 熒光顯微圖像的三維傳播和時間反演,基于單張二維的熒光圖像可以利用資料驅動的方法生成三維圖像,而無需掃描。(from UCLA)
-
結合稀疏編碼的可解釋性GAN,通過稀疏激活在提出的gan模型上得到了多層級有意義的特征表示。從底到頂的卷積核可以在不同層的作用後學習到邊緣、顔色、物體部分和整體。同時提出了稀疏編碼和與或文法用于圖像處理。(from HIT)
具有稀疏激活的gan:
底部特征和頂部特征,具有可解釋的不同層級: and和or為最後生成圖的貢獻:
one more thing:
土壤(硫酸鹽)資料集:https://catalogue.data.wa.gov.au/dataset/activity/acid-sulfate-soil-risk-map-50k
zappos50k鞋類資料集:http://vision.cs.utexas.edu/projects/finegrained/utzap50k/ 适合用于GAN 娛樂~~
pic from pexels.com