天天看點

FlowNet: Learning Optical Flow with Convolutional NetworksFlowNet: Learning Optical Flow with Convolutional NetworksoutlineAbstract1. Introduction2. RelatedWork

FlowNet: Learning Optical Flow with Convolutional Networks

2015 IEEE International Conference on Computer Vision

outline

•Introduction

•RelatedWork

•Dataset Schedules

•Stacking Networks

•Small Displacements

•Experiments

•Conclusions

分為以上6個方面介紹這篇文章,這也是這篇文章的目錄,這篇文章是發表在2015CVPR國際會議上的文章

Abstract

首先摘要告訴我們這篇文章做了什麼,主要有四點

•construct CNNs which are capable of solving the optical flow estimation problem as a supervised learning task

•We propose and compare two architectures FNS FNC

•we generate a large synthetic Flying Chairs dataset.

•frame rates of 5 to 10 fps.

1.建立了一個CNN架構,能夠以監督學習任務來解決光流估計。利用一組已知類别的樣本調整分類器的參數,使其達到所要求性能的過程,也稱為監督訓練或有教師學習。

2.提出比較了兩種架構flownetsimple與flonetcor

3.産生了飛行椅子資料集

4.能夠達到10幀每秒的速度

Optical flow or optic flow is the pattern of apparent motion of objects, surfaces, and edges in a visual scene caused by the relative motion between an observer and a scene

Motion estimation and video compression have developed as a major aspect of optical flow research.

光流是什麼呢,光流是關于視域中的物體運動檢測中的概念。用來描述相對于觀察者的運動所造成的觀測目标、表面或邊緣的運動

運動估計和視訊壓縮成為了光流的主要研究方面

1. Introduction

在介紹部分,作者簡要介紹了一下為什麼要提出這兩種架構以及産生資料集的原因。

•optical flow estimation needs precise per-pixel localization

•requires finding correspondences between two input images.

•we additionally developed an architecture with a correlation layer that explicitly provides matching capabilities. This architecture is trained end-to-end.

因為光流預測需要精确的像素定位,并且需要找到兩幅輸入圖像之間的聯系,是以作者提出了一個結構擁有相關層并且是端對端的結構來提供比對能力。作者想要利用卷積神經網絡的強大抽象能力,幫助卷積神經網絡進行比對,令人驚訝的是,以這種方式幫助網絡是不必要的,甚至原始網絡也可以學習以具有競争力的準确度來預測光流。

2. RelatedWork

Optical Flow.

自從Horn和Horn的工作以來,變分方法(Variation approaches)主導了光流估計,已經有很多改進,最近重點是大位移、并且組合比對也應用到了變分法中。[30]稱為EpicFlow的連續工作更加強調稀疏比對的品質,而[35]的比對隻是在尊重圖像邊界的同時内插到密集流場。deepflow工作與作者工作有關使用了稀疏卷積和最大池化,然而作者沒有執行學習參數而是手工設定。已經進行了使用神經網絡模型在視訊幀之間進行無監督學習視差或運動的工作這些方法通常使用乘法互動來模拟一對圖像之間的關系。

Convolutional Networks.

主要講了卷積神經網絡的應用,CNN的最近應用包括語義分割(segmentation)[11,15,17,28],深度預測(depth prediction)[10],關鍵點預測(keypoint prediction)[17]和邊緣檢測(edge detection)[13]。 這些任務類似于光流估計,因為它們涉及每像素預測。

繼續閱讀