1.研究背景
在絕大多數目标檢測網絡中，如下圖Fig1特征金字塔（Feature Pyramid Network，FPN）是一個不可缺少的部分，FPN網絡主要解決的問題是目标檢測在處理多尺度變化問題的不足。FPN主要有以下兩個作用：1）多尺度特征融合，提高了特征的豐富程度；2）使用分治法，将目标檢測任務按照目标尺寸不同，分成若幹個檢測子任務。
2. 文中挑戰
Challenge 1：高效的多尺度特征融合
關于不同輸入特征的融合，大部分的融合是不對特征進行區分的，隻是簡單的将特征彙總加和起來。然而，這些不同的輸入特征往往是來自不同分辨率下的，它們對于輸出的特征的貢獻程度應該是不相等的。為了解決這個問題，文中提出了一種權重雙向特征金字塔網絡（BiFPN），該網絡引入了可學習的權重，用于學習不同輸入特征的貢獻程度。
Challenge 2 ：模型縮放
為了獲得高準确率，在之前的研究中往往會依賴于較大的backbone和尺寸較大的輸入圖像。文中注意到，考慮到準确性和效率，對于網絡的擴充也很關鍵。基于此，文中對于目标檢測的問題提出了一種混合縮放的方法，該方法可以對網絡的分辨率、深度、寬度進行統一的縮放。
3.文中創新部分
3.1 BiFPN
1.Fig2（a）中為傳統的FPN網絡，其僅包含自上而下的特征融合，融合的過程僅包括從低分辨率到高分辨率的融合。FPN在實際應用中會面臨高層級特征和較低層級特征之間的路徑長的問題， 如在大型Backbone 中, FPN低層資訊經過多層網絡到高層的時候, 由于路徑過長導緻部分低層級特征丢失, 然而低層級的特征對于大型執行個體的識别其實是很有用的。
2.Fig2（b）中為PANet網絡，PANet添加自下而上的路徑以增強FPN中的自上而下的路徑, 縮短了低層級資訊傳輸到高層級的路徑。
3.Fig2（c）為NAS-FPN網絡，NAS-FPN使用強化學習的方式對FPN網絡自動搜尋，但是其計算成本高，大約需要1000小時的GPU才能确定最佳連接配接。
4.Fig2（d）為本文提出的BiFPN網絡，相對于PANet，BiFPN的改進有如下3點：
1）删除那些隻有一個輸入邊緣的節點，文中認為如果一個節點隻有一個輸入邊緣，沒有特征融合，那麼它對目的是特征融合不同的特征的特征網絡的貢獻就會更小。
2）如果原始輸入節點處于同一水準，将從原始輸入添加一個額外的邊到輸出節點，以便融合更多的特征，而不增加大量的成本。
3）與隻有一個自頂向下和一個自底向上路徑的PANet不同，論文将每個雙向（自頂向下和自下而上）路徑視為一個特征網絡層，并多次重複同一層，以實作更多的進階特征融合。
3.2 權重特征融合
以前的大部分方法對待所有的輸入特征都是一視同仁的。然而文章中認為對于不同的輸入特征在不同的分辨率，這些特征的貢獻度是不相同的。為了解決這個問題，論文建議為每個輸入特征增加一個可學習的權重，讓網絡去學習每個輸入特征的重要性（如下圖Fig3）。文中使用Fast normalized fusion（Wi > 0），該方法與Softmax類似但是速度比Softmax要快30%。
3.3 網絡結構
下圖Fig4為EfficientDet網絡結構，采用EfficientNet作為網絡的backbone；BiFPN作為特征網絡；将從backbone網絡出來的特征使用多個BiFPN進行自上而下和自下而上的特征融合。經過多個BiFPN後的特征通過class prediction net和box prediction net 對檢測類别和檢測框分别進行預測。
3.4 複合縮放
3.4.1 縮放規則
1.BiFPN network：
2.Box/class prediction network：寬度與BiFPN一樣，僅對深度進行縮放。
3.Input image resolution：
3.4.2模型全部參數
4.實驗
1）從下圖Fig5可以看出，使用BiFPN的EfficientNet-B3要比使用FPN在準确度上提高了4個點，參數量和運算量也極大縮小。
2）下圖Fig6為EfficienDet系列與各類模型在coco上的比較。