1實驗設定
本研究的目的是利用新資料持續訓練網絡，同時保留現有知識。将表檢測的連續學習定義如下。假設D1，2，...，t−1是多個資料集的陣列，Mt−1是在這些資料集上訓練的模型。在時間t引入新資料集時，可能會出現不同的情況。圖2顯示了使用新資料集的四種可能方式。
1.1獨立訓練
這是在每個資料集上訓練模型的正常訓練方法。算法1顯示了這裡使用的直接批量訓練過程。該實驗的結果将顯示目前資料和架構的可能學習的上限。圖2a展示了該教育訓練過程。
1.2聯合訓練
在聯合訓練中，利用了所有可用的資料集。該設定充當使用所有可用資料的模型學習能力的上限。如圖2b所示，在批量訓練之前，所有可用樣本都被打亂。
1.3微調
該實驗采用了經典的微調程式。如圖2c所示，在Dt的訓練期間，使用先前資料集上的預訓練模型Mt−1來初始化模型的參數。然後，在新執行個體上以較低的學習率重新訓練模型。由于這種設定會導緻災難性遺忘，是以學習者的學習成績是較低的。
1.4 經驗回溯進行訓練
最後一個實驗是我們為任務設計的持續學習技術，稱為經驗回放（圖2d）。在這種方法中，R1，2，... ，t−1是專用于先前資料集圖像的小記憶體。然後将這些圖像呈現給模型，同時用新資料訓練模型。準确地說，每批都包含Dt和R1,2，...，t−1 的樣品
算法2描述了具有經驗回放的批量訓練。假設訓練程式應該針對Dt進行，并且我們有可用的先驗資料和訓練模型。該算法首先初始化重放存儲器R1，2，。。。，t−1。它是從D1、D2、……、，Dt−1。在每次訓練疊代中，從Dt中選擇一個小批次，從R1，2，。。。，t−1。然後将這些批次連接配接在一個批次中，并采取一個梯度下降步驟。
R1，2，…中的圖像數，。。。，t−1将等于Dt中訓練樣本數量的1%。通過這種方式，我們可以確定記憶既不太小也不太大，以便在學習新知識的同時儲存過去的知識。其圖像根據其大小從Dis中随機選擇。如果sDi指定資料集Di中訓練樣本的數量，。。。，t−1由（1）獲得，并由CDi表示：
圖2
訓練設定。
（a） 在獨立訓練方法中，模型在新的資料集上訓練。
（b） 在聯合訓練中，在所有可用資料集上訓練模型。
（c） 在微調方法中，模型在新的資料集上進行訓練，初始參數從先前資料集上的訓練中獲得。
（d） 在經驗回溯方法中，首先，使用從先前資料集上的先前學習階段獲得的參數來初始化模型；然後，在新的資料集和重放存儲器（從以前的資料集中随機選擇）上訓練模型。
算法一
算法二
1.5網絡模型
為了驗證所提出的方法，選擇了兩種最先進的架構：Faster R-CNN和Pyramid Vision Transformer（PVT）以及Sparse R-CNN。Faster R-CNN被認為是許多先前作品中的經典基線；是以，這是我們的首選。接下來，選擇了Sparse R-CNN+PVT架構，這是最近的SOTA檢測器之一。
1.5.1Faster R-CNN+ResNet
1.5.2. Sparse R-CNN+PVT
1.6實施詳細資訊
在每次評估中，使用公開可用的MMDetection工具箱對Faster RCNN和Sparse R-CNN進行訓練。所有實驗的訓練程式和環境都相同。網絡在八個GPU上進行訓練，每個GPU有四個圖像。在ER設定中，每個GPU的批處理大小也是四個，其中一個來自回溯記憶體
ResNet-50被用作Faster RCNN的骨幹網絡，而對于SparseR-CNN，則選擇PVTv2-B2。模型的骨幹在ImageNet上進行了預訓練。如果沒有另外提及，則使用參考實作中的所有預設配置。
在IT場景中，模型被訓練了三個階段。初始學習率為10−4，每個時期的學習率都以10的因子衰減。在FT和ER中，添加的資料集被微調為一個時期，學習率為10-5。
為了防止ER場景中的過度拟合，在重放存儲器的圖像上應用了資料增強。圖像損壞庫中使用了四種類型的增強，即運動模糊、jpeg壓縮、高斯噪聲和亮度。增強方法的選擇是為了模拟常見的現實場景。