RGB-T行人檢測彙總

RGB-T行人檢測彙總

1.介紹

 2015年，第一個RGB-T行人檢測資料集KAIST被提出，多光譜行人檢測任務逐漸成為計算機視覺領域的研究熱點之一。可見光相機可以在光照條件良好的條件下清晰地捕捉到行人的細節資訊和顔色資訊，但在弱光照甚至黑夜的環境下很難捕捉到有效的目标資訊；而紅外相機對外部光照變化不敏感，通常可以呈現出人體清晰的輪廓，但會丢失了人體的細節資訊和顔色資訊。是以，可見光圖像和紅外圖像所提供的資訊是互補的，如果可以有效地融合兩種不同光譜類型的圖像，就能得到更豐富的目标特征，增強行人檢測器的辨識力和魯棒性。如圖1所示，隻使用RGB圖像或T圖像中的一種進行檢測時很難分辨Hard positive samples（很難被識别的正樣本，即是行人但是由于模糊等情況容易被誤判為背景的情況）和Hard negative samples（很難被識别的負樣本，即是背景但是由于模糊等情況容易被誤判為行人的情況）。

圖1 單模态行人檢測存在的問題

2 . 挑戰及應用

 RGB-T行人檢測主要應用于全天候自動駕駛和監控領域，面臨的問題主要包括兩部分。首先是行人檢測共有的問題，主要包括：行人間嚴重遮擋、背景複雜以及行人尺寸差異（距攝像頭的距離遠近不同導緻行人尺寸不同，較遠位置的行人包含像素很少即分辨率很低），想要解決這些問題，就需要檢測器有更強的分辨能力和更高的生态效度；其次是多模态任務共有的問題，主要包括：資料集擷取和對齊難度大、如何有效地融合多模态資訊（減少