Multimodal deep learning from satellite and street-level imagery for measuring income, overcrowding, and environmental deprivation in urban areas
通過衛星和街道圖像進行多模式深度學習，以測量城市地區的收入，擁擠度和環境匮乏
From：英國倫敦帝國理工學院
摘要：以大規模和低成本收集的資料（例如衛星和街道圖像）有可能顯着提高分辨率，空間覆寫率和測量城市不平等現象的時間頻率。對于給定的地理區域，通常可以使用來自不同來源的多種類型的資料。然而，由于聯合使用方法上的困難，大多數研究在進行測量時都使用單一類型的輸入資料。我們提出了兩種基于深度學習的方法，以結合利用衛星圖像和街道圖像來測量城市不平等現象。我們以倫敦為例，對三項標明的産出進行了案例研究，每項産出均按十分位類别衡量：收入，人滿為患和環境剝奪。我們使用平均絕對誤差（MAE）将我們提出的多峰模型與相應的單峰模型的性能進行比較。首先，将衛星圖塊附加到街道級别的圖像上，以增強對可獲得街道圖像的位置的預測，進而将精确度提高20％，10％和9％，以收入，人滿為患和居住環境的十分位數為機關。據我們所知，第二種方法是新穎的，它使用U-Net體系結構以高空間分辨率（例如，在我們的實驗中為倫敦的3 m×3 m像素）對城市中的所有網格單元進行預測。它可以利用全市範圍内的衛星圖像可用性，以及從可用的街道級别圖像中獲得的稀疏資訊，進而将準确性提高6％，10％和11％。我們還顯示了兩種方法的預測圖示例，以直覺地突出顯示性能差異。
亮點：
- 我們的模型利用了來自街道和衛星圖像的資訊。
- 拟議的多峰測量方法優于單峰測量方法。
- 該模型可以在訓練和預測期間處理丢失的資料。
- 多模式架構可以包含其他模式（例如，航空影像）。
- 應用程式可以擴充到不同的結果。
資料：
- 結果資料來自2011年英國人口普查（ONS，2011），擁擠家庭的大倫敦，大倫敦政府（Greater London Authority（GLA），2015）的收入，以及生活環境匮乏的英語剝奪指數（住房，社群部，和地方政府，2015年）。
- 街道級别的圖檔是使用Google Street View API從Google Maps提取的。對于倫敦的每個郵政編碼（ONS，2017），API傳回Google最近拍攝的最近可用全景圖像的唯一辨別符（如果有）。時間戳記從2008年到2018年不等。全景圖圖像可用于145,756個郵政編碼中，對應于119,238個獨特的全景圖。通過指定相對于車輛的攝像頭方向（即0°，90°，180°，270°）以覆寫360°的視野，我們為每個全景圖使用了四個圖像切口。
- 衛星圖像是通過其教育和研究計劃（Planet Team，2017年）從Planet（以前稱為Planet Labs）免費獲得的。
方法：
以VGG為基礎搭建兩個網絡，一個針對街景、一個針對遙感資料。
部分結果：
MSL和MSATinSL生成的地面真相和預測圖的比較。MSL僅将街道圖像用于生成這些地圖。MSATinSL既利用了衛星圖像，又利用了街道圖像，并通過預測的十分位數地圖觀察到了增強的測量性能。地圖用顔色編碼，其中紅色對應于最差定義，而藍色對應于最佳定義。還提供了地面實況（觀測到的）十分位圖，以進行比較。還顯示了絕對誤差圖。
MSAT和MSLinSAT生成的地面真相和預測圖的比較。MSAT僅将衛星圖像用于生成這些地圖。MSLinSAT利用我們提出的方法将衛星圖像和街道圖像結合使用，并通過預測的十分位數地圖觀察到了增強的測量性能。地圖用顔色編碼，其中紅色對應于最差定義，而藍色對應于最佳定義。還提供了地面真實十分位圖（标簽），以與原始衛星圖像進行比較。街道級圖像用于可用于每個圖塊覆寫的地理區域的預測。由于空間限制，圖中未顯示單個街道級别的圖像。圖檔由Planet提供。
僅在使用街道級别的圖像時，海德公園被預測為具有高品質的生活環境，即藍色（例如，低空氣污染）。這與直覺是一緻的，因為當僅從街道角度觀察時（例如從公園内部捕獲樹木），網絡沒有關于公園相對位置的任何資訊。MSLinSAT在該區域上做得更好，因為衛星瓦片幫助網絡識别海德公園實際上位于市中心内，是以相對于市區其他地方的公園而言，空氣品質較差。希思羅機場周圍地區也觀察到了類似的模式。
引用格式：
Suel E, Bhatt S, Brauer M, Flaxman S, Ezzati M. Multimodal deep learning from satellite and street-level imagery for measuring income, overcrowding, and environmental deprivation in urban areas. Remote Sensing of Environment 2021; 257.