本文内容來源于《測繪學報》2022年第7期（審圖号GS京（2022）0495号）
遙感大資料智能解譯的地理學認知模型與方法
張兵1,2
,楊曉梅2,3,高連如1,4, 孟瑜1,5,孫顯1,肖晨超6,倪麗1,4
1. 中國科學院空天資訊創新研究院, 北京 100094;
2. 中國科學院大學, 北京 100049;
3. 中國科學院地理科學與資源研究所資源與環境資訊系統國家重點實驗室, 北京 100101;
4. 中國科學院計算光學成像技術重點實驗室, 北京 100094;
5. 國家遙感應用工程技術研究中心, 北京 100101;
6. 自然資源部國土衛星遙感應用中心, 北京 100048
基金項目：國家重點研發計劃(2021YFB3900500)
摘要：随着遙感資料和計算機算力的爆炸式增長、智能分析算法瓶頸的突破, 亟須提升與之相比對的遙感大資料處理與分析能力。針對複雜場景下遙感大資料智能處理與地理學認知耦合關聯和交叉融合的關鍵問題, 本文分析了遙感大資料與地理科學各自的特點與互相關系, 提出了多模态知識融合關聯的深度網絡建構和面向地理制圖的遙感智能解譯思路, 建立了遙感大資料智能處理與應用體系架構; 面向技術發展和行業應用, 本文提出了分别建設通用高分辨率遙感智能處理系統和智能精準應用平台的總體路線, 以期推動遙感智能解譯技術創新和工程化應用的全面發展。
關鍵詞：遙感大資料 地理學 智能圖像處理 國土資源調查
引文格式：張兵, 楊曉梅, 高連如, 等. 遙感大資料智能解譯的地理學認知模型與方法[J]. 測繪學報，2022，51(7)：1398-1415. DOI: 10.11947/j.AGCS.2022.20220279
ZHANG Bing, YANG Xiaomei, GAO Lianru, et al. Geo-cognitive models and methods for intelligent interpretation of remotely sensed big data[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(7): 1398-1415. DOI: 10.11947/j.AGCS.2022.20220279
閱讀全文：http://xb.chinasmp.com/article/2022/1001-1595/20220725.htm
引 言
目前，遙感資料和計算機算力呈爆炸式增長、智能算法研發突飛猛進，加之大陸國産衛星蓬勃發展、各行業應用需求不斷提升，亟須提升與之相比對的遙感大資料處理與分析能力。但是，目前在國土資源調查大規模應用實踐中，絕大部分資訊提取工作仍采用人機互動方式完成[1]，自動化分析能力的缺失正成為衛星遙感深化行業應用的“卡脖子”問題。分析其原因，主要展現在以下3個方面：①自然場景所涉及的複雜地表要素及其組合的遙感認知不夠。自然場景是由地理多要素組合的複雜系統，具有地形多樣、氣象複雜、地表細碎等特征，存在地學時空分異規律[2]，而遙感多尺度像元表征并沒有有效利用這些知識，目前依然處于割裂狀态。②遙感資訊、智能算法、專家知識等深層次學科交叉不夠。智能算法大都來自機器學習與資訊領域，針對遙感圖像處理應用改造不夠；此外，用作地理制圖的專家知識未能融入遙感資訊提取中。③遙感智能解譯大規模資料、模型、計算資源等開放度不夠。雖然遙感資料、模型、計算資源等發展迅速，但缺乏統一的開放機制，阻礙了資源共享與技術革新，需要建構開放式遙感智能解譯平台，通過統一內建，形成面向科研院所、高校、企業、行業等領域的共享生态環境。
針對複雜場景下遙感大資料智能處理與地理學認知的應用瓶頸問題，迫切需要開展複雜自然場景地學認知機理、多模态遙感資料協同、地表要素高精度解譯、分布式開放服務架構建構等方面的技術攻關，建立大規模多模态樣本及地學分區資料集，建構通用遙感智能處理系統和面向行業的遙感智能精準應用平台，以推動遙感智能解譯技術創新發展及其工程化應用。
1 遙感大資料與地理學認知
遙感技術是通過非接觸的方式對目标的電磁波資訊進行成像資料收集和分析。近年來，随着遙感技術的飛速發展，遙感圖像空間分辨率、光譜分辨率和時間分辨率不斷提高，資料類型不斷豐富，資料量呈爆發式增長，遙感資訊技術正進入大資料時代。遙感大資料具有典型的4V特征：資料量大但資訊密度小(volume-value)、類型繁多(variety)、動态多變(velocity)、備援模糊(veracity)[3-4]。大量的衛星環繞地球可以源源不斷地擷取遙感資料，使得遙感資料量不斷地增加，但從海量多(超)譜段遙感圖像中提取的資訊量(分類圖、目标探測結果等)卻是高度壓縮的，是以遙感資料呈現資料量大資訊密度小的特點；遙感觀測的傳感器種類包括全色、多光譜、高光譜、紅外、合成孔徑雷達、雷射雷達等，使得資料類型多樣化、格式多樣化和資料處理方式多樣化；遙感資料的擷取近乎實時且在不同時間擷取的遙感資料特征存在不同；在擷取遙感資料過程中，由于傳感器内部自身特性和外部環境幹擾等因素影響，使得擷取的資料存在不一緻、不完整、模糊等不确定性。同時，遙感大資料還具備獨有的特點：多角度、多譜段、多平台、多尺度、多時相[5-6]。傳感器可從兩個或兩個以上的方向對同一對象進行觀測，以擷取觀測對象的真實反射或輻射特性；可擷取觀測對象對多個光譜譜段的不同反射或輻射電磁波資訊，以增加觀測對象的光譜資訊；同類傳感器于不同遙感觀測平台(如衛星、無人機等)采集得到的遙感資料具備不同的空間分辨率，可反映出觀測地物從宏觀到細節的多層次特征；多類傳感器于同一遙感觀測平台可擷取不同類型的遙感資料(如多全色、光譜、高光譜等)，因成像機理不同、運作周期不同，可反映出觀測地物的多尺度特征；遙感衛星可按照固定運作周期全天候、全天時對地球進行連續觀測，以提供多種時間分辨率的多時相遙感資料。
地理學是研究由自然環境、經濟環境和社會文化環境互相重疊、互相聯系所構成的人類賴以生存的地球表層的科學。盡管地球表層是一個十分複雜的巨系統，但從地理學視角看，仍然存在一般的結構特性：垂直次元的圈層性、水準次元的地域分異性、時間次元的演化性，具有多要素作用下“多尺度時空分異性”。在綜合自然地理學中，使用土地分類和自然區劃對地球表層要素多尺度時空分異性進行綜合認知和表達。土地(land)是一個綜合性的概念，包括地球特定地域表面及其以上和以下的大氣、土壤、基礎地質、水文和植物，還涵蓋這一地域範圍内過去和目前人類活動的種種結果[2]。土地分類是對土地單元内的地理要素進行相似性概括和類型劃分。通過對土地類型的劃分，不僅能夠正确認知土地現狀，指出改造與利用的方向及途徑，還有助于擴大自然地理學的研究領域，發展地理學的理論體系。區劃，即區域劃分，根據不同的區劃對象分為行政區劃、經濟區劃和自然區劃等。自然區劃是以地域分異規律為指導，根據區域發展的統一性、區域空間的完整性和區域綜合自然特征的一緻性，逐級劃分或合并自然地域機關，并按這些地域機關的從屬關系建立一定形式的地域等級系統的研究方法[7]。盡管土地分類與自然區劃在實作方法、應用層次、劃分尺度上不同，但二者均是對土地的綜合性認知和地域劃分，這種劃分均強調地域内部的地理要素和綜合體的相似性，并同時強調地域之間的地理要素和綜合體的差異性。
遙感影像專家解譯的最後成果是劃分出地理對象的邊界和為地理對象賦予“類别”的屬性，這涉及解譯專家對客觀地理世界中的地理實體進行“分類”的知識。長期以來基于地學知識的遙感計算分析基本采用簡單的知識限制政策或剛性的規則判别處理，缺乏系統性地學思維。地學思維方式是充分利用地學領域的已有知識及相關資料，盡可能模拟地學專家解譯時的思維方式[8]。但地學思維一直以來缺乏技術和豐富資訊産品的支撐，導緻以下不足：①已有的地學資料和知識空間表達精度較低，缺乏品質評價和校準技術手段；②對地學知識處理與融入機制的考慮相對簡單，多是淺表性、零散性的細節處理；③缺乏豐富的時空分析手段和空間資訊，難以将對事物特性的既往認識和目前提取的資訊有機連接配接起來[9]。
地理場景是一定時空範圍内的各種自然要素、人文要素互相關聯、互相作用所構成的具有特定結構和功能的地域綜合體[10]。遙感大資料時代的到來為地理場景的定量表達和分析帶來新的發展和新的可能，配合空間相關性[11]、空間異質性[12]、對象-環境相關性[13]研究的深化，将推動從全局多要素綜合的地理環境到精細地理對象/目标不同尺度層級的綜合認知。宏觀層面的地理分區是綜合地理環境(場景)的異質劃分，其本身可多尺度逐級劃分；微觀層面則以點位空間距離、生态景觀、人類開發格局(如道路)等為主導劃分。宏觀微觀相結合的地理認知模型指導自上而下的多尺度分區分層劃分，以多層級空間分布圖形式表達，将在一定程度上克服語義知識對于地理實體空間關系和空間範圍界定的困難。
概括來講，人工智能與地學認知的有效結合主要分為兩種趨勢：一種趨勢是在相對簡單架構下以資料驅動機器學習為主體。現代人工智能系統在很大程度上并不需要對這個世界的運作原理建立假設和結構化概念，傾向于最小化人工智能算法的結構，以保留算法的簡單性，追求盡量減少認知機制的成分，強調利用可以獲得的樣本資料完成學習[14]，分區就是幫助将複雜的研究區域劃分為多個内部相對均質、外部相對異質的區域單元。另一種趨勢是充分利用地學知識，強調在對地理環境和實體對象認知的基礎上，設計相應的模型和算法。這種思路認為人工智能系統不應該隻是基于輸入資訊的基本單元(如像素矩陣)進行處理，而是應該加入更加豐富的結構化元素和表征，以及對應的算法，進而更好地了解外部世界。
針對地表複雜場景問題，更加需要宏觀地理分區解構和微觀視覺認知相結合，發展複雜性度量名額作為調控，形成多尺度自适應分區分層方案。地理分區首先是全局的分區劃分，而逐層級繼續劃分就轉換為局部劃分的問題，如有計算度量名額幫助确定按需分到哪個層級最合适，則是自适應分區問題，保證全局和局部的最優。遙感大資料的優勢就是可将全局描述、多粒度表達轉化為局域細節特征描述，将全局多個尺度層面轉變為局域自适應尺度的探測。
2 多模态知識融合關聯的深度網絡建構
2.1 多模态遙感資料融合
自20世紀60年代衛星遙感技術誕生以來，大陸已經發射200餘顆地球觀測衛星，為人類認知地表複雜場景提供了多元化的觀測資料。單一模态的遙感資料無法擷取複雜場景完整且全面的資訊，是以限制了其後續各種地學應用的精度。多模态遙感資料融合可以突破單一模态資料的限制，通過融合多角度、多譜段、多平台、多尺度、多時相等特性，消除資料間的備援，達到互補資訊的有效結合和利用[15]，進而更好地服務後續應用需求。
多模态通常可以被廣義定義為使用不同的資訊或屬性(例如來源于不同的内容、不同的傳感器、不同的分辨率等)描述相同的物體或場景。多模态遙感資料融合分為3個層級：資料級、特征級和決策級[16]。資料級融合往往針對同質遙感資料，如通過光學手段擷取的全色、多光譜和高光譜圖像。該類技術主要是為了解決傳感器時間分辨率、空間分辨率和光譜分辨率之間的沖突，例如，解決空間分辨率和光譜分辨率沖突的空-譜融合技術(包括全色-多光譜、全色-高光譜以及多光譜-高光譜融合技術)，解決時間分辨率和空間分辨率沖突的時-空融合技術。空-譜融合技術主要分為3大類：基于細節注入的方法、基于模型優化的方法以及基于深度學習的方法。基于細節注入的方法重點在于提取高空間分辨率圖像的細節資訊，進而注入低空間分辨率圖像以實作空間分辨率增強。基于模型優化的方法則是對退化模型施加待求圖像的先驗資訊，通過數學優化的方式求解。深度學習技術則是通過組合低層特征形成更加抽象的高層來表示屬性類别或特征，因其在遙感大資料上表現出來的強大特征提取和學習能力，被廣泛應用于多模态遙感資料融合問題中。深度學習方法又可以細分為監督學習與非監督學習。前者通過大量訓練資料來學習複雜的非線性映射關系以此來達到新資料融合的目的[17]，但該類方法對龐大資料的依賴極大地限制了其在實際應用的潛力，是以近年來非監督方法獲得了更多關注。後者旨在将傳統模型引入深度領域，且隻需要一對高光譜-多光譜圖像對即可實作空-譜融合重建，例如編碼-解碼方式[18-19]及生成-限制方式[20]。除空-譜融合外，時-空融合也受到遙感領域的密切關注，其中混合像元分解、稀疏表示及時空濾波是該方向發展出來的經典模型[21]。然而，上述傳統方法在面對複雜場景時，因其薄弱的非線性模組化能力，往往表現出不理想的重建效果。是以，深度學習模型也被廣泛應用于該領域，例如卷積神經網絡[22]，以及生成對抗網絡[23]。
特征級和決策級融合更适合異質遙感資料融合，融合結果往往能直接服務于具體的應用需求，例如光學-雷達資料融合。其中，全色/多光譜/高光譜資料與合成孔徑雷達圖像融合被應用到土地覆寫分類等應用問題中[24]；多光譜/高光譜與雷射雷達圖像的融合能夠綜合利用LiDAR的三維資訊和光學圖像的光譜資訊，是以可以提升遙感圖像地物分類的精度[25]。此外，遙感資料與衆包地理資訊資料融合也是多模态遙感資料融合考慮的方向[26]，例如利用興趣點資料及街景資料來輔助遙感資料進行城市功能區劃分[27-28]。但由于資料間的強異質性，資訊的有效提取及融合将是探究的重點。
面對多源多模态遙感資料所呈現出的資訊互補、備援、異構等特點以及單一模态在複雜場景下表現出的穩健性低、識别精度低等突出問題，亟須研究多模态多源遙感圖像的智能融合方法(圖 1)，進而有效利用複雜場景下多模态資料的多樣性，更好地服務相應的需求。
圖 1 多模态遙感資料融合概念Fig. 1 A conceptual figure of multimodal remotely sensed data fusion
圖選項
2.2 自适應地學分區分層資料集建構
複雜性是地球系統科學的基本特征，也是影響遙感智能解譯效果的重要原因。複雜性主要展現為地形地貌多樣、要素分布各向異性、地物結構破碎、類型混雜交錯、人工活動密集且場景多用途多變等，可以概括為自然、人文、生态要素互相作用造成了土地覆被/利用的時空分異，并有很強的尺度依賴性。這種分異在遙感解譯過程中可能由于“同物異譜”或“異物同譜”的現象被弱化，進而造成解譯精度無法滿足要求。成功的遙感解譯需要對研究區域内的光譜梯度進行有效劃分，選取适當的地理邊界對遙感影像進行分割，強化分割單元區域内地物的同質性，進而提升遙感解譯精度。地理要素的4個基本特征包括：空間位置特征、屬性特征、空間關系特征和時間特征。當面向遙感智能解譯時，地理要素不僅具有時、空特征，還增加了譜特征。複雜性度量通過定量化的名額進一步揭示區域内地理要素在時、空、譜特征中的複雜變化，是識别區域内部同質性和區域外部異質性的重要依據。
針對目前複雜場景下遙感智能解譯缺乏地學知識及其相關理論指導的問題，引入地學分區的思想，基于場景的複雜性度量，對複雜場景解譯進行相關理論研究。拟基于多源資料，建構一套面向遙感智能解譯的地理分區方案，系統地将地理分區及其包含的地學知識應用于遙感智能解譯過程中。主要關鍵問題包括：基于空間分異統計理論實作場景複雜性度量、基于複雜性度量的單要素和多要素地學分區、基于地學分區的複雜場景多尺度分類體系建構和面向遙感智能解譯的地學分區資料集的建構與驗證。總體路線如圖 2所示，研究内容主要包括以下幾個方面。
圖 2 面向遙感智能解譯的複雜場景地學分區研究總體流程Fig. 2 Flowchart of geoscience zoning of complex scenes for remote sensing intelligent interpretation
圖選項
(1) 基于空間分異統計理論的場景複雜性度量。複雜場景下類型混雜交錯、地物高時空分異等均會導緻解譯困難。空間統計模組化僅考慮鄰近點空間分布，缺乏面向遙感場景的複雜性度量名額。在地表複雜性及空間分異統計理論基礎上，提出地表複雜性度量名額體系，模組化鄰近資訊對複雜性的重要影響，建立像素-圖斑-區域的多層級複雜性度量系統方法，設計複雜性卷積算子提取精細複雜度特征。
(2) 基于複雜性度量名額的地學分區。針對目前遙感智能解譯缺乏地學知識系統融入的問題，在場景複雜性度量的基礎上，綜合利用地理要素基礎資料和已有分區資料及文獻資料，基于莫蘭指數、輪廓系數等名額和特征分割與聚類等方法，将複雜場景劃分為多個内部相對均質的區域，實作基于複雜性度量名額的地學分區。
(3) 面向地學分區的多尺度分類體系建構。針對如何實作智能解譯需求和地學分區資料尺度相比對的問題，基于定量化名額對分區單元的同質性和異質性進行評估和尺度優選，建構複雜場景多尺度分類體系，并依據區域特征統一進行歸類和命名，為後續地學分區資料集的規範建立和智能解譯架構的分類施策奠定基礎。
(4) 面向遙感智能解譯的地學分區資料集建構及驗證。基于複雜性度量的分區方法，建構具有多尺度分類體系的地學分區資料集，為後續的解譯試驗提供統一的資料基礎，并通過分區前後精度評估或資料一緻性評價等實作地學分區資料的驗證。
2.3 深度學習網絡建構
随着目前人工智能理論和方法的不斷創新，基于深度學習的網絡建構也趨于多樣化發展。針對複雜場景下遙感資料的低信噪比、多源異構等特性，建構适合于智能化遙感圖像處理與應用的多模态深度學習架構已成為一個亟待完善且富有挑戰的研究方向[29]。目前大多數方法還停留在不同模态特征的簡單堆疊階段，如特征堆棧、子空間學習等，不能滿足多模态資料智能化融合與挖掘需求。為此，本文總結整理一些前沿的多模态深度學習網絡架構及變種，重點關注其融合政策，分析這些方法各自在多模态遙感資料處理和分析方面的優勢和不足，歸納總結出遺留的挑戰和問題，并指出未來潛在的研究重點。
根據是否使用标記樣本，多模态深度學習網絡架構可粗略分成無監督網絡與有監督網絡。多模态無監督深度網絡的核心思想是通過使用不同的自編碼網絡分别提取不同模态遙感資料的特征表示，進一步在中間隐含層進行融合，例如加性融合、級聯融合等，最後融合特征期望能夠同時重構出原始的不同輸入模态資料[30]。如此方式可以實作不同模态資料在隐含層較為有效的融合。文獻[30]在此基礎上，給出了幾種不同的無監督網絡結構，主要的不同在于網絡輸入和輸出模态的數量及是否進行網絡預訓練。其中，深度編碼-解碼的網絡結構在多模态遙感圖像進行中應用廣泛[31]，可以實作無監督的高維特征提取。為了充分融合多模态遙感資料提供的空間幾何資訊，采用注意力機制子產品能夠顯著增強不同模态資料的特征資訊，以幫助深度學習網絡更好地進行特征融合[32]。文獻[20]研究了不同網絡的交叉模态表示性能，驗證了網絡架構在交叉模态情況下的可行性。此外，由于目前生成對抗網絡(GAN)優越的特征表示和學習能力[33]，尤其是穩健性上，GAN也被考慮作為一個深度學習的基準網絡結構應用于多模态遙感資料的分類和識别任務中，利用其對資料分布有效的捕捉能力，從統計學的角度對多模态資料進行更有效、更充分的資訊融合和學習[34]。目前，一些基于GAN網絡架構的嘗試性工作已經被提出并應用于多模态遙感圖像智能處理與解譯工作[35-36]，這為後續廣泛的應用提供了較好的技術參考與可行性保障。
不同于無監督的深度網絡構造，文獻[20]首次提出了應用于遙感圖像分類的多模态深度學習網絡架構，突破了單模态性能瓶頸，為多模态智能解譯提供了新的視角，如圖 3所示。其架構能夠處理不同的資料輸入形式，包含了兩種不同的網絡結構：像元級别和圖斑級别。與此同時，多模态融合對于深度學習網絡的性能提升具有重大意義。相比于傳統基于單模态的深度網絡架構，多模态融合旨在整合不同單模态特征，并将其抽取成一個穩定的多模态特征，為深度學習網絡賦予了更完備的特征資訊。在融合政策上，考慮到多模态特征融合位置的重要性，介紹了3種常見的融合政策：早期融合、中期融合、決策融合。早期融合主要發生在資料輸入端，通過聯合處理不同模态的遙感資料源來發揮資料原始資訊的價值。中期融合将每個模态所提取到的特征聯合起來，使得深度學習網絡學習到不同的特征表示，但是其難點在于需要考慮合适的特征融合時機。決策融合充分結合多模态網絡結構的決策輸出，可以針對具體決策目标實作靈活的判别功能。考慮到不同模态資料異質性所帶來的融合不充分問題，設計了跨模态交叉融合新思路，将多模态資料分别投影到一個可度量的潛在共享空間，縮減了模态資料間的語義鴻溝，更充分地融合了不同資料的實體屬性，有效地提升了特征的判别性，大大提高了地學分類應用的性能。文獻[37]利用交叉通道重構子產品來交換多模态遙感資料資訊，并成功應用于遙感圖像分類領域。相比于傳統基于級聯和基于對齊的融合方法，這種交叉融合方法能夠更加準确地提取多模态特征。
圖 3 多模态深度學習網絡架構Fig. 3 A network architecture of multimodal deep learning
圖選項
随着深度學習技術的廣泛推廣，大量遙感影像解譯任務都得到了極大的發展。其中，以聯合知識圖譜和深度學習為代表的新一代遙感影像解譯模型逐漸成為遙感大資料智能處理的研究重點，從可解釋性、泛化能力等方面推動了遙感影像的智能化解譯發展[38]。該類方法将深度學習與知識圖譜有機耦合在一個閉環的回路中，利用知識圖譜語義推理出的高層次專家語義知識來引導基于深度學習方法的解譯糾錯。遙感覺識圖譜的引入能夠有效輔助深度學習模型的訓練，并且已經成功應用于遙感影像場景分類、語義分割、場景圖生成等領域。雖然目前知識圖譜與深度學習的耦合理論方法尚處在萌芽階段，但是未來探究針對多模态遙感資料的智能解譯模型仍是具有非常大的潛力。
同時利用有監督和無監督資訊的半監督網絡架構也将是未來的一個研究重點，這不僅可以更充分地利用标記資訊，也能最大程度上利用大量的無标記樣本，進而更好地提升模型的表示能力。目前，基于半監督學習的多模态遙感處理方法仍在探索階段，現有研究在兩種模态資料中取得了很大的性能提升[39]。除此之外，目前多模态預訓練模型也受到廣泛的關注，利用自監督學習政策[40-41]，通過建構自學習的深度學習網絡架構将是邁向智能化地理認知的一條有效途徑，也是實作遙感大資料智能解譯有效服務于各種地學應用的一套可行解決方案。
3 面向地理制圖的遙感智能解譯
地理制圖是利用地圖學方法對地理現象和實體進行分析和制圖的過程，其主要任務在于把抽象的科學概念轉為直覺形象的視覺思維模型，并正确展現地理環境及各要素間的關系[42]。面向地理制圖的遙感智能解譯是利用人工智能技術将圖像形态遙感網格資料中的地理對象進行提取和制圖表達的過程，其成果是圖斑形态矢量資料，并滿足嚴格的GIS矢量資料規範，如拓撲表達規則、最小上圖規則等，可直接服務行業應用。受遙感智能解譯算法模型能力限制，目前的智能解譯結果類型一般包括兩類：一是像元級，該類成果不能表達地理實體和要素層級内容；二是圖斑級，該類成果達不到制圖要求，無法直接服務行業應用。
遙感解譯需求伴随着整個遙感學科的發展，走過了從純人工目視解譯的1.0時代，到人機互動解譯的2.0時代。在人工智能領域取得突破進展的當下，遙感解譯也必将走進智能解譯的3.0時代。推進面向地理制圖的遙感智能解譯，既能引領遙感解譯研究走向智能時代，也可以系統性提升解譯成果支撐行業應用的能力。
3.1 地理制圖的特點
地理制圖在将地理空間資料按用途依據嚴格的地圖表達規則實作符号化的過程中，有3大關鍵點：①地理空間資料——矢量資料是地理制圖的基礎，其通過點、線、面要素來表示地球表面實體對象的位置、形态、大小分布等資訊，通過拓撲資訊描述實體間的空間相連、相鄰及包含等位置關系[43]。②地圖表達規則實際上是不同地圖比例尺轉換過程的制圖綜合。地圖比例尺——圖上距離與實地距離之比，一般用1∶M表示。因為人的視覺存在生理的分辨極限，即人的視覺分辨率(0.1~0.2 mm)[44-46]，地理制圖時需要根據圖幅大小，通過比例尺限定地圖對地物表達的精細程度。在大陸有從1∶1 000 000至1∶500的11種基本地形圖比例尺，可用來表達世界、國家、地區、城市或更小地理機關的地理要素(現象)。③符号系統是一組地理實體的美觀标準化示意，如用什麼符号、什麼顔色表示不同形狀、等級、功能的地理實體。不同行業和應用場景有不同的符号化需求，就地理制圖而言可不考慮。是以，本文面向地理制圖的遙感智能解譯主要指：根據不同比例尺制圖需求從相應遙感影像資料智能提取地理實體邊界準确、拓撲關系正确的矢量資料，并自适應完成制圖綜合的過程，不涉及符号化環節。
3.2 基于遙感資料的傳統地理制圖面臨的問題
目前，基于遙感資料實作業務級地理制圖主要面臨3個方面的問題：①普遍依賴人機互動目視解譯，而人機互動解譯以作業人員的判讀經驗和專業知識為基礎，解譯結果往往因人而異[47]且耗費大量人力、物力和時間成本[48-49]。②現有自動提取模型難以準确表征對象。盡管系列研究表明經典的機器學習模型(如random forest, support vector machine等)通過訓練也可實作土地覆寫分類[50-52]，但結果往往處于像元級，椒鹽效應嚴重，不滿足業務應用的圖斑級需求。以深度學習為代表的人工智能算法，通過語義分割任務模式可獲得圖斑級土地覆寫結果[53-54]，但圖斑邊界的準确度達不到制圖要求且存在圖斑接邊問題。為獲得滿意的圖斑級結果，一直有研究從面向對象角度切入，通過影像分割的方式擷取圖斑邊界，尤其是eCognition軟體提供的分型網絡演化方法(fractal net evolution approach, FNEA)優于其他多尺度分割算法，但這類算法每一類隻能選一個尺度，忽略周圍環境和内部異質性影響[55]，也比較容易出現過分割或欠分割現象[56]，不能滿足地圖生産的要求。為此，往往還需要通過增加後處理環節獲得優化的圖斑結果，但就目前而言，後處理仍主要依賴于人工修正，智能化依舊很困難。是以，擷取精準地塊資料依舊是圖斑級解譯的關鍵與難點。③分類結果的應用針對性不強。業務管理的土地利用通常具有完備的分類體系，劃分為一級、二級，甚至三級、四級。受限于解譯樣本的擷取難度，目前土地覆寫分類研究的分類體系大多集中在土地利用分類的一級類層級，分類粒度不滿足行業應用需要。再有，研究者往往聚焦在某一類遙感資料(如10~30 m的Landsat和Sentinel-2資料，或者1000 m的MODIS資料)，從其可解譯性設計分類體系[51, 57-58]，不适應行業多層次、多目标、多粒度的實際需求。
3.3 複雜地表要素精細尺度智能解譯模型與方法
遙感解譯進入3.0的智能時代，需突破遙感智能解譯對多模态資料和知識的綜合利用，以适應行業應用的複雜場景和精細尺度需求，實作專業級的地理制圖的目标(圖 4)。
圖 4 面向地理制圖的遙感智能解譯架構Fig. 4 Remote sensing intelligent interpretation framework for geographic cartography
圖選項
(1) 面向業務的智能解譯分類體系建構。兼顧行業分類體系，綜合考慮多模态資料的資訊互補性與智能模型的自動解譯能力，以及行業制圖成果标準，建構以土地利用為主，制圖比例尺、地理現象表達詳略同遙感空間分辨率關聯的複雜地表要素遙感智能解譯分類系統，将通用分類系統與應用場景結合，實作技術功能彈性和自适應的智能化目标。
(2) 顧及圖斑邊界優化的遙感智能解譯。結合行業調查資料(如“三調”資料)和模型識别結果，通過交叉感覺引導修正圖斑邊緣及相鄰接邊，解決圖斑邊界光滑、精準吻合等制圖問題，探索用深度學習方法提升圖斑邊界提取的準确率，實作智能解譯圖斑邊界的自動優化，突破由圖像形态遙感資料(端)到專業級矢量圖斑GIS資料(端)的生産瓶頸。
(3) 行業專用智能解譯模型建構。針對遙感影像幅寬大、地類多樣、尺度變化大、頻道多樣的特點，實施遙感專用的網絡模型架構合理化設計，以滿足不同應用場景下模型的快速擴充和重構；此外，将行業知識融入“資料-模型”，探索将第三方知識融入深度學習模型訓練和識别的方法，建構“資料+知識—模型”遙感智能解譯體系。
4 遙感智能處理系統建構與規模化應用
在複雜場景遙感智能處理領域，存在資料類型複雜、模型體例不一、應用場景多樣等特點。是以，需要建構面向複雜自然場景的多模态樣本資料庫，結合地學知識與遙感特性，規範化組織大規模樣本資料；建立統一的自演進開放式遙感智能解譯平台，為各行業、各部門、各領域科研人員提供內建“訓練-測試-優化”的全鍊路智能解譯服務與海量資源共享的試驗環境；在此基礎上，深度貼合行業應用的業務需求，建設面向行業的遙感智能精準應用平台，針對性地給出應用解決方案，大幅提升遙感資料大規模快速智能解譯能力，推動遙感智能解譯技術創新發展及其工程化應用。
4.1 樣本庫建構
現有遙感樣本庫大都是對不同的智能解譯任務進行針對性地建構，國内外目前已經有面向各類任務的公開樣本庫，如面向場景分類的Eurosat[59]、AID[60]、NWPU-RESISC45[61]等，面向目标檢測識别的NWPU VHR-10[62]、DIOR[63]及中國科學院空天院建構并釋出的全球規模最大的遙感圖像細粒度資料集FAIR1M[64]等，面向地物要素分類的WHU_Building[65]、EvLab-SS[66]等，面向變化檢測的SZTAKI AirChange[67]、CDD[68]、LEVIR[69]等。但是目前已經建立的樣本庫難以适應多模态、多分辨率、多應用驅動的複雜自然場景遙感智能解譯，差距主要表現在以下4個方面：①缺乏統一的标準。目前已有樣本庫無論是組織形式還是标注規範都不相同，樣本庫間相容性差，增加了模型開發的複雜性。②缺乏智能化标注工具。面向地形地貌多樣、地表結構細碎的複雜場景，目前大部分依靠人工精細化标注，标注速度遠低于遙感資料積累速度，降低了資料應用效能。③缺乏遙感覺識特性融入。目前已有樣本庫大都單純從圖像角度對樣本進行組織，對遙感專家知識、地物輻射特性、散射特性的描述不夠，增加了模型算法嵌入遙感特性知識的難度。④缺乏動态更新機制。大部分樣本庫建成後其樣本數量不變，但是遙感圖像不斷積累，應該建構與時間分辨率相适應的樣本庫動态更新機制。是以，針對目前遙感領域樣本庫存在的問題，需要在深度耦合地學知識和遙感特性的基礎上，建立面向複雜場景高分辨率遙感智能處理的規範化、權威性的樣本庫，對支撐技術發展、精準應用意義重大。
面向複雜場景的多模态樣本庫建設本着以下4項主要原則：①統一樣本标準規範。為不同平台不同載荷的多模态樣本提供統一的标準規範，針對不同任務高效組織海量複雜自然場景樣本資料。②樣本标注人機協同。融合遙感領域人工智能算法和複雜地物的特性實作半自動樣本标注，降低标注成本，提高标簽精度。③知識特性庫配套。提供目标知識特性庫，涵蓋多類複雜自然場景地物的目标特性與專家知識，推進“資料+知識”的有機結合。④樣本庫動态更新。利用海量異構資料存儲與檢索技術及新增資料自适應同步更新技術，實作複雜地表樣本資料的動态更新。具體建設方案如圖 5所示。
圖 5 樣本庫設計與建設技術流程Fig. 5 Design and construction process of remote sensing sample database
圖選項
整體技術流程包括資料采集、資料清洗、資料标注、知識特性、資料存儲、檢索更新6個環節: ①采集包括來自國内外的天基衛星、臨近空間飛艇和航空飛機等多個平台、全色/多光譜/高光譜/SAR/紅外等多類傳感器，以及衆包地理等資料；②通過設定的清洗規範，對資料規範性、完整性等進行評估和過濾篩選；③采用人機協同等多手段對多源資料實作細粒度标注；④利用資料關聯等多種方式進行知識與特性的積累；⑤将樣本通過統一的組織規範進行存儲；⑥建構精準、高效的智能檢索架構，支援樣本疊代更新，提升資料的利用價值。整個流程可根據現有樣本庫内的資料分布，進一步開展針對性的資料采集、清洗、标注等工作，達到循環往複的效果。
4.2 通用遙感智能處理系統建構
目前，國内外主流的公司、研究機構和高校都開發了遙感智能處理系統，如ENVI內建了深度學習子產品實作了部分遙感應用場景的智能化操作；武漢大學側重于遙感光學圖像解譯開發了LuojiaNET平台；西安電子科技大學針對光學和SAR圖像處理推出了RS-Brain AI平台提供解譯模型推理功能；中科院空天院專注智能解譯領域研發遙感AI平台，提供模型搭建-訓練-推理功能。但是目前已經建立的遙感智能處理系統尚難以支撐形成開放共享、技術發展、統一應用的遙感智能生态[70-72]，主要問題表現在以下3個方面：①系統的開放性不夠。各類智能資源有選擇性部分開放，容易造成不同系統間重複建設和資源浪費。②系統的涵蓋面不全。已有遙感智能處理系統大都針對特定場景、特定資料開發建設，內建特定垂直領域的智能解譯模型，模型的适應性較差。③系統的智能化程度不高。智能解譯模型搭建、訓練、應用缺乏智能化的人機互動引導，需要專業背景支撐，造成準入門檻高，影響系統平台全面推廣。
是以，針對目前遙感智能處理系統存在的問題，需要在遙感大資料地理學認知理論基礎上，面向全色、多光譜、高光譜、SAR、紅外等多模态遙感資料，內建面向多解譯任務智能模型，建立權威開放式遙感智能處理系統。高效內建遙感智能解譯的資料、算法和算力，為各行業、各部門、各領域科技人員提供開放共享的系統服務，支撐使用者利用通用遙感智能處理系統中的功能進行任務驅動的模型快速建構、高效并行訓練、模型評估疊代、異構資源內建等全鍊路全生命周期服務，推動各研究部門在遙感智能處理領域的創新發展。通用遙感智能處理系統總體架構如圖 6所示。
圖 6 通用遙感智能處理系統總體架構Fig. 6 Overall architecture of remote sensing intelligent processing system
圖選項
通用遙感智能處理系統在底層計算、存儲資源支撐下，相容各類國産化和非國産化智能處理架構，提供基礎算法模型插件，将各插件打包封裝，能夠以拖拽、引導、代碼等多種方式完成模型的搭建、訓練和釋出。系統内置了遙感智能解譯領域的圖像融合類、變化檢測類、語義分割類、地理制圖類等權威智能服務，支援以多種方式進行調用。同時，通用遙感智能處理系統包含樣本的接入-清洗-标注-存儲的全生命周期功能，支援用新增樣本進行模型的疊代訓練和持續優化。
通用遙感智能處理系統建設涉及兩項重點的關鍵技術：
(1) 雲原生架構下的高效內建與互促更新技術。以往遙感智能處理系統采用傳統單體架構，将許多分散的遙感智能解譯服務捆綁在一起，構成一個“功能包”，使服務之間出現不必要的依賴關系，導緻開發和部署過程喪失靈活性。發生故障時，需要整體停機進行維護，并重新部署整個遙感智能處理系統。為解決上述問題，基于雲原生技術采用微服務架構将遙感智能解譯的單體應用分解成小型松散耦合的服務，并利用開源堆棧對其進行容器化達到應用隔離的目的，當單個服務進行獨立更新、擴充和重新開機等操作時不影響其他服務，進而提高遙感智能處理系統在開發和部署過程中的靈活性和可維護性，實作應用驅動下的系統局部更新，同時借助DevOps等靈活思維支援系統平台的持續疊代和運維自動化，最終在國産化硬體上實作遙感智能處理系統的彈性伸縮、動态排程、資源使用率優化。
(2) 面向遙感智能解譯的“樣本-知識-特性庫”內建共享與開放更新技術。以往遙感智能處理系統沒有考慮高并發通路的應用需求，采用簡單的資料內建政策，無法針對高頻動态增長的應用模式動态更新遙感智能解譯樣本、知識與特性庫。圍繞時-空-譜資料多源異構、粒度疏密不一等特點，建構資料管理模型，根據資料内容、資料類型、資料關系進行統一組織和多元管理，同時搭建海量資料智能化檢索架構，建立高效索引與多級緩存機制，實作樣本、知識、特性等異構資料快速、穩定、靈活的精準服務。與此同時，針對複雜地表要素高頻動态增長的應用模式，突破海量異構資料多對多關系模組化技術和基于線上學習的新增資料自适應關聯技術，實作百萬級地表要素樣本的關聯關系建構與動态更新。通過檢索的回報結果進行現有資料關系的優化，實作資料關系網絡的動态自演進，促進平台高效內建共享樣本、知識、特性等資料，為海量并發使用者提供開放共享服務。
4.3 面向行業遙感智能精準應用平台
近年來，對地觀測、大資料、雲計算及人工智能等技術的快速發展，尤其是海量高時空資料的開放擷取和雲計算平台的普及，極大地促進了遙感智能應用平台的發展。如最為知名的Google Earth Engine(GEE)[73]，全球學者在其上進行多種應用和制圖研究[74-77]。國内相關業務部門也積累了一些專業遙感應用平台，持續為各行業提供可靠的遙感基礎共性産品，極大地提升了國産衛星産品标準化處理的效率和精度。盡管這些開放平台具備很大的便利性與靈活性，但現階段鮮有功能豐富、配置靈活、操作便捷、産品規範、資料模型關聯、算法算力協調的業務化應用支撐平台，海量資料、模型算法亟需通過應用驅動才能實作效能最大程度發揮。在引領遙感智能解譯3.0時代的工作中，以業務體系及應用領域較為典型全面的自然資源行業作為切入點，研發面向行業的遙感智能精準應用平台将進一步促進遙感的業務支撐能力，有重大的示範和推廣價值。
面向自然資源領域的遙感智能精準應用平台因各地自然條件和社會發展的差異，使得行業任務場景更加複雜，應用需求更加多樣，也将面臨更多問題。首先，常見自然資源領域應用如自然資源年度變更調查、季度常态化監測、督查執法即時保障、城鎮國土空間調查監測等任務，對于監測資料源、實施周期、成果形式、歸集及統計要求等均有不同程度差異，且不同業務中或多或少需要人工導入部分關鍵業務知識，簡單的業務生産線實施方式不僅實作複雜且業務稍有變化就需要對解決方案進行相應調整，系統适應性不強。其次，現有業務系統中遙感大資料技術尚未完全與業務屬性深度融合，亟需在業務系統中引入算法模型在不同複雜度場景下的穩定性、效能評估及自适應優化配置等關鍵技術，最大限度提升終端使用者的服務體驗和業務效率。是以，遙感智能精準應用平台需要具備業務知識分解和積累、應用場景方案定制化以及直面應用效能的多元評估等新特性和新能力。
遙感智能精準應用平台的根本目的是将智能解譯的最新成果服務于行業應用，是以需要深度貼合行業已有的業務需求，平台建設原則需漸進式替代與颠覆性替代相結合。一方面，深入調查已有行業業務流程，對業務知識進行數字化分解模組化，漸進式用智能方法盡可能替換業務子產品。另一方面，要充分發揮科研人員的創新性，以業務最終結果為導向創造新的智能方案，形成新業務知識。平台應用方式核心要做到業務知識數字化積累、方案定制化生成以及效能多元度評估。如圖 7所示，在基礎資料上要有數字化的業務知識與成果積累，針對不同業務場景，能自定義業務子產品組合方案，最終在全國尺度上賦能多種業務應用。
圖 7 遙感智能精準應用平台總體架構Fig. 7 Overall architecture of remote sensing intelligent application platform
圖選項
遙感智能精準應用平台包含兩項關鍵技術：
(1) 深度貼合應用方案的多手段互動定制建構。遙感智能精準應用平台通過定制化方案實作對複雜場景和多樣任務的适應性。以自然資源領域的遙感智能解譯任務為例，面向不同的目标地類、任務區域、影像資料等資訊，在結合已有業務知識和成果的引導下，通過智能互動對解譯需求進行粒度分解，形成可直接指導智能解譯任務的執行方案。基于目前自然資源行業普遍采用的人機互動解譯模式，可在任務I/O和精度要求下，分解從資料、模型和後處理等環節的業務子產品，形成互動調整後的解決方案。首先，根據應用場景、任務類型、資料分辨率、資料類型、最低性能要求、最低時間要求、最終輸出形式等内容對解譯任務進行細粒度分解。其次，從基礎資料支撐庫中提取已有的數字業務子產品，分析能否建構深度貼合任務需求的解決方案，明确哪些能直接智能支撐，哪些需要人機進一步互動等。最後，将各智能子產品進行組裝、拼接，支援人工互動調整，形成整體性的應用解決方案。
(2) 應用驅動的智能解譯成果綜合評估。遙感智能精準應用平台通過全流程多管道實作評估标準一緻性。如在智能解譯任務中，結合定制化業務流程，開發不同環節的評估工具，形成全流程多元度評估。在任務環節，可以分解為業務知識/成果支援能力、智能化比重、模型性能、解譯成果等内容。在測試評估名額，制定基本能力名額和核心能力名額，給出明确的定義和定量方法，結合業務經驗和海量驗證試驗，形成嚴格的合格标準。在測試評估工具上，開發比對多種評估環節和名額的評測工具，涵蓋樣本比對度、任務結果統計、參量(如距離、定位精度等)測量和計算性能參數采集、模型性能等工具，形成評測環節、名額和工具的統一，形成全過程的業務效能評價能力。
4.4 多層次多尺度真值表達與真實性驗證
遙感智能解譯技術無疑将大幅提升遙感資料大規模作業能力，從業務化應用的場景考慮，是否具備高效、可靠的技術手段實作對大範圍智能解譯結果的精度評價及誤差分析，同樣是制約相關技術業務化規模化應用的重要因素。目前地表分類或資訊提取工作中，精度分析評價工作主要是基于真值(ground truth)樣本，通過将模型預測結果與真值結果對比，采用AUC、Kappa等名額定量描述預測值與真實值的差異來表征解譯結果的精度[78-79]。但在大規模、業務化智能解譯應用場景中，上述名額受到真值樣本可靠性、多解性等問題的影響增大，需要進一步開展分析和研究。
智能解譯技術将助力各領域業務便捷高效地實作大範圍地表制圖等應用[80]，但大範圍、大規模且可靠的真實性驗證樣本擷取則相對困難，除了通過外業核查方式擷取絕對真值外，能否有效利用人機互動解譯技術以及曆史專題圖件等資訊綜合形成有效的真值樣本是一項重要的工作内容[81-82]。除此之外，複雜場景中真值采樣的空間分布及類型占比是否科學合理，直接影響評價結果的代表性。依據複雜場景的地理地形因素，地面異質性和複雜程度的不同，在地形起伏不大的樣區适當選擇具有空間代表性的樣本，在地形起伏較大的地區可以适當加密采樣。并且不同分辨率遙感資料本身是對真實地表在不同尺度上的綜合表達，但在部分複雜場景下，或将造成地表真值的多解性，如何比對遙感資料與真值的尺度也是真實性驗證需要考慮的重要因素。
針對複雜自然場景地表真值在不同尺度、不同場景下可能呈現的多解性問題[83]，本文提出了多層次多尺度精度驗證政策，如圖 8所示。綜合考慮實地調查、人工解譯以及曆史成果收集等手段擷取的多源地表真值資料集，分析地表真值随觀測尺度的變化特征，研發地表相對真值機率表達模型及多尺度真值樣本重構技術，并建構多尺度地表真值樣本分類分級架構、多尺度重構規則以及面向複雜場景的真實性驗證的樣本優化采樣政策[84]；此外，針對地物目标自然屬性和利用屬性解釋架構的差異性，建立複雜自然場景下面細類與大類轉換分析規則，實作真實性驗證樣本可适配不同類别劃分體系，形成大模型智能解譯結果的精度驗證技術及軟體工具。
圖 8 智能解譯成果的真實性驗證技術路線Fig. 8 Flowchart of remote sensing intelligent interpretation products validation
圖選項
通過成熟的尺度轉換方法，将真值樣本比對到待評價解譯結果的尺度上，是解決“尺度性”“多解性”“區域性”等潛在問題的最有效手段，也是本文多尺度解譯結果真實性驗證的核心内容；在該技術架構下，還需要基于資訊融合理論，建構地表相對真值機率表達模型，首先為不同尺度不同類型地表真值目标建構類别門檻值，确定目标類别真值并指派類别标簽，目标真值标簽表達相容自然屬性和利用屬性，并支援不同分類體系下的類别标簽的轉換映射；此外，在真值樣本多尺度重構以及相關複雜場景統計分析支援下，還需要實作地表絕對真值樣本分布的優化采樣，以及建構綜合考慮屬性邊界精度的聯合驗證政策等技術内容。
5 總結與展望
大陸對地觀測衛星能力不斷增強，遙感資料種類和數量也飛速增長，亟需提升與之相比對的遙感大資料處理、分析與應用能力。而大陸地形地貌多樣、環境條件複雜等特點，加大了複雜地理場景下的遙感資訊自動提取的難度。是以，充分借助引領新一輪科技革命和産業變革的人工智能技術，開展遙感大資料地理學認知模型與方法研究，将遙感智能解譯技術落地為遙感應用效能，無論對科學技術研究，還是國民經濟發展，都具有十分重要的意義。
未來，基于遙感大資料地理學認知模型的智能解譯技術必将在技術、行業、社會生态等方面産生顯著影響。在技術方面，運用大資料思維與手段，耦合地學知識和遙感資訊，聚焦海量遙感資料多模态同化與融合，通過人工智能、資料挖掘等技術提高遙感産品的專業水準和應用深度，推動建成國内複雜場景智能解譯自主知識産權開放平台，為遙感智能解譯産業提供基座支撐。在行業方面，人工智能賦能遙感技術，貫穿複雜海量多源異構資料從目标解析、融合處理分析到多需求多場景目标提取全鍊路，相關成果将推動以資料和場景驅動的遙感應用模式盤活海量資料資源，減少人力、物力的重複投入，有效指導業務部門建立科學合理的資料組織管理架構。在大幅縮短遙感圖像解譯周期、提高解譯精準度的同時，通過開放式平台的運用，一方面支撐技術疊代與進步，促進遙感技術應用的變革和發展；另一方面充分賦能廣大中小規模衛星遙感使用者，催生新的遙感應用領域，把海量遙感資料産品銜接到社會發展的更多領域，打破行業使用者“資料浪費”和社會公衆“資料渴求”的現狀。在社會生态方面，遙感智能解譯系統與精準應用平台可服務于鄉村振興發展、生态保護與修複、自然生态安全、國土空間用途管制等應用領域，填補國内地物資訊提取、深度應用與定量化評估等方面的技術空白和生态短闆，大範圍多尺度應用示範成果，可直接服務于行業和地方部門規劃、監管、生态效能評估與預警工作。
作者簡介
第一作者簡介：張兵(1969—)，男，博士，研究員，博士生導師，研究方向為高光譜遙感與遙感大資料。
E-mail: [email protected]
初審：張豔玲
複審：宋啟凡
終審：金 君
資訊