天天看點

【幹貨+視訊】大資料時代下的遙感資訊處理

在過去的一年中,“RONG”系列論壇成功舉辦多場,“RONG”這一詞語已成為清華大學資料科學研究院連接配接校内各院系間及校外資源的紐帶。如今“RONG 2.0”帶來的新一次思想碰撞又拉開了序幕。RONG系列論壇旨在促進校内外不同院系、不同學科間圍繞大資料科研課題的互相認識、溝通交流,以促進校内外科研力量的聯合,科研資源使用率的提高,讓産業資源與科研資源得以對接,了解産業應用現狀、應對産業挑戰,最終實作促進清華大資料科研“頂天、立地”的目标。

2015年11月26日,RONG2.0迎來這一系列的首場論壇——“圖形圖像處理與大資料技術”專場。論壇由資料科學研究院和遙感大資料研究中心共同主辦。來自校内外的150餘位相關領域的研究者參與了論壇。

下面是活動幹貨,點選“閱讀原文”可觀看現場視訊。

【幹貨+視訊】大資料時代下的遙感資訊處理

本講座選自清華大學曾超博士于2015年11月26日在 RONG v2.0---圖形圖像處理與大資料技術論壇上所做的題為《大資料時代下的遙感資訊處理》的演講。

内容摘要:

遙感大資料研究中心的曾超博士代表中心主任洪陽老師對遙感大資料研究中心“Hydrosky”創新團隊的整體情況介紹,并從概念、目标和使命、近期規劃以及高分、北鬥應用情況做了詳細介紹介紹,最後,并結合執行個體從資料采集、挖掘及資訊融合等方面分析了遙感資訊處理面臨的挑戰和機遇。

【幹貨+視訊】大資料時代下的遙感資訊處理

曾超:大家好,我叫曾超,是清華大學水利系洪陽老師的博士後。今天我的報告題目叫做《大資料時代下的遙感資訊處理》,今天的報告分為三個方面:

【幹貨+視訊】大資料時代下的遙感資訊處理

第一,對我們的團隊進行簡要的介紹。

我們的團隊名字叫做HydroSky。我們關注的是水科學和遙感科學的交叉領域,目标是遙感、水文、氣象、氣候、人類環境等領域的前沿性研究,我們的目的是取得相關領域的前沿科學成果。

第二,介紹一下遙感大資料。首先是遙感大資料研究中心的背景。去年校慶的時候,我們就在思考遙感科學發展到這個程度,大資料是其中不可繞開的一個路口,對地觀測領域,觀測的資訊量越來越多,結構也越來越複雜,大資料的特征非常的明顯。在遙感科學發展的過程中面臨的一些問題也對傳統的資料處理方法提出巨大挑戰。我們當時就在思考是否可以利用大資料科學的思維方式,來解決遙感科學發展過程中面臨的問題。

遙感大資料在國際上也剛剛起步,清華大學一定會在這個領域有所作為。我們圍繞資料科學為中心,以土木水利、計算機、建築等清華大學的學科群為基礎,成立了一個遙感大資料中心,整合跨學科資源,推動跨學科的交叉創新。

上個月,清華大學的資料科學研究院下面的遙感大資料研究中心正式挂牌成立。我們的宗旨是多學科的前沿交叉,服務于政産學研用。

這裡是我們以兩種方式給出的遙感大資料的定義,一般我們在定義大資料的時候會比較看重它的這四個特征:

首先具有海量的資料規模才能稱為大資料,同時資料具有高速的流轉性、資料類型是複雜多樣的,傳統處理方式很難解決資料儲存和管理的問題,同時這個資料中又蘊含着巨大的價值。遙感大資料在這四個方面都非常符合。首先是它的體量,目前全球衛星數量已經超過了一千顆,而且單個資料中心的資料量達到了TB級,國家級的量達到了PB級。随着觀測技術的發展,目前的傳感器擷取的資訊越來越多,衛星的數量也越來越多。最近幾年遙感資料的擷取量也是呈幾何倍數增長。

第二,遙感資料也具有快速流轉的特征,衛星觀測、下傳到地面站處理,然後通過網絡釋出給使用者,是一個準實時的釋出過程。

第三個特征是資料結構多樣性的特征。傳統意義上認為遙感圖像就是一個二維圖檔,但是随着技術的發展,觀測遙感傳感器的種類越來越多,除了光學傳感器,還有熱紅外、微波、雷射雷達、導航定位各種各樣的資訊,這些不僅僅是二維圖像,還包含三維和地理空間的資訊。它處理的資訊也不僅僅是空間資訊、亮度資訊,還可以包括跟行業相關的具體參量,比如地表溫度、濕度和風速都可以通過遙感手段擷取。

第四,在這麼多遙感資料的基礎上,如何挖掘到其中蘊含的重要價值,是我們的研究方向。

目前遙感大資料研究中心的核心是依托國内外的核心衛星計劃,包括最近幾年釋出的土壤濕度衛星、降水衛星、還有地球重力衛星,它可以反應出地下水、水儲量的變化,以及SWOT衛星,這是用于徑流和地表水監測的衛星。這些是國際上在水領域相關的比較重要的幾個衛星計劃。下面的是中國目前正在實施的兩個重大專項,一個是高分系列衛星,2013到2020年計劃發射7顆。第二項是中國的北鬥衛星導航系統,計劃到2020年總共發射35顆衛星。我們目标是圍繞這一系列的觀測計劃建設一個國際領先的清華遙感大資料中心,提升國際影響力。

目前正在研發的産品包括:高分資料産品,研究内容主要是以高分資料為核心,開發一系列的增值産品,目前我們的清華高分衛星中心一期建設已經完成,正在進行二期的更新改造。産品的第二部分是北鬥資料産品,大家熟知的北鬥主要用于定位、導航方面,我們對北鬥的開發主要是利用它的衛星導航信号,它在傳播過程中遇到的地面大氣折射和反射之後,其中蘊含的其他資訊,我們可以從中計算出水氣含量、土壤水分含量等參量。是以北鬥衛星除了定位以外,還可以運用于水文、氣象和其他領域。目前我們也在清華建立了一個北鬥的資料接收站,可以用來觀測氣侯和氣象的資料。

第三部分是全球水循環産品。依托國際上主流的水文相關衛星在全球範圍内進行觀測,最終建立一個全球的水循環系統,水儲量、地表水蒸發量、降水量等等,在一兩年之内完成,陸續完成并定期釋出。

第四部分是全球陸地陸表遙感産品,高程、植被、土地利用和城市産品也将在未來兩年之内陸續完成并釋出。

最後一部分是我們目前正在重點開拓的領域,全球海洋産品,包括全球海平面的變化、海溫、海風、海色等海洋資源資訊。

目前清華的高分衛星資料中心是全國高校第一家服務于科教産學研的高分衛星資料,大家如果需要用到高分衛星資料,可以跟我們聯系,并通過網站下載下傳目前已經有的高分衛星資料。這邊是青島高新區高分一号遙感圖像,我們對于高分産品主要任務有三個方面:基礎産品研發、增值産品服務、高分使用者教育訓練。

下面我對高分衛星進行進一步的介紹,高分衛星含有7顆衛星。

高分1号衛星發射于2013年,搭載了兩台2米分辨率全色和8米分辨率多光譜相機,還有四台16米分辨率多光譜相機。它可以在軌道比較低的情況下獲得非常寬的視場,保證了它在比較短的時間内可以獲得更多的觀測資料。

高分二号搭載兩台分辨率1米全色、4米多光譜相機、0.8米分辨率,2015年1月,觀測區域是廣州的岑村機場,跑道線都可以看的非常清楚,有非常好的空間細節能力。

高分三号和四号衛星是今年和明年預計發射的兩顆衛星,3号搭載1米C波段多極化SAR雷達,4号搭載50米分辨率的凝視相機。微波對大氣有更好的穿透性,高分三号的觀測資訊不像高分一号和二号會受到天氣的影響,可以有一個全天候和全天時的觀測能力,可以更好的獲得地表的信号。高分四号是靜止軌道衛星,軌道比較高,可以與地球處于相對靜止的空間位置,持續對目标區域進行時間周期非常短的重複觀測。極地軌道衛星的重返周期非常長,需要三四天才可以獲得一次資料,而靜止軌道衛星獲得資料的頻率是以分鐘來計。

高分五号空間分辨率可以達到10米,還攜帶一些氣溶膠、溫室氣體、大氣環境的探測器,它的作用主要是針對于大氣環境。可以看出目前我國對于大氣環境和空氣污染都是非常重視。高分六号載荷和高分一号衛星非常相似,是高分一号的延續。高分七号搭載立體傳感器,友善獲得空間三維的資訊。

這是高分系列七顆衛星的總體介紹,他們最終通過這七顆衛星形成了一個高時間重複性、寬覆寫,具有側視能力、高光譜、高輻射分辨率和高空間分辨率的衛星系統。

這是北鬥導航衛星系統,可以通過基站接受衛星發射的信号,對地面進行定位,在傳輸過程中通過大氣和地表的折射和反射進行計算大氣環境中的其他資訊,可以把它運用到氣象領域,同時擴充到農業、生态、海洋等領域,是以北鬥遙感會很大的擴充北鬥資料的應用能力和應用範疇。

這個是北鬥傳感器通過一個機載傳感器測量地面土壤水分的實驗。目前我們已經在全國的多個地方布設了北鬥資料接受站點。這是我們在清華建立的一個接收站點。對于北鬥大資料我們的思路是通過軟硬體的技術攻關,開發一系列的軟硬體平台,并且通過産品研發釋出獲得的可降水量和土壤、植被、積雪相關的産品技術,研發一系列的資料采集、傳輸、共享、釋出的平台,最終将其應用于氣象、農業、生态、水文、海洋等領域。

除了高分和北鬥兩個重大專項,我們還在利用無人機近地遙感觀測手段。我們籌備利用無人機和它搭載的多光譜、高光譜、紅外、雷射雷達和各種傳感器開發新技術,并将其應用于其他的遙感衛星觀測手段不能覆寫到的區域和範疇。

這是清華環境監測雲平台的界面,我們通過建立這樣一個雲平台,大家使用微信關注這個公衆号,就可以在其他地方發現有一些環境問題或者氣候氣象的資訊,通過拍照或者是文字資訊上傳,就可以共享和釋出這些資訊。

下面我要介紹的是遙感大資料面臨的挑戰和發展。

目前遙感傳感器發展越來越多,空間和時間分辨率能力越來越高。随着資訊擷取能力的大大增強,是否帶來更多的價值?雖然空間分辨率高了,光譜分辨率高了,但是擷取的資訊并不是随之簡單的提高,會出現同物異譜、資訊備援的現象。

【幹貨+視訊】大資料時代下的遙感資訊處理

對于遙感資料來說,我們最關心三個特征:時間、空間、光譜的特征。但是這三個特征經常是互相制約、難以互相兼顧。如果有很好的時間重返周期,軌道會非常高,空間和光譜分辨率相對比較低。沒有任何一個傳感器和衛星觀測方法可以很完美的在時間、空間和光譜上達到我們理想狀态下的需求,通過資訊融合解決時、空、譜限制是很有效的一個方法。

【幹貨+視訊】大資料時代下的遙感資訊處理
【幹貨+視訊】大資料時代下的遙感資訊處理

下面我介紹一下在時空譜方面資訊融合的幾個例子。這個例子是遙感觀測中由于雲的遮擋帶來的資訊缺失,我們可以通過另外一個時間的資料對它進行引導,通過找到相似的區域,在資料2中通過這個資料對那個區域的資料進行填補,把缺失的資料恢複出來。這是模拟地表溫濕度的實驗,圖示分别是缺失資料、參考資料、恢複之後的資料。

【幹貨+視訊】大資料時代下的遙感資訊處理
【幹貨+視訊】大資料時代下的遙感資訊處理

第二個例子是超分辨率重建的例子,超分辨率在視訊領域已經有比較多的應用,多次觀測中如果有亞像素的位移,我們把它融合起來,可以得到空間分辨率更高的資料。遙感資料最大的特點是有很多的重返周期,對一個區域有很多次的觀測,是以可以通過多次觀測的資訊提高它的分辨率。

【幹貨+視訊】大資料時代下的遙感資訊處理
【幹貨+視訊】大資料時代下的遙感資訊處理

通過對同一對象建立不同衛星之間的統一描述,将他們結合在一起,對于不同空間和時間分辨率,資訊差異非常大。第一個分辨率很高,但是時間分辨率很低。GOES分辨率達到了5公裡以上,但是它的時間分辨率很高,我們通過把不同的資訊資料融合,可以得到30米的分辨率,又有每半個小時一次的資料,時空譜資訊融合方法是解決這一問題的非常好的手段。

【幹貨+視訊】大資料時代下的遙感資訊處理
【幹貨+視訊】大資料時代下的遙感資訊處理
【幹貨+視訊】大資料時代下的遙感資訊處理

這是我們團隊目前技術的一覽表,包括災害監測模型、遙感反演算法、災害監測算法、預報算法,以及我們目前擁有的一些資料。

【幹貨+視訊】大資料時代下的遙感資訊處理

大家如果覺得有合作點的話,可以多跟我們聯系,這是洪老師最近兩年出的兩本書,一本是關于雷達降水的,一本是關于多尺度水文衛星遙感的。

【幹貨+視訊】大資料時代下的遙感資訊處理

對于清華遙感大資料中心我們預期成果是面向國家重大需求、政府、企業和公衆服務開發出一些平台和算法,最終推動遙感大資料走向産業化。

【幹貨+視訊】大資料時代下的遙感資訊處理

我們與合作方的定位是:依托遙感大資料研究中心這個平台,通過簽署戰略協定和合作定位的方式,最終實作技術研發、項目支撐和人才培養。