大資料時代對地觀測衛星的發展現狀與趨勢論文
大資料時代對地觀測衛星的發展現狀與趨勢論文
一、前言
對地觀測是人類利用衛星、飛船、太空梭、飛機以及近空間飛行器等空間平臺和地面、地下的各種感測器裝置獲取觀測資料，結合各個學科的專業知識，對地面物體和地理過程進行監測和預測的科學活動，其目的是更加深刻和科學地揭示人類社會活動所依賴的地球環境和人地環境的規律和變化，增強人類對地球的利用和適應能力。對地觀測研究工作具有非常明顯的資訊學特徵。因此，除了地球科學方法論外，資訊科學方法論也對對地觀測科學活動有非常重要的指導意義。對地觀測研究很大程度上是圍繞著“訊號—資料—資訊—知識”的數字化資訊過程來展開的，並構成了“資訊獲取—資訊傳輸—資訊儲存—資訊加工—資訊挖掘—資訊呈現”的資料全生命週期。
從資訊科學的角度來看，對地觀測領域知識發現的方法主要是確定模型分析方法。在遙感技術的發展初期，觀測資料量較小，用於資料探勘分析的理論和模型也不夠成熟，因此更多是依靠專業人員的目視判讀進行資訊解譯和勾繪製圖，然後再利用其他學科的知識對獲得的資訊進行修正。這種方法顯然不能滿足日益增大的觀測資料量和日益複雜的應用模式需求。在資料量不斷增大、資訊提取精度不斷提高的情況下，依賴於計算機處理的資料分析新模式出現了。遙感資訊反演的定量化成為對地觀測資訊深度應用的趨勢，這種能力也隨著計算機處理能力的提升不斷提高，逐步滿足了 MB(220 位元組)、GB(230 位元組)、TB(240位元組)甚至部分 PB(250 位元組)量級的資料分析和資訊挖掘工作，從應用上解決了較大地理尺度上的複雜地學問題。提升計算機的處理速度和儲存裝置的規模已經成為解決觀測資料量增大和資訊模型複雜化所帶來的問題的一個很好的途徑。進入 21 世紀以後，對地觀測技術又呈現出很多新的發展趨勢，其中大資料的出現給對地觀測的研究帶來了全新的挑戰和發展機遇。近年來，隨著對地觀測需求的增加和技術的進步，各種型別感測器獲取資料的能力不斷提高，使得國內外以專業化、行業化為特徵的各類資料中心迅速崛起，對地觀測領域成為資料密集型計算的一個典型應用。整個對地觀測系統流程突出體現了“需求牽引—知識驅動”的概念和原則，形成了以社會需求為先導來發展對地觀測衛星、感測器、平臺、資料傳輸、資訊處理、應用模型及相應科學理論的發展模式。
二、對地觀測領域的大資料現象
在對地觀測領域，各類解析度的衛星產生的遙感資訊無疑屬於大資料。以我國遙感衛星為例，2008 年發射的風雲三號 A 星搭載著 20 通道的中解析度光譜成像儀和 10 通道的可見光近紅外掃描輻射計，實現了對整個地球進行連續觀測，隨後與 2010 年和 2013 年發射的風雲三號 B 星和 C 星組網，對地球開展每天 6 次的觀測。衛星觀測資料切割成 5 分鐘段的資料檔案，又將 250m 和 1000m 中解析度光譜成像儀的資料分別存放，每天產生的資料檔案和資料量均非常巨大。要管理、處理和分發這些全球資料需要運用“大資料”的方式，而且需要大量的資料科學家開展基礎研究工作，研究演算法，從資料中實時提取地球引數資訊，進而為科研、業務的資料資訊需求服務。這一事實充分說明了從海量遙感資料的獲取、儲存、提取與分發、數值處理，到資料探勘和知識發現，對地觀測活動的整個生命週期體現了大資料的“4V”特性：資料體量大 (volume)、資料來源和型別繁多(variety)、資料的真實性難以保證(veracity)、資料增加和變化的速度快(velocity)。
國際上，美國和歐洲處理和分發中解析度資料較中國稍早幾年，美國處理 MODIS 資料和產品的方式、歐洲處理 ENVISAT/MERIS 資料和產品的方式可為我們借鑑。由於美國沒有 MODIS 的後續衛星計劃，資料的供給將隨著感測器的失效而終止。歐洲的 ENVISAT/MERIS 於 2012 年失效，只能提供 2002-2012 年間的資料。中國風雲氣象衛星規劃已持續到 2020 年，因而，在未來幾年，中國的風雲衛星中解析度遙感資料在國際上將是重要的資料來源，向全球使用者提供優質的資料和產品，將是中國資料科學家肩上的重任。
1. 觀測平臺和感測器的`資料獲取
遙感資料獲取是由載有成像感測器的遙感飛行平臺來完成的。遙感飛行平臺的發展體現在：①先進的衛星對地觀測系統，包括大型的綜合衛星平臺與小衛星星座;②先進的整合高—中—低空飛行作業的航空遙感平臺;③全面一體化的對地觀測綜合系統。未來的感測器搭載平臺將是由相輔相成的高中低軌道上的大小衛星平臺和高中低航空平臺組成的，天地一體化、全球性、立體和多維的觀測體系。與此同時，對地觀測感測器的資料獲取能力將向著“三高”(高空間解析度、高光譜解析度和高時相解析度)和全天候方向發展。遙感平臺和感測器的技術進步使得獲取的資料量大幅度增大。比如剛剛退役的 Landsat -5 衛星在其29 年的在軌工作期間，平均每年獲取 8.6 萬景影像，每天獲取 67GB 的觀測資料。而 2012 年發射的資源 3 號衛星，每天的觀測資料獲取量可以達到 10TB 以上。類似的感測器現在已經大量部署在衛星、飛機等飛行平臺上，未來 10 年全球天、空、地空間中部署的百萬計感測器每天獲取的觀測資料將超過 10PB。
2.天- 空- 地一體化的對地觀測資料網路傳輸
巨大的觀測能力需要透過覆蓋天-空-地的高速資料傳輸網來實現對地觀測平臺和全球地面接收站網路之間的資料傳遞。這種傳輸能力要透過一個由光纜、地面微波、蜂窩行動通訊和低、中以及靜止軌道的衛星通訊系統組成的、服務於全球的、無縫隙覆蓋的、全球一體化的高速天-空-地對地觀測資料傳輸網路實現。現在，單個感測器的訊號下傳速率已經突破了 Gbit/s。
3. 海量資料的快速處理
標準遙感產品的快速生成需要高吞吐量、高精度及自動化的分散式資料處理能力，以滿足規模化、業務化的標準產品生產的要求。標準產品快速處理的突出特點是即時性和大吞吐量，兼有資料密集、計算密集的性質。海量遙感資料的處理需要利用龐大的網路計算資源，透過平行計算、分散式處理以及叢集計算技術來實現網路化大資料量處理及多機分散式並行處理，以滿足應用的需求。我們可以利用網格技術把分散在不同地理位置的計算機組織成一個“虛擬的超級計算機”，來提供高效能和高吞吐量的計算環境，為完成計算密集型任務提供有力的手段;同時充分利用網路上多種閒置計算裝置的處理能力，完成傳統計算模式下不能完成的各種大資料量的計算任務，從而保證標準產品的快速處理和生成。
4. 下一代空間資料設施
下一代空間資料設施建設將以全球尺度問題求解和多樣化實體資料設施建設為前提，基於傳統空間資料設施和聯邦資料設施，通過鬆耦合形式建立一種非中心化、虛擬化、按需服務化和全球化的資料服務體系。分佈在世界各地的各種對地觀測資料中心，將在下一代空間資料設施的連線下，面向特定專題，與高效能的資訊化設施結合，動態形成大量專業化的虛擬資料設施。這些設施不僅可以匯聚和提供超大規模的資料，還具備對資料進行深度加工和挖掘的計算能力。地球觀測組織(GEO)所推動建立的全球綜合地球觀測系統(GEOSS)就是一種下一代空間資料設施，這種設施管理和處理的都是超大規模的對地觀測資料和空間資料。
5. 數字地球與未來地球
作為和對地觀測銜接的科學框架，數字地球是一個廣泛的以資訊高速公路和空間基礎設施為依託的概念，其核心思想是用數字化手段整體性解決地球的各種科學問題，並最大限度地利用資訊資源。未來的數字地球不再侷限於進行地學資料的表達和呈現，而將成為一種對地球的各種學科的資料和模型進行綜合分析的平臺。同時，由國際科學理事會(ICSU)和國際社會科學理事會(ISSC) 共同發起的“未來地球”計劃將多學科交叉研究推向更加重要的位置。不論數字地球還是未來地球，其多學科的高度資料複雜性是非常顯著的資訊特徵。和常規的單學科研究不同，在這種綜合研究場景中，資訊科技要面對的是多學科複雜資料型別之間的資料建模、資料發現和資料整合問題。
三、大資料在對地觀測領域應用的典型案例
大資料時代的對地觀測技術為發展空間地球資訊科學奠定了基礎，從對地觀測過程的資訊學特徵可以清晰地看到此領域大資料的發展趨勢。但目前大資料研究普遍存在著“只有資料、沒有利用”的問題，導致蒐集資料、儲存資料付出的成本被浪費。據報道，透過遙感衛星獲得的影像資料中，目前得到應用的不到 5%，多半數企業不知如何從資料中獲得價值，因此這個問題急需解決，下面將介紹一些國內外創新企業利用大資料技術為遙感影象應用找出路的典型案例，希望能夠擴寬我們的視野並從中得到有價值的借鑑。
1.Digital Globle: 遙感影象 + 大資料分析助力尋找馬航 MH370 迷蹤
馬航失聯客機 MH370 去哪兒的問題，牽動著全世界的心。為了找出謎題的答案，尋回239名乘客的資訊，各方為此動用了許多手段，包括直接分析飛機上裝置發出的各種訊號，衛星和雷達的天羅地網等先進的科技方式，調遣各類船隻前往可能事故區域搜網式調查，可惜都無果而終，就在失聯事件發生的 12 天后，澳大利亞宣佈從衛星影像中找到了疑似馬航 MH370 失聯航班殘骸，廣袤的洋麵找一架飛機如同大海撈針實屬不易，雖然還未能確定殘骸是否來自於 MH370，但在短短几天內在能夠透過海量的衛星圖片發現如此重要的線索可見其背後的資料分析能力之強大，支撐這一能力的正是大資料技術，快速定位殘骸座標體現了大資料技術在處理海量高分遙感影象上的速度優勢，展示了大資料與遙感技術的融合將在災難救援方面的關鍵作用。
2.Skybox Imaging：邁向大資料時代的商業遙感成像公司
Skybox 成像公司成立於 2009 年，目前員工不到 60人，是名副其實的“小”公司，但卻在多輪融資中備受風投的青睞，麻省理工學院技術評論將其評為 2012年最具“摧毀性”的 50 家公司之一。
3. 禾訊科技：商業化衛星遙感服務現代化農業生產
農業是生命之源、發展之基。由於農業資源、環境及多樣化的生產經營方式，農業大資料涉及到水、土、光、熱、氣候資源，作物育種、種植、施肥、植保、過程管理、收穫、加工、儲存、機械化等環節會產生大量結構化和非結構化資料，而且隨著農業科技創新發展和物聯網的應用，非結構化資料呈現快速增長的勢頭，其數量將大大超過結構化資料，為保障“舌尖上的安全”，利用大資料技術對不斷產生的大批非結構化資料的資訊獲取、挖掘、存貯、處理與智慧應用是農業現代化不可或缺的手段。
四、大資料情境下對地觀測研究的發展趨勢
1.從量變到質變
對地觀測領域的大資料現象，在不同尺度上對現有的技術水平提出了挑戰。對地觀測領域的大資料現象包括 4 個方面：①資料量劇增，已經達到 PB 量級;②資料型別多樣，來自空基、天基的各種不同成像機理及資料獲取方式、不同時空解析度和光譜特性的感測器資料和地面臺站的觀測資料及實驗模擬資料、統計資料等構成了紛繁複雜的資料型別;③應用場景眾多，目前對地觀測資料在氣象、水文、能源、農林種植、工礦開發及災害應急等諸多領域體現了其應用價值;④應用服務時間尺度多種多樣，天氣預報、災害應急等需要實時或準實時的資料分發反饋，而地圖測繪、土地變化等則需要中長期的對地觀測資料，不需要高時效性。
2.多資料中心協同處理
傳統的對地觀測知識發現的科研模式在大資料情境下已經不再適用，原因是傳統的科研模型不具有普適性且支援的資料量受限，受到資料傳輸、儲存及時效性需求的制約等。因此，新知識正更多來自於大資料的使用，資料生命週期中資訊學流程的變化正引發傳統科研模式的變化。以“使用者需求”為導向的對地觀測活動，需要為有不同應用需求的使用者提供恰當的資料產品及資訊資源，要求對地觀測資料實時處理及快速分發。實現這一目標的關鍵是多中心協同計算，透過構建分散式多中心計算環境，將大量鬆散繫結或獨立的資料處理任務動態分配給閒置計算資源，實現資源動態排程及任務分配。目前需要解決的問題是如何實現有效地排程計算資源及跨異構系統計算時如何維持系統的高效能等。
3.模型驅動到資料中的知識發現模式
傳統的資料生命週期資訊學流程是從資料到資訊，再透過模型進行知識發現。而隨著資料量的爆炸式增長，可用模型已不能對海量資料進行模擬推演，因此由模型發現知識的傳統方法已經不能適應大資料時代的需求。
4.多學科交叉的科學研究
全球性的資源、環境問題日益凸顯，使得全球變化問題和可持續發展成為全世界科學家關注的焦點和研究的重點。全球變化的研究物件包括大氣圈、水圈、生物圈、人文圈並涉及外層空間，需要理解並掌握這些圈層中各個要素之間的物理、化學、生物、人文的影響過程和規律，需要自然科學、社會科學和工程科學相融合的面向大資料的新科學研究方法，也需要科學資料和網際網路資料之間的全新耦合和整合方法。