1. 地圖生活(北京)信息技術有限公司,北京 100015;2. 超圖地(dì / de)理信息技術研究所,北京 100015;3. 中國(guó)科學院地(dì / de)理科學與資源研究所,北京 100101
論文來(lái)源:《地(dì / de)球信息科學學報》第19卷 第4期
摘要(yào / yāo):互聯網技術的(de)發展使地(dì / de)理信息技術得到(dào)了(le/liǎo)前所未有的(de)發展和(hé / huò)應用,地(dì / de)理信息計算呈現出(chū)計算速度快、運行效率高、應用多樣化的(de)發展特征。而(ér)随着計算機硬件性能飛速提升,傳統的(de) GIS 數據處理方式并不(bù)能與之(zhī)匹配,各種缺陷與弊端逐漸顯現,亟待更高效的(de)數據處理方式。
關鍵詞: 高性能GIS,高性能GIS算法,并行GIS計算,内存計算,衆核計算,GIS雲計算
互聯網時(shí)代來(lái)臨,使地(dì / de)理信息技術得到(dào)前所未有的(de)應用、推廣和(hé / huò)發展,地(dì / de)理信息計算呈現出(chū)計算速度快、運行效率高、應用多樣化的(de)發展特征。随着計算機技術的(de)發展,以(yǐ)分布式、并行化爲(wéi / wèi)代表的(de)高性能計算技術正逐漸融入到(dào)地(dì / de)理信息領域,如何利用高性能計算的(de)新型硬件體系結構帶來(lái)的(de)計算性能提升,解決現有時(shí)空數據密集、計算密集和(hé / huò)通訊密集問題成爲(wéi / wèi) GIS 領域的(de)熱點問題[1-4]。爲(wéi / wèi)此,基于(yú)并行集群計算技術等的(de)高性能計算[5-9],研究新一(yī / yì /yí)代高性能 GIS 系統十分重要(yào / yāo)。它可以(yǐ)有效地(dì / de)爲(wéi / wèi)時(shí)空大(dà)數據集存儲、可視化、空間分析和(hé / huò)數據服務帶來(lái)新的(de)解決方案。
高性能計算是(shì)基于(yú)一(yī / yì /yí)組或幾組計算機系統組成的(de)集群,通過網絡連接組成超級計算系統以(yǐ)加強數據處理、分析計算性能的(de)一(yī / yì /yí)種技術[10-12]。而(ér)高性能 GIS 則利用高性能計算的(de)理論體系、技術架構和(hé / huò)數據模型等對 GIS 已有的(de)性能進行擴充和(hé / huò)增強,從而(ér)方便、快捷地(dì / de)實現海量空間數據的(de)高性能讀寫,使 GIS 系統更高效地(dì / de)爲(wéi / wèi)地(dì / de)理空間信息科學領域中的(de)計算、數據、通信密集型的(de)科學問題的(de)解決提供技術支撐[13-17]。其高性能表現在(zài):更龐雜的(de)地(dì / de)理空間數據計算,更複雜、多類型的(de) GIS 模型與算法,處理時(shí)間更短[18-21]。
目前,主流的(de) 3 大(dà)分布式計算系統包括 Ha-doop,Spark 和(hé / huò) Storm[22-25]。Hadoop 基于(yú) MapReduce分布式計算框架,其核心技術在(zài)于(yú)通過分布式架構實現性能提升。而(ér) GIS 空間分析常常需要(yào / yāo)對研究區進行空間劃分,進一(yī / yì /yí)步細劃爲(wéi / wèi)地(dì / de)貌特征更加統一(yī / yì /yí)的(de)計算單元,利用 Hadoop 的(de)分布式特性及 MapRe-duce 分布式存儲,可極大(dà)地(dì / de)提高 GIS 空間分析性能[26-27]。但由于(yú)存儲硬件條件的(de)限制,在(zài)處理更新快速的(de) GIS 模型時(shí),則稍顯不(bù)足。Spark 是(shì)另一(yī / yì /yí)種重要(yào / yāo)的(de)分布式計算系統,它基于(yú)分布式存儲集(RDD)的(de)概念,利用計算機内存來(lái)存儲數據,因而(ér)具有更快速的(de)數據讀寫功能[28]。相比于(yú) Hadoop, Spark 的(de)優勢在(zài)于(yú)僅需導入一(yī / yì /yí)次數據即可實現多次叠代運算,具有更快的(de)運行效率;缺點在(zài)于(yú)不(bù)适合處理需要(yào / yāo)長時(shí)間保存的(de)數據,如果計算環境發生電力中斷故障,即會造成數據丢失。Storm 并不(bù)直接收集數據,而(ér)是(shì)通過網絡節點實現數據傳輸、處理。其優勢在(zài)于(yú)處理流式數據時(shí),無需進行數據收集和(hé / huò)作業調度,而(ér)可以(yǐ)直接進行分析,更适應在(zài)線的(de)實時(shí)GIS大(dà)數據處理[29-30]。
當前 GIS 發展的(de)重要(yào / yāo)趨勢是(shì)服務化、雲端一(yī / yì /yí)體化,亟待研發高效的(de)高性能 GIS 關鍵技術[31-32]。其中,分布式并行技術的(de)應用顯著提高了(le/liǎo) GIS 空間分析效率,随着内存計算、高性能算法等先進技術的(de)不(bù)斷進步,大(dà)大(dà)加速了(le/liǎo)高性能 GIS 技術體系的(de)發展[33-34]。此外,二三維一(yī / yì /yí)體化也(yě)是(shì)當前 GIS 發展的(de)一(yī / yì /yí)大(dà)趨勢。随着硬件成本降低,顯卡性能提升,衆核技術的(de)應用加速了(le/liǎo)三維 GIS 的(de)發展[35-36]。因此,本研究将主要(yào / yāo)從高性能 GIS算法、并行GIS計算、内存計算和(hé / huò)衆核計算4個(gè)方面對高性能 GIS 的(de)發展進行總結和(hé / huò)歸納(圖1)。
高性能技術出(chū)現不(bù)久,就(jiù)開始應用于(yú)地(dì / de)理信息領域[37-39]。作爲(wéi / wèi)高性能并行 GIS 系統中的(de)一(yī / yì /yí)個(gè)重要(yào / yāo)的(de)組成部分,高性能 GIS 算法基于(yú)利用向量機和(hé / huò)并行計算技術形成的(de)高性能計算系統,對海量地(dì / de)理空間數據進行實時(shí)處理的(de)空間算法,使原本難以(yǐ)計算的(de)全球尺度、長時(shí)間尺度的(de)地(dì / de)理空間現象分析模拟得以(yǐ)實現。已有許多學者開始了(le/liǎo)相關技術研究,如Turton 等[40]研究了(le/liǎo)職工上(shàng)下班交通數據分析,原本在(zài)工作站需要(yào / yāo)運行 91 h的(de)雙約束地(dì / de)理計算模型,在(zài)内存共享模型中執行并行計算後僅需 3 min,極大(dà)地(dì / de)提高了(le/liǎo)效率。
随着 IT 技術的(de)不(bù)斷進步,高性能 GIS 算法的(de)研究主要(yào / yāo)分爲(wéi / wèi)2個(gè)方面:① 對已存在(zài)的(de)高密度計算進行并行化處理,利用高性能 GIS 技術對全局性的(de)海量時(shí)空數據進行地(dì / de)學分析和(hé / huò)推演,探索構建新的(de)空間模型等;② 探索新的(de)空間分析方法,并不(bù)斷賦予新的(de)内涵。具有代表性的(de)空間分析算法有:神經網絡模型、遺傳算法模型、元胞自動機模型等[41-45]。這(zhè)2 個(gè)方面各有側重,前者側重于(yú)從技術層級提供計算行的(de)優化處理,提升運行效率;後者則通過模型、算法,進一(yī / yì /yí)步尋找更加高效、便捷的(de)空間分析方法,通過專業地(dì / de)理信息領域模型達到(dào)提高分析效率的(de)目的(de)。
以(yǐ)往,高性能計算常常需要(yào / yāo)一(yī / yì /yí)台高 CPU、大(dà)容量的(de)計算機完成大(dà)量計算,這(zhè)樣勢必繁瑣。近年來(lái),研究人(rén)員開始基于(yú)一(yī / yì /yí)組或幾組計算機組成的(de)高性能計算機集群,計算機之(zhī)間通過網絡進行連接,對海量 GIS 數據進行并行處理和(hé / huò)高性能計算,增加了(le/liǎo)部署的(de)靈活性。基于(yú) MapReduce 計算架構的(de)Hadoop 有簡潔的(de)并行計算模型,可對原本串行算法進行快速改造,以(yǐ)适應并行計算等高性能算法[46-47]。目前,這(zhè)方面研究主要(yào / yāo)集中在(zài) GIS 空間分析算法上(shàng)。例如,Cary 等[48]基于(yú) MapReduce 實現了(le/liǎo)部分GIS 算法,并構建了(le/liǎo)R樹;Chen 等[49]基于(yú) Hadoop 研究設計實現了(le/liǎo)高性能地(dì / de)理計算框架。這(zhè)些研究方法爲(wéi / wèi)進一(yī / yì /yí)步開展高性能算法研究提供了(le/liǎo)參考。
在(zài)并行空間數據結構組織方面,高效的(de)空間數據劃分策略有助于(yú)合理的(de)空間數據組織存儲,可大(dà)大(dà)提升空間分析的(de)性能。
更多内容請點擊下方的(de)PDF下載