摘要:基于時空大數據技術、面向服務模式、高性能計算和分布式計算等相關理論和技術，本文設計并實現了時空大數據平臺，集合了時空數據整合、處理、存儲、分析、可視化等功能，并具備后臺資源彈性分配和管理能力。規劃了適合本地情況的時空大數據重點應用方向，基于大數據空間分析模型，分析了土地利用現狀數據變化情況;運用機器學習的方法構建地價預測模型，實現了遠期地價預測能力;利用大數據分析及存儲手段，實現了基于手機信令數據的旅游景區流量分析。為黃山市提供了統一的時空大數據服務基礎設施，并為智慧城市全面應用積累了經驗。

　　關鍵詞:智慧城市;時空大數據;云平臺;數據挖掘

　　0引言

　　隨著數據密集型時代的到來，城市管理與建設環境發生了變化，新形態的城市精細化運營和發展面對巨大挑戰。當前正在建設的智慧城市是在數字城市的基礎框架上，通過物聯網將現實的城市與數字城市進行有效融合，自動和實時地感知現實城市中人和物的各種狀態和變化，基于時空大數據挖掘技術由云計算中心處理其中海量和復雜的計算與控制，為經濟發展、城市管理和公眾生活提供各種智能化的服務[1]。

　　智慧城市時空大數據云平臺作為城市可持續發展的 需求與新一代大數據技術、地理信息技術相結合的產物，保證時空大數據能力與服務的可持續發展，迫切需要通過構建時空一體化的信息模型，將人類知識物化到信息化條件下的城市規劃、建設、管理、運營和發展等各項活動中，形成不依賴人或少依賴人的智能化解決方案，才能解決目前城市海量信息資源的邏輯離散、多源異構、低可用、空間化利用不足等問題。

　　1發展現狀及存在問題

　　在我國，地理空間信息基礎設施在數字城市階段稱為數字城市地理空間框架。原國家測繪地理信息局于2012年啟動了智慧城市時空大數據云平臺建設試點工作，被視為地理空間信息基礎設施在智慧城市階段的升級版，暨時空信息基礎設施。試點工作啟動以來，國家出臺了一系列指導意見、技術指南、技術大綱，并歷經了從“時空信息云平臺”到“時空大數據與云平臺”再到“時空大數據平臺”的名稱演變[2-4]。

　　在8年多的建設中，很多試點城市取得了矚目的成就，也積累了豐富經驗。武漢、重慶與其他政府部門建立了較好的數據共享交換機制，平臺匯聚了豐富的專題數據資源;寧波也借助于與大數據管理局的協同共享，獲得了較好的專題數據來源，地理空間框架數據參照技術大綱要求添加了三域標識，同時接入了城市態勢感知的實時數據，初步實現了向時空數據模型的轉變;廣州在應用拓展方面別具特色;北京雖然不是試點城市，但是多年以來已經積累了豐富的時空數據資源，城市“體檢”開展得有聲有色，并且寫入了政府年度工作報告，成為一項常態化的工作。盡管在運作方式、建設內容和應用拓展方面存在差異，但其體系框架具有共性[5]。

　　例如，都能滿足《技術大綱》有關要求，從時空大數據、時空大數據云平臺，到基礎支撐環境、應用示范、標準規范，內容完整，而又各具特色[6]。根據國家、安徽省關于新型智慧城市建設的部署和要求[7]，以及《黃山市新型智慧城市建設規劃(2018—2020)》[8]，對黃山市未來3年新型智慧城市建設進行頂 層規劃和設計。新型智慧城市建設進程中，時空信息數據的需求呈逐級遞增的趨勢，目前已有的地理信息公共服務平臺和數據資源無法滿足對時空數據的需求，主要存在以下問題:1)數據覆蓋范圍達不到要求且缺少時間屬性，缺乏地名地址、法人、人口和宏觀經濟、空間規劃等數據，不能智能感知實時信息。2)已有地理信息公共平臺無法適用云部署、智能裝配和按需服務。

　　3)缺乏廣泛服務于政府和行業各部門的專業化平臺，無法滿足專題系統建設需要。另外，黃山市有著得天獨厚的自然資源，擁有2個世界遺產———黃山和西遞宏村，是中國著名的AAAAA級旅游景區。但面對日益變化的自然資源環境、社會經濟運行所帶來土地問題，以及急速增長的旅游市場，如何智能規劃城市建設、分析土地空間潛在價值、促進旅游信息傳遞和消費、加快城市精細化管理進程，已經成為黃山市非常緊迫的課題。因此，需要全面整合多類型的時空信息資源，建立統一的時空信息服務框架，提供城市高質量發展所需的智慧時空信息服務。

　　2時空大數據云平臺設計智慧黃山時空大數據云平臺引入Kafka、ElasticStack、Redis和多種的持久層技術，搭建高性能、可擴展的 伸縮式云平臺，對外提供RestAPI和SDK，將GIS數據資源、GIS平臺資源進行深度整合，可直接提供多種類型的 云服務，為時空大數據挖掘與應用提供服務支持。

　　2.1時空大數據設計

　　2.1.1時空大數據匯聚

　　為了解決異構數據源的共享問題，本文開發了時空大數據匯聚系統作為中間傳輸載體負責連接各種數據源，將復雜網狀的同步鏈路變成了星型數據鏈路。將新數據源對接到時空大數據匯聚系統，便能與已有的數據源做到無縫數據同步。支持主流關系型數據庫、非關系型數據庫、文件型數據和變量等的連接配置，具體包括Postgresql、SQLServer、Oracle、MySQL等關系型數據庫，Redis、MongodDB等非關系型數據庫。系統基于NiFi的實時ETL技術架構，數據源和數據目的地之間由管道連接在一起。數據從源端接入后，可以極低的時間延遲被采集、加工，并輸出到目的地。系統基于Web圖形界面，通過拖拽、連接、配置完成基于流程的編排，還提供了對這些數據流進行監視和管理的機制。對數據的提取、清洗、轉換、輸出、裝載等一系列處理操作后，形成成果數據并入庫。

　　2.1.2時空大數據管理時空大數據管理系統開發采用了C/S架構，通過增加插件的方式使軟件的功能得到擴充，還采用了數據建模技術，完成了多源數據的模型構建和庫體的快速搭建，實現了黃山市各網段的時空大數據資源的組織和管理。另外，時空大數據管理系統設計了統一的數據庫連接配置，可以動態分配數據的存儲空間。具備空間數據的查詢檢索和可視化能力，可以通過目錄、元數據等信息查詢到所需數據并加載到地圖中。

　　2.2時空信息云服務資源池設計采用了虛擬化、彈性化、服務化的設計思想，基于時空大數據庫的數據模型，實現了時空信息云服務資源池的設計，以計算存儲、數據、功能、接口和知識服務為核心，通過時空信息云平臺系統實現，為各種業務應用按需提供大數據支撐和各類服務資源。服務資源池中能夠提供的服務包括時空數據服務、接口服務、功能服務、基礎設施服務、知識服務，這些服務構成了時空信息云平臺的核心能力。

　　2.2.1時空數據服務時空信息數據服務包括黃山市基礎地理數據服務、專題數據服務、新型產品數據服務(傾斜影像、激光點云等新型產品數據)、實時位置數據服務以及智能感知的流式數據服務等。

　　2.2.2接口服務應用程序接口服務是通過開發或集成等形式來構建的，包括基本API、地圖類API、事件類API、控件類API、數據解析類API、三維類API、物聯網API、歷史分析API、比對分析API和模擬推演API。可根據應用的需要預留擴展空間。

　　2.2.3功能服務時空信息云平臺服務資源池提供的功能服務是依托于GIS可視化或數據服務來實現的。主要包括地圖查詢服務、地圖查找服務、地圖編輯服務、空間數據抽取服務、空間數據復制服務、空間分析服務、地理處理服務和地理編碼服務等。還根據業務場景需求增加了針對實時數據的可視化及分析處理的功能服務。

　　2.2.4基礎設施服務基礎設施服務通過對云環境中的服務器、存儲設施 等基礎設施進行虛擬化后形成服務資源池來構建，根據業務需求設計了云GIS桌面服務、云站點服務。通過網絡可以像操作本地的計算機一樣操作平臺中的虛擬計算機、虛擬存儲器以及GIS資源。

　　2.2.5知識服務本項目研究設計了10種大數據分析工具:數學匯總、創建緩沖區、密度計算、疊加分析、鄰近分析、點聚合分析、要素連接、范圍內匯總、熱點查找、軌跡構建。

　　4種機

　　器學習分析工具:地理加權分析、廣義線性回歸、密度聚類回歸、隨機森林分類與回歸。以上分析工具作為知識服務供主題挖掘應用調用，從數據檢索獲取開始，可以進行數據范圍的選擇和模型參數的設置，執行觸發后臺模型算法的運行并得到挖掘分析結果，并可在系統中進行可視化查看。

　　3時空大數據挖掘與應用

　　本研究中時空大數據挖掘系統利用上述服務資源池中提供的服務，根據相關時空大數據中分析和挖掘潛在的數據及規律等信息進行挖掘分析，解決關于土地利用現狀、地價以及基于信令數據的道路以及景區流量問題。

　　3.1土地利用現狀變化監測研究在國土行業應用中，土地利用現狀分析是較為復雜的場景，涉及復雜的空間分析和大量的業務邏輯運算。針對海量時空數據，本研究框架采用基于Spark的空間數據處理和分析框架，計算性能大幅提高。

　　本研究中土地利用現狀變化監測主要是對同類型多時相土地利用現狀數據的疊加分析，分析兩個不同年份的土地利用現狀數據的差異性。進一步可以根據分析結果提取出某一種地類的流量。針對選擇的兩年地類圖斑數據，對選擇的行政區，或繪制的任意范圍，或者上傳的shp數據范圍內的數據進行變化監測，并統計每類地塊流向信息，同時以圖表方式展示變化面積。經過對比分析測試，服務器配置統一為8核16G內存、Windowsserver2012操作系統時，統一進行黃山市土地利用現狀變化分析，當圖層要素數量約30萬，數據量471MB，采用傳統非分布式運算時間為小時級，采用本研究中的大數據服務框架，大約需要5min。當圖層要素數量約700萬時，數據量為4.6GB，傳統方式無法計算，采用大數據服務框架計算時間約90min。

　　3.2遠期地價預測研究以全市歷年地價數據及影響因子數據為基礎，利用隨機森林分類與回歸工具，對數據進行模型訓練、機器學習，從而預測規劃地塊地價。

　　4關鍵技術

　　4.1時空大數據匯聚技術

　　采用基于Nifi的實時ETL技術架構，數據源和數據目的地之間由管道連接在一起，能夠從多種數據源動態拉取數據，自動化系統之間的數據流，實現數據采集、處理等功能。數分鐘之內即可連接各類數據源并匯聚數據。支持跨數據庫、大數據、云應用程序、文件、電子表格、網站等集成數據。通過時空大數據匯聚引擎，實現空間數據與非空間數據、實時數據和離線數據、結構化數據和非結構化數據的全量匯聚。集成編排平臺實現可視化、友好的操作界面和調試環境，大幅提升開發效率，增加IT資源的可復用性，優化系統間的對接模式。數據流全生命周期內的運行狀況，做到過程可監控，歷史可追溯。

　　5結束語

　　本文利用開發的時空大數據匯聚系統、時空大數據管理系統對時空大數據進行匯聚以及標準化、統一的數據處理和管理;將GIS數據資源、GIS平臺資源進行深度整合，形成時空信息云服務資源池，可直接提供多種類型的云GIS服務，并利用匯聚整合的時空大數據以及云服務資源池的服務能力，進行了土地利用現狀變化檢測、遠期地價預測、手機信令數據挖掘研究:

　　1)分析得出黃山市土地利用現狀數據變化情況;2)基于地價及相關影響因子數據，采用機器學習、模型訓練等技術，對未來地價進行了預測;3)基于手機信令數據，利用大數據分析及存儲手段，分析并得出黃山旅游景區人員運動軌跡、道路流量、景區流向、人口熱力、軌跡密度。

　　大數據建設論文投稿刊物： 《衛星應用》(月刊)創刊于2010年，現由國防科工委、總裝備部、中國航天科技集團公司多家單位主辦的中國航天科技集團公司衛星應用專業信息網網刊，內部發行。

　　本研究緊密結合黃山市信息化建設的實際情況，設計實現了時空大數據云平臺，以滿足政府部門、企事業單位及社會公眾對時空大數據的智能化應用需求;根據平臺所提供的服務資源，在土地利用現狀變化檢測、手機信令數據挖掘分析中，通過對研究區域定性、定量分析，得到結果與實際相符;遠期地價預測研究中，利用歷史數據測試，預測結果較為準確。本研究中的系統實現與數據挖掘應用充分體現了千萬級手機信令數據清洗能力、多源數據融合分析能力、時空大數據實時渲染能力、海量時空數據的分布式計算能力。研究結果對精細化城市管理背景下的時空基礎設施建設具有普遍的參考價值。

　　參考文獻:

　　[1]李德仁，馬軍，邵振峰.論時空大數據及其應用[J].衛星應用，2015(9):7-11.

　　[2]自然資源部辦公廳.智慧城市時空大數據平臺建設技術大綱(2019版)[G].北京:自然資源部辦公廳，2019.

　　[3]國家測繪地理信息局辦公室.智慧城市時空大數據與云平臺建設技術大綱(2017版)[G].北京:國家測繪地理信息局辦公室，2017.

　　[4]國家測繪地理信息局.智慧城市時空信息云平臺建設技術大綱(2015版)[G].北京:國家測繪地理信息局辦公室，2015.

　　作者：馬霖，余倩男