時間:2019年03月05日 分類:電子論文 次數:
摘要:本文針對目前某軍用數據中心的現狀及需求,綜合考慮軍用信息系統的安全保密和系統防護等要求,依托虛擬專網,利用云計算、大數據技術對現有的數據中心軟硬件資源進行整合,設計了一種數據中心云化建設方案,描述了數據中心建設的目標和建設思路,從虛擬化、海量數據分布式存取、兩地三中心容災以及大數據可視化方面給出了關鍵技術,并給出了應用模式。
關鍵詞:數據中心,云計算,虛擬化
0引言
目前,在許多領域已有的數據中心建設上,大多按照傳統方式各自獨立,尚未形成整體聯動、協調順暢的一體化數據中心保障能力;在滿足各業務系統的需求基礎上,尚未從數據中心的數據體系建設的角度開展建設;分散獨立多套體系并存,個別體系沖突的情況仍然存在[1]。
本文針對數據中心的資源統一管理、服務流程化及多中心跨域級聯的需求,研究適用于軍隊的云數據中心架構,旨在滿足數據、服務以及各類資源的管理和技術支撐要求,提高各類業務系統之間數據交換水平和利用率,自頂向下全面梳理、科學規劃和設計,為后續數據云端匯聚融合共享奠定基礎。
1國內外研究現狀
近年來,云計算正在成為IT產業發展的戰略重點,全球IT企業紛紛向云計算轉型,依托于云計算大規模、虛擬化、通用性、高可靠性、高擴展性的特點,提升服務效率、提高系統穩定性、降低運營和維護成本。
基于云計算平臺,數據中心建設也趨于分布式、智能化、自動化、安全可靠及綠色節能方向發展。AWS(AmazonWebServices)作為云計算的先入者,于2006年為企業提供IT基礎設施服務(公有云業務),在云中提供高度可靠、可擴展、低成本的基礎設施平臺,擁有豐富的細分產品和龐大的數據中心。
迄今,已為全球190個國家的成本上千家企業提供云計算服務,在全球16個區域部署了其數據中心。AWS提供了大量基于云的全球性產品,包括:計算、存儲、數據、分析、聯網、移動產品、開發工具、管理工具、安全性(KMS密鑰管理服務)和企業級應用程序,旨在幫助組織快速發展、降低IT成本及進行擴展[2]。
VMwarevSphere是業界第一款云操作系統,是由虛擬化技術衍生出來的。vSphere能夠更好的進行內部云與外部云之間的協同,構建跨越多個數據中心以及云提供商的私有云環境也將成為其基本功能。vSphere在功能和技術都不斷的進行更新,目前的版本為6.5[3]。華為在業內率先提出分布式云數據中心DC2的技術理念和架構,除了華為已有的優秀硬件產品,還有來自軟件的創新技術:云操作系統FusionSphere、整體端到端的數據中心網絡CloudFabric和云數據中心管理ManageOne[4]。
阿里云的定位是公有云,創立于2009年,致力開發具有高度可擴展性的云計算與數據管理平臺,提供安全可靠的計算和數據處理能力。飛天操作系統是阿里云公司自主研發的分布式計算平臺,目前已在全球14個區域設有數十個飛天數據中心,利用自主研發的大規模計算操作系統飛天,將百萬級服務器融合,以在線公共服務的方式為全球主要互聯網市場功能提供一整套云計算服務[5]。
2總體技術架構設計
2.1系統組成
云數據中心提供縱跨IaaS層、PaaS層,橫跨中心運維和安全保密的全面的功能和服務。云平臺主要包括虛擬化平臺、云管理平臺、數據存儲與分析、綜合運維以及安全保密,具體如下:
(1)虛擬化平臺:為云管理平臺提供標準的RestfulAPI資源訪問接口,支持對多個集群的計算、存儲、網絡資源進行池化、調度,提供分布式存儲系統,支持對VLAN、VxLAN等多種網絡模型進行適配和管理。
(2)云管理平臺:依托虛擬化平臺為上層業務系統提供態勢統計、計算、存儲、網絡資源統一管理及跨集群資源調度等功能,提供資源按需分配、系統托管和業務快速部署的能力;為用戶提供自服務管理、數據備份恢復及用戶權限訪問控制功能。
(3)數據存儲與分析服務:為數據中心提供各類數據的采集、清洗、存儲、管理、事務處理、分析、可視化等能力。由混合數據存儲、分布式計算、智能學習平臺等模塊組成。
(4)綜合運維:提供數據中心各類基礎設施資源、數據庫資源的統一監控、故障告警、事件分析與報表統計,提供日志審計、工單管理、問題與事件統計等運維服務管理功能,支持自定義閾值、資源自動發現、自定義監控對象、遠程運行控制腳本與歷史監控數據查詢,并為云管理提供資源的運行狀態、負載、告警信息等監控數據。
(5)安全保密:結合信息系統的安全保密要求,從物理安全、網絡安全、虛擬機安全、數據安全及病毒防護等多個層次對數據中心軟硬件資源進行防護,提升系統的安全性。
2.2總體技術架構
基于標準的云計算架構,依據云平臺的系統組成。
2.2.1數據中心物理層
各級機構通過虛擬專網進行級聯,實現資源的互聯互通和權限控制;本級機構內部基于“同城雙活+異地災備”的兩地三中心部署模式,實現平臺及應用高可用和數據存儲備份能力,保障數據中心的抗毀接替和業務系統的連續性[8]。
2.2.2IaaS層
基礎設施即服務:包括底層的虛擬化平臺和上層的云管理平臺,虛擬化采用OpenStack和KVM對計算資源進行虛擬化,基于分布式存儲構建存儲資源池,利用SDN技術實現網絡資源虛擬化和多種網絡模型適配,基于容器虛擬化支撐上層業務應用的快速構建和部署。
云管理基于虛擬化平臺層提供的計算、存儲、網絡、容器服務對IT資源進行全壽命周期管理;通過運維平臺提供的監控數據,采用智能調度算法,提供基于策略的資源調度和遷移能力;采用在線備份與恢復技術實現信息系統的快速遷移及虛擬機故障恢復。
2.2.3PaaS層
平臺即服務層采用分布式文件存儲系統、分布式列組數據庫、MPP數據倉庫等分布式數據對數據進行存儲;提供關系型數據庫云服務,支撐已有信息系統數據庫云化遷移;基于消息隊列、流處理技術、實時分析、圖計算、批量計算進行分析計算,通過運維平臺進行資源統一調度;提供機器學習和深度學習框架,支撐自然語言處理、語音識別、人臉識別、視頻目標跟蹤等人工智能應用;提供數據訪問、數據同步、數據遷移功能。平臺服務整體采用微服務架構構建,所有服務均支持獨立部署、按需、彈性擴展。
2.2.4SaaS層
軟件即服務層依托IaaS層提供的虛擬資源,借助其提供的自動擴容等技術,實現資源隨業務增長的動態擴展,通過災備恢復功能實現應用級的高可用;借助PaaS層提供的分布式存儲實現應用級的云存儲,提供數據到云端的遷移。采用監控報警裝置、防火墻、加密和病毒防護手段,從物理安全、網絡安全和數據安全等傳統的角度進行安全防范;在此基礎上,針對虛擬化存在的安全威脅進行防護,包括:虛擬機安全、虛擬機鏡像安全、虛擬機存儲安全和安全組等。
2.2.6中心運維
采用zabbix分布式監控技術對中心各類基礎設施進行監控告警,并分析統計,將數據上報給云管,實現資源的統一運維,支持SNMP、IPMI、ICMP、HTTP等多種監控協議,可適配、對接不同硬件廠商和操作系統的計算、存儲、網絡設備。
2.3應用模式
2.3.1信息系統遷移上云
由于原有信息系統的應用種類繁多、基礎設施的復雜程度不同,信息系統對安全性、存儲性能要求及基礎設施環境的依賴程度也有所不同,考慮對現有數據的遷移,對原有系統的遷移上云流程。
2.3.2系統快速構建
針對可遷移的應用系統,采用在線備份技術,在保證數據和業務系統完整性的基礎上,借助物理機轉虛擬機(P2V)以及虛擬機轉化技術(V2V)實現應用系統從原有物理環境到云端虛擬機的轉化,突破應用系統的并發、在線遷移技術的研究,實現多臺指定物理機在保證業務不中斷前提下操作系統和業務應用的遷移。
針對不能遷移的應用系統,采用實時監控技術,利用客戶端代理,實現業務系統的硬件信息、運行狀態、服務狀態和負載等采集、上報、展示,以便管理員迅速定位問題和優化資源分配,實現運維監控系統對各廠家、不同型號基礎設施的適配。借助云數據中心的邏輯集群劃分技術,對業務系統進行分類并劃分邏輯資源池,便于資源容量的統計分析。
針對數據庫和數據平臺改造遷移,采用大規模實時分析、高并發實時查詢、緩存、讀寫分離等技術,通過研究數據庫及數據平臺的云化改造手段和數據遷移機制,適配不同類型數據的云化遷移。云平臺面向系統管理員和普通用戶,提供資源按需申請及系統快速構建的能力,由普通用戶按照所需配置申請資源,管理員進行審批并自動創建虛擬機,完成快速部署。
2.3.3業務容災備份
采用“兩地三中心(同城雙活中心+異地災備中心)”的容災部署模式,解決數據中心和業務系統的容災備份問題,通過在線備份與恢復服務為業務提供備份管理功能,保障業務的連續性,當出現故障時,可進行系統恢復。
3主要關鍵技術
3.1海量數據分布式存取技術
云數據中心為數據資源提供數據共享和交換服務平臺,其需要組織和管理的數據資源類型多、規模大、分布廣,傳統的物理存儲方式擴展性差,難以有效應對海量數據的存儲管理。此外,傳統的關系型數據庫面對海量數據,其存取效率,擴展能力已經難以滿足大規模數據存儲和處理的需求,需要充分利用分布式并發存取和處理技術,實現海量數據的高可靠性、高性能存儲、計算和檢索功能,并支持存儲規模的按需動態擴展能力。
為滿足海量數據的可靠存取和高效處理需求,提供結構化、非結構化海量數據存儲服務,提出了通用的海量數據分布式存取解決方案。海量數據分布式存取解決方案基于SAN網絡存儲、NAS網絡存儲和PC服務器集群構建,提供分布式文件系統、數據倉庫集群和NoSQL數據庫三種存儲方式。分布式文件系統集成開源的分布式文件系統HDFS和網絡文件系統NFS。
其中NFS采用操作系統提供的NFS服務實現,HDFS采用單NN-多DN主從架構實現。NoSQL數據庫集成開源的內存鍵值數據庫Redis、表格數據庫HBase和文檔數據庫MongoDB實現。海量數據分布式存儲融合接入陸、海、空、天、網等各種類型數據,支持結構化和非結構化大數據的統一存儲管理,支持彈性擴容、大容量、高并發和高速一體化的數據訪問[9]。
3.2兩地三中心多活容災技術
所謂“雙活”或“多活”數據中心,區別于傳統數據中心和災備中心的模式。數據中心都處于運行當中,運行相同的應用,具備同樣的數據,能夠提供跨中心業務負載均衡運行能力,實現持續的應用可用性和災難備份能力。“雙活”數據中心最大的特點是:
(1)充分利用資源,避免了一個數據中心常年處于閑置狀態而造成浪費,通過資源整合,“雙活”數據中心的服務能力是翻倍的;
(2)“雙活”數據中心如果一個數據中心故障的情況下,其業務可以迅速切換到另外一個正在運行的數據中心,切換過程對用戶透明。為實現兩地三中心容災,生產中心和同城雙活中心之間的數據復制基于數據庫層同步技術以及存儲虛擬化層的數據復制技術,同城雙活中心需要自應用層到數據庫層以及存儲層建立和生產中心的匹配關系。為保證性能,同城雙活中心與生產中心配置類似,其硬件平臺的配置應與生產中心基本一致。
同城雙活數據中心應用系統采用同構X86架構服務器并采用虛擬化技術構建,不同的業務,在雙活數據中心互為主備,業務均集中在主分區運行,當發生故障時,以業務整體進行切換。存儲層雙活采用存儲虛擬化技術構建,當任一存儲系統發生故障時,存儲設備及底層支撐軟件將自動檢測到故障,根據承載業務情況,及時切換,平滑過渡,對上層應用系統屏蔽。容災網絡,同城數據中心之間采用DWDM裸光纖高速網絡連接,本地和異地數據中心之間采用IP網絡連接,網絡帶寬要保證系統切換的順暢和數據復制的帶寬需求。
3.3大數據可視化技術
大數據環境下用戶與數據的交互成為一個難題,沒有大數據可視化技術,不具備專業技能或知識的用戶就無法參與數據分析過程并共享數據分析結果。可視化技術指的是借助于圖形化手段,清晰有效地傳達與溝通大數據及其分析信息。大數據可視化技術搭建了一個用戶與數據交互和互動的有益平臺,也使得隱藏在大數據深處的模式和洞察變得顯性。
數據可視化技術的基本思想是將數據中的每一個數據項作為單個圖元素表示,大量的數據集構成數據圖像,同時將數據的各個屬性以多維數據的形式表示,可以從不同的維度觀察數據,從而對數據進行更深入的觀察和分析。通過標簽云、集群圖、歷史流、空間信息流等多種可視方式,將海量數據結果以靜態或者動態的圖形展示出來,最終為指揮決策提供輔助。
4結束語
本文針對數據中心云化改造的需求,從體系結構、關鍵技術等方面給出了框架、方法和技術,并給出了應用模式及其應用流程圖,為軍用或民用數據中心的改造建設給出了參考。下一步工作中,將會考慮資源調度和資源備份,進一步完善數據中心的改造。
參考文獻:
[1]陳衛,楊長虹,戴超凡.云計算在軍事領域的應用[J].國防科技,2015.
[2]Amazon.AmazonEC2,aws.amazon.com/cn/ec2/,2017.
[3]VMware,云計算.www.vmware.com/cn/cloud-computing/overview.html,2017.
[4]華為.云計算解決方案,www.huawei.com/cn/solutions/cloudcomputing/cloud,2017.
[5]阿里云.阿里云-打造數據分享第一平臺,www.aliyun.com,2017.
[6]李英壯,廖培騰,孫夢,李先毅.基于云計算的數據中心虛擬機管理平臺的設計[J].實驗技術與管理.2011.
[7]蘇命峰.云計算環境下高校數據中心的虛擬化研究與實現[D]湖南大學,2015.
[8]樊昊.“雙活”數據中心的設計實現[J].電信科學.2016.
[9]馬曉亭,陳臣.基于虛擬化技術的數字圖書館分布式云計算數據中心研究[J].情報科學,2012.
相關期刊推薦:國防科技(雙月刊)創刊于1978年,是國防科技大學主辦的科技軍事類綜合性學術期刊,雜志兼承國防和軍隊現代化建設法服務的宗旨,對世界國防科技、先進武器裝備跟蹤、研究。讀者為科技、軍事領域教學科研人員、國家軍隊人員。