時間:2021年10月11日 分類:免費文獻 次數:
《基于多維數據環境的電力數據中心安全生產分析系統》論文發表期刊:《自動化技術與應用》;發表周期:2021年07期
《基于多維數據環境的電力數據中心安全生產分析系統》論文作者信息:崔曉飛(1985-),女,高級工程師,碩士,研究方向:電網生產技術與管理。
摘 要: 本文基于多維數據環境設計了電力數據中心安全生產分析系統,統一了數據環境,基于抽取、轉換、裝載獲取了高質業務數據,提供了以業務數據為載體的多維分析能力。通過熟悉了解電力企業安全生產業務,利用ODS、數據倉庫(DW)、數據集市技術(DM)、ETL技術等,實現了安全生產分析系統。同時基于多維數據環境進行了系統測試,結果表明系統的ETL與BI實現都成功通過了電力企業真實業務數據嚴格測試,且運行穩定性與可靠性良好,與實際需要明確相符。
關鍵詞:多維數據環境;電力數據中心;安全生產分析
Abstract: This paper designs the power data center safety production analysis system based on the multi-dimensional data environment, unifies the data environment, obtains the high quality business data based on the extraction, the conversion, the loading, and provides the multi-dimensional analysis ability with the business data as the carrier. Through familiar understanding of electric power enterprise safety production business, using ODS, data warehouse, data Mart technology, ETL technology and so on, the safety production analysis system is realized. At the same time, the system is tested based on the multi-dimensional data environment, the results show that the ETL and BI of the system can successfully pass the strict test of the real business data of the power enterprise, and the operation stability and reliability are good, which is clearly consistent with the actual needs
Key words: multidimensional data environment, power data centre; safety production analysis
1引言
在電力體制創新改革逐步深化的趨勢下,電力企業壟斷局面被打破。新市場經濟環境下,競爭與市場雙重壓力直接提高了對電力企業信息化建設的要求。國家電網公司制定了一強三優戰略發展目標,實施了集團化運作、集約化發展、精細化管理,構建了基于企業總部的集團化運作模式。國家電網公司信息部分也推行了信息化建設,規劃了信息化工程,構建了統一規范、數據共享型系統工程,整合多種組件,實現了信息共享與數據環境統一[1]。
2 系統整體框架
電力數據中心安全生產分析系統整體框架[2]具體如圖1所示。
其中,ODS、DW、DM 是數據支持的重要載體,也是統一數據環境的關鍵,且在維度表中發揮著有效作用,既保障了數據質量,又提升了數據庫查詢效率;ETL是數據分析的基礎;系統分析主要包括人身事故分析、設備事故分析、電網事故分析三部分,并基于BI表格與圖形形式,呈現分析相關數據。系統數據自身具有一定的分層特性,其不僅與擴展性、維護性息息相關,還直接影響著數據分析能力與性能。
3 系統詳細設計
3.1 功能模塊
電力數據中心安全生產分析系統功能模塊[3]具體如圖2所示。
3.2概念數據模型
就系統需求而言,不論人身事故、設備事故、電網事故都存在發生原因、結果等要素,其構成了概念數據模型必備實體、屬性、關系,基于此可獲得電力數據中心安全生產分析系統概念數據模型。概念數據模型E-R圖"具體如圖3所示。
3.3數據層
通過細化分解概念模型,可表明實體、屬性、實體間關系,利用通用字符型與長度表征各屬性,可獲得邏輯數據結構。由于邏輯數據層給定的是具體化邏輯結構,可將其看作通用邏輯數據模型,其與數據庫無關,所以在實際應用時,通用性顯著,可適應于所有需現實化的物理模型標準。在邏輯數據層設計時,已引進了事實表與維度表概念,其中事實表與維度表的分離并不代表數據與功能分離,就某種程度而言也可明確各表之間的關系模式,同時也是數據與功能共享,所有事實表與維度表共同創造了嚴格緊密的、可共享的數據環境。因為電力數據中心安全生產分析系統數據環境同樣劃分為 ODS、DW、DM三層次,所以邏輯數據層也劃分為此三層次[5]。
3.4 數據庫
在數據庫設計時,需對數據庫產品相應數據類型、長度、索引等要素進行綜合考慮,同時還需明確數據庫平臺與應用框架。在設計過程中,邏輯數據結構的字段名與數據類型應與數據庫標準明確相符。所謂數據庫設計就是物理化邏輯結構,或數據庫化部分,這時已逐步過渡到實踐開發應用階段。因為電力數據中心安全生產分析系統數據環境同樣劃分為ODS、DW.DM三層次,所以數據庫也劃分為此三層次9。
4系統測試
作為電力數據中心重要組成部分,安全生產分析系統面臨著海量數據,因此所配置的ETL程序與B1展示都必須通過嚴格測試,才能交付使用。在ETL與B1測試中,制定了科學合理的測試流程,通過測試檢驗,可靠性較高。
4.1環境
電力數據中心安全生產分析系統測試環境具體如表1所示。
4.2 數據
數據是測試的關鍵載體,必須滿足測試需要。就ETL而言,應最大程度上確保測試數據與條件需求相符,而對于BI展示,則應盡可能保障測試數據與功能性覆蓋高度相符。ETL測試數據主要來源于L省與A省電力企業的年度安全生產業務數據,其中包含BI展示數據,ETL處理數據,以及必要時基于數據工廠制作的虛擬測試數據。
以L省與A省電力企業的年度安全生產模擬業務數據,為ETL測試數據,目的是為保障ETL實現與實際應用環境高度近似,且模擬業務數據中勢必存在數據質量較差的現象,這些數據可有效檢測評估ETL的低質數據處理能力。而且業務數據真實性可檢驗評估ETL在實際數據環境中的應用效果。以L省與A省電力企業的年度安全生產模擬業務數據,為Bl測試數據,目的是為進一步驗證BI展示面向不同省份電力企業數據時,能否并存化處理,并準確累積整合于國家電網整體數據庫"。
4.3流程
4.3.1 ETL測試流程
明確數據源表與數據目標表;詳細檢查連接串設置;導入待測試Workflow,并配置相應環境與參數;清空目標表,運行Workflow;認真核對Monitor中Workflow運行狀態,運行失敗則反復檢查Worklow與相關設置,運行成功則核對目標表是否存在數據與輸入正確性。
4.3.2 Bl測試流程
面向測試主題,觀察頁面設置與結構是否符合設計標準;核對默認頁面數據,不論是否存在都需在數據庫中,基于SQL語句設置條件,明確查詢結果與頁面展示結果是否一致;逐項檢測設置欄與維度欄選項模式、內容與設計要求是否相符;選擇設置欄選項,查詢,了解頁面展示正常性與穩定性,正常則需基于數據庫利用SQL語句查詢,比較結果一致性,結果相同則修改圖形維度,查看圖形是否受維度變化影響,觀測圖形時,圖形存在數據則需與表格數據比較,觀察是否相同,圖形可隨維度正確變化,便完成了B1基本測試。
4.4結果
4.4.1 ETL測試結果分析電力數據中心安全生產分析系統ETL測試結果具體如表2所示。
由表2可知,全部Workflow成功運行,且與要求相符的數據都抽取到了目標表,實現了預期目標,得到了期望結果。
4.4.2 BI測試結果分析
BI整體準確展示了系統設備事故統計分析數據,設備事故對比分析、變化趨勢、構成情況圖形展示準確,默認維度表現為一般事故,圖形可隨維度變化隨之改變。
Bl展示結果需選用SQL語句查詢數據庫,比較分析查詢結果與B測試結果,據此評估BI展示實現的功能的準確性與可靠性。
B1測試數據結果與SQL查詢數據結果相一致,且基于圖形與表格數據比較可知,B1圖形展示與L省和A省電力企業數據相符,數據與圖形對應完整準確。據此B1展示數據完整且正確,整合功能運行成功,實現了電力數據中心安全生產分析系統分析功能,且圖形展示與表格數據展示相符。
總而言之,通過反復測試分析,最終結果表明基于多維數據環境的電力數據中心安全生產分析系統的ETL與BI通過了真實業務數據嚴格測試,運行穩定性與可靠性較高,與設計要求、實際需要明確相符。
5結束語
綜上所述,就電力企業來講,安全生產是重中之重,而作為數據中心的核心部分,安全生產分析系統面向整個企業電力安全生產業務數據,為安全生產提供技術層面的數據支持與數據處理分析能力。因此本文基于多維數據環境設計了電力數據中心安全生產分析系統。系統基于ODS、DW.DM共同構建的數據環境,針對電力企業安全生產業務數據,以ETL數據支持為載體,通過B1數據分析,實現了多維度分析能力。最后基于多維數據環境進行了系統測試,結果表明系統的ETL與B1實現都成功通過了電力企業真實業務數據嚴格測試,且運行穩定性與可靠性良好,與實際需要明確相符。
參考文獻:
[1]郝鵬宇,基于數據中心的發電集團安全生產管理系統應用研究D].北京:華北電力大學,2017.
[2]王北平,沈諒平,電力實時監控系統在勝利油田生產中的應用[].油氣田地面工程,2015,34(7):50-51.
[3]廖臣,李詢,楊箴等,基于云計算的電力虛擬化數據中心架構研究].電子設計工程,2019,27(13)70-74.
[4]李寧,輸變電設備狀態監測系統的開發與設計[D].保:華北電力大學,2017.
[5]曾楠,陳志剛,竇吳翔等,電力業務統一數據中心架構設計[1].微電腦應用,2018,346):19-22.
[6]劉洋,電力發電企業生產管控指揮信息系統設計與實現[D].成都:電子科技大學,2014.
[7]王德文,劉庭輝,電力全業務統一數據中心突發性數據處理任務調度方法J.電力系統自動化,2018,42(8):177-184.
[8]吳浩輝,包達志,面向海量數據采集的電力集中式數據中心業務傳輸調度方法[J].自動化技術與應用,2017,3(10)77-81.