電力大資料博士論文

　　隨著智慧電網建設的推進,在電力系統的發電、輸電、配電和用電等多個環節將完成智慧化,從而實現對電力系統的全方位、多角度感知,收集多源異構資料的廣度和深度不斷加強,並形成電力大資料。下文是小編為大家蒐集整理的關於的內容，歡迎大家閱讀參考!

　　篇1

　　淺談智慧電網電力大資料技術

　　本文在綜述了智慧電網中大資料的資料特徵、應用價值的基礎上，對多源異構資料聚合管理、複雜資料分析、資料在智慧電網的應用這一完整過程中的若干關鍵技術展開深入闡述，並在上述研究基礎上提出智慧電網大資料處理技術的研究方向建議。

　　1 智慧電網中的大資料

　　智慧電網即電網的智慧化，通過先進的感測、裝置技術、控制方法以及決策支援系統技術，實現電網的安全、高效、經濟的目標，具有提高能源效率與供電安全性及可靠性、減少環境影響、提高供電減少輸電網電能損耗等優點。

　　歐美各國對智慧電網的研究開展較早，已經形成強大的研究群體。美國主要關注電力網路基礎架構的升級更新，同時最大限度地利用資訊科技，實現系統智慧對人工的替代。自2010年以來，超過90億美元的大型公共和私人投資加快了先進智慧電網技術的部署，提供了有關技術成本和收益的真實資料以及最佳實踐。2015年2月，AutoGrid宣佈與微軟達成全球合作，基於AutoGrid的能源資料平臺為全球公用事業公司和創新能源服務供應商提供大資料和智慧電網分析解決方案。 歐洲則重點關注的領域是可再生能源和分散式能源的發展，並帶動整個行業發展模式的轉變。歐盟計劃在五年後實現清潔及可再生能源佔其能源總消費20%的目標，並完成歐洲電網互通整合等核心變革內容。我國智慧電網建設主要以整合提升排程系統、建設數字化變電站、完善電網規劃體系、建設企業統一資訊平臺為4條主線。2015年4月，北京艾能萬德智慧技術有限公司與AutoGrid公司正式達成戰略合作意向，本次合作意向的達成意味著在新能源與電力大資料處理專業領域將實現跨國聯手，一起迎接中國新電改挑戰和充滿機遇的大資料時代。

　　1.1 電力大資料特點

　　智慧電網大資料具有以下特徵，即規模性、多樣性、低價值密度、實時性。

　　1.1.1 規模性與多樣性

　　網際網路、社會計算和移動計算等新興技術的飛速發展，智慧電網資料的來源和規模正呈現出爆炸式增長態勢，資料型別也呈現出多樣性，主要包括歷史資料、實時資料、時間序列資料、及跨媒體資料等各種結構化資料、半結構化資料以及非結構化資料。目前電力系統中非結構化資料佔到很大比重。

　　1.1.2 低價值密度

　　在大量的資料當中找到有價值的資料概率會較低。以波形資料為例，在產生的大量波形資料中，幾乎所有的波形資料都是正常資料，但是對監測、檢查異常這項工作來說，有價值的資料恰恰是那些數量極少的異常資料。

　　1.1.3 實時性

　　指大資料中的物理資料都是真實事物物理狀態實時更新的資料，如電網排程、控制需要的資料是實時資料，需要快速而準確地處理。電力生產需要發電和用電及時平衡，需要對電力排程、裝置檢修等生產資料實時處理。需要在幾分之一秒內對大量資料進行分析，為決策制定提供較高的支援平臺。

　　1.2 電力大資料價值

　　電力大資料規模大、型別多、價值高，不論在企業內部還是外部都有很高的應用價值，對於電力企業盈利與控制水平有很好的利用價值，研究表明資料利用率每調高1倍，可以使電網利潤提升2至5倍;在電力行業以外，電力大資料在經濟建設、能源配置和民生改善等方面展現出巨大的綜合價值，具體內容如下：

　　1.2.1 在電力企業內部

　　可以優化企業管理模式，提升企業經營管理水平。主要應用方面包括：一是可以輔助電力企業選址、建設等重大決策;二是通過龐大的歷史銷量資料，對客戶用電行為分析和客戶市場進行細分，從而指導管理者對營銷組織與服務模式的改善;三是整合電力行業生產、營銷等多方資料，實現電力全環節資料共享，進而優化資源配置、提升生產效率和資源利用率。

　　1.2.2 在電力行業外部

　　利用電力行業大資料能夠獲得可觀的社會效益，首先，利用電力行業資料可以為客戶提供更加豐富的增值服務;另外，用電資料可以作為重要經濟先行資料，是一個地區經濟執行的“風向標”，可作為投資決策者的參考依據。

　　2 智慧電網大資料關鍵技術

　　2.1 多源異構資料的聚合管理技術

　　電力大資料的資料整合管理技術，包含關係型和非關係型資料庫技術、資料融合和整合技術、資料抽取技術、過濾技術和資料清洗等。電力大資料的來源極其廣泛，資料型別極為繁雜，且資料質量不高，準確性、及時性均有所欠缺，對於這種多源異構資料的聚合管理技術也提出了更高的要求。首先必須對資料來源的資料進行抽取和整合，現有的資料抽取與整合方式主要是基於ETL引擎的方式和基於搜尋引擎的方式等，首先把資料抽取成檔案，再對資料檔案進行轉換和清洗，最後生成多維度、多粒度的分析型資料並存儲到資料倉庫中。

　　雲端計算技術中的分散式儲存技術滿足了電網海量資料的儲存需求，因此雲端計算技術推出不久，電力雲的概念就被提出來。可信的雲端儲存模型的建立，解決了結構化和非結構化資料的統一儲存與安全管理問題。雖然分散式計算方法可以大大提高計算機的儲存空間，但是不能滿足電力資料的實時性要求。因此儲存時需要對資料進行分級、分類，如對效能要求高的實時資料需採用實時資料庫系統進行儲存，對歷史資料採用分散式檔案系統儲存，對核心業務資料則使用傳統的並行資料倉庫系統儲存，形成完整的資料庫分級儲存系統。這種層次式和分散式儲存和整合系統，利用海量多源異構資料儲存、組織、管理最新技術，保證了資料儲存的完整性與訪問的高效性。

　　2.2 複雜資料處理技術

　　電力大資料處理技術主要解決大資料的實時處理和批處理問題。目前主要採用分散式計算技術、記憶體計算技術、實時流資料計算技術等來解決大資料的處理問題。 　　分散式計算主要解決計算機分散式計算和儲存的問題。分散式計算典型的例子是Google檔案系統***Google File System，GFS***，隨後 Yahoo開發了該系統的開源版本Hadoop，Hadoop集群系統具有成本低廉、靈活性強等優點，同時還支援海量資料儲存和計算。已有研究針對智慧電網狀態監測的特點，基於Hadoop並利用其它虛擬化技術和分散式儲存技術儲存和管理資料，以實現對電力大資料的高效管理。

　　記憶體計算技術主要解決大資料的實時處理問題。SAP HANA是基於記憶體計算技術的高效能實時資料計算平臺，有研究表明SAP HANA可以提高計算速度幾十到上百倍。隨著記憶體價格的不斷下降，記憶體計算已經具備物質基礎，這也在一定程度上解決了海量資料的實時處理問題。文獻中介紹了使用改良Apache Spark作為執行引擎的記憶體計算引擎計算框架，採用輕量級的排程框架和多執行緒計算模型，與傳統的Mapreduce框架相比，消除了頻繁的I/O磁碟訪問並降低了排程與啟動開銷。

　　電力大資料包括實時監測資料、企業營銷資料等，它們以一種順序、大量、快速的方式呈現，可以被看作一種流式資料。流式大資料呈現出實時性、易失性、突發性、無序性、無限性等特徵，對系統提出了很多新的更高的要求。S4 流式計算系統和 Storm 流式計算系統的推出，在一定程度上推動了大資料流式計算技術的發展和應用。但是，這些系統在可伸縮性、系統容錯、狀態一致性、負載均衡、資料吞吐量等諸多方面仍然存在著明顯不足。目前，分散式資料流實時計算系統在學術界和工業界都處於初步探索階段。大資料流式計算技術應設計分散式多模態計算框架，選擇能與Hadoop架構相容的計算框架，調整各種計算框架中資料及索引訪問模組，二次開發統一的計算任務排程模組，設計並開發統一的分散式環境。將流資料技術應用於電力系統可為決策者提供即時依據，滿足實時的分析需求。

　　2.3 複雜資料分析技術

　　2.3.1 聚類分析

　　已有研究針對K-均值聚類演算法的“零值困境”問題，提出基於夏農熵的改進方法，將所提出演算法應用到影象內容識別領域，構建高質量圖片索引，提升圖片獲取效率。在一致性聚類方面，已有研究結合廣義K-均值算法系統地研究了效用函式選擇以及聚類分量生成分量等重大理論問題。將文字分類技術應用於電力企業的物資調配平臺，可以促進物資調配平臺的資訊檢索和分析能力的提升，方便使用者快速準確的定位所需資訊。另外，可以將聚類分析技術應用於客服系統中，解決客服系統客戶監督模組中文件高維稀疏資料帶來的“零屬性困境”問題，同時可將客戶的故障報修資訊按不同類別聚類分析，使企業能夠更加合理的調配人員同時提高用電客戶滿意度。

　　2.3.2 強關聯項集挖掘

　　有研究提出基於餘弦指標的“條件反單調性”剪枝性質，並設計了高效餘弦模式挖掘演算法挖掘強關聯項集，根據興趣度指標條件對其直接進行剪枝，從而挖掘出興趣模式。同時，相關研究表明所挖掘的餘弦模式能用於噪音資料過濾，降低無關資料對後續分析的干擾。通過強關聯多項集的挖掘技術應用，可以成功打破電力企業各系統間的資料孤島，實現企業內部資料資源全方位、大範圍、深層次的分析與利用，為決策者提供豐富詳細的資料支援。另外，採用高效餘弦模式挖掘演算法發現相似性子序列給使用者推薦其經常訪問業務系統和選單功能，並實時跟蹤每個使用者訪問業務系統和功能的時間，並對異常情況進行報告和預警。

　　2.3.3 機器學習

　　著重研究利用多種機器學習模型在不同應用場景下的分類模型構建方法。SVM分類器的好壞判別標準，主要取決於其所構建模型對未知資料測試的精準程度，支援向量機模型的確定主要在於懲罰係數與核函式引數的選擇。傳統的SVM模型由於在這兩個引數選擇方面耗時過多，因此構造的模型並不適用於大樣本資料集。SVM模型應用於大規模資料集需要從以下兩個方面入手：提高參數尋優速度和縮小引數尋優範圍。文獻針對大資料集分類問題使用了一種快速有效尋找最優模型引數的方法UD-SVR。

　　2.4 智慧電網大資料展現技術

　　由於電力資訊平臺中資訊體量大、且隨時間不斷變化，難以將所有資訊一次性呈現給使用者，所以要切實通過視覺化技術對這些資料進行處理，使得異常資料在螢幕上較為清晰的呈現出來。針對不同型別的電力大資料，視覺化方案也有所區別：首先對於電網執行資料，根據其高維、時序、快速的特點，應採取資訊視覺化與可視分析結合的技術方法進行處理。針對電力客戶資料，客戶資料主要來自用電終端資訊採集系統。將使用者電量資訊與使用者地理區域對應起來，可實現使用者用電行為分析與負荷特性的可視分析。另外還可以結合地理資訊系統繪製地區電力客戶地圖，並按照一定的許可權向公眾開放該全景分析圖，實現使用者的用電互動服務，實時反饋購、用電資訊。最後是面向電網企業管理資料，可根據其不同業務部門的特點進行不同的視覺化分析。

　　由於三維模型資料量較大，需要儘可能減小三維模型資料量，研究表明從紋理與幾何兩個方面對模型進行壓縮，生成多種細節層次模型，以支援三維模型的動態視覺化。而多細節層次技術需要解決的問題之一是如何快速地對多邊形網格進行簡化，以生成多解析度模型，採用簡化網格模型的演算法，針對實時的虛擬場景中，保證了簡化模型的連續性、實時性、保持外觀特徵性，使得原有的資料儲存結構得以重複利用。已有研究提出基於模型元件化動態WEB 3D 虛擬現實場景的搭建方法及系統，模型可以在虛擬現實專案中進行復用，減少在場景搭建中模型使用的冗餘，並提高使用者體驗。

　　目前電網企業大資料探勘分析工作雖然不斷取得新的突破，但是將相關資料繪製成高精度、高解析度的圖片的業務模型、智慧演算法和互動式圖形處理工具開發的研究才剛起步，相關視覺化系統的功能實現需要進一步予以研究開發。

　　3 結語

　　本文闡述了智慧電網中大資料的資料特點以及應用價值，重點介紹了目前智慧電網中大資料聚合管理、分析處理以及資料展示的關鍵技術，為我國智慧電網大資料處理提供參考。

　　參考文獻

　　[1]帥軍慶.創新發展建設智慧電網：華東高階排程中心專案群建設的實踐[J].中國電力企業管理，2009***4***：19-21.

　　[2]宋亞奇，周國亮，朱永利.智慧電網大資料處理技術現狀與挑戰[J].電網技術， 2013，37***4***：927-934.

　　[3]潘明惠.記憶體計算技術驗證專案與應用研究[J].電力資訊化，2012，10***10***：29-34.

　　[4]王德文，宋亞奇，朱永利.基於雲端計算的智慧電網資訊平臺[J].電力系統自動化，2010，34***22***：7-12.

　　篇2

　　淺談電力行業的大資料安全防護

　　摘 要：隨著我國經濟發展水平的不斷提高，電力行業得到了顯著發展，成為我國經濟發展的重要支柱之一，而隨著用電量的不斷增加、電氣自動化程度的提高，電力行業中的電子裝置使用日漸廣泛，在能源產業中所佔比重也明顯提高。而要想使電力系統資訊化程序進一步推進，使資訊保安更加牢靠，就要做好電力行業大資料安全防護工作。

　　關鍵詞：電力行業 大資料安全防護 資訊科技 電氣自動化

　　當今，“大資料”已經成為電力行業中的一個廣泛關注的詞彙，並且大資料的商業價值明顯提升，逐漸吸引著人們的目光。電力行業是我國重要的能源利用與配給行業，對於監督人們安全用電、合理用電有重要作用，是確保國家各項建設能夠順利開展、持續進行的關鍵。隨著智慧電網的推出，使各項電力業務的開展更加便捷、高效，實時、準確的資料處於日漸增長的態勢，電力大資料的使用能夠與社會保障、人們日常生活緊密相連，是促進經濟發展的必然。本文主要對電力大資料應用特徵、安全風險、防護方法等進行了分析，從而表現了大資料安全在推動電力行業發展當中起到的重要作用。

　　1 電力行業大資料應用特徵

　　隨著各種智慧變電站、智慧服務終端、數字化工廠的興起，電力部門能夠在發電、輸電、配電、排程等各項工作中產生非常多的資料，這些資料呈現出不同型別不同作用。根據相關調查顯示，居民用電資訊在採集過程中的終端數量已經突破了4億;其中，供電電壓自動式的採集電壓監測控制點也已經分佈了7萬個，其他型別的監測資料也達到了2135萬個;輸變電動態監測裝置已經安裝了超過2萬個，形成了一個系統性的分鐘級的終端規模，資料量已經由TB級轉向了PB級。

　　可見，電力企業已經真正開始朝著智慧化、精準化的方向發展，對於資源利用效果與自動化控制水平的提升非常迫切。而通過使用大資料對各項內容進行決策、支援以及預測能夠使管理與監督風險大大降低。首先，應用大資料對資訊進行採集能夠使決策變得更有邏輯性，收集到更多準確的資訊，能夠及時對內在聯絡做出智慧化的判斷，能夠避免產生只憑經驗做出判斷的生產經營模式。此外，通過使用大資料能夠收集到更為細化、品質更好的資料，使電力行業的能見度得到增強，從而符合預測需求。

　　2 電力行業大資料資訊保安風險

　　此前，虛擬化、分散式、自動化的雲端計算構架已經在全球範圍內推行，掀起了一股全新的計算機、網際網路的變革。但是，電力行業的大資料資訊依然存在一些安全風險，制約著電力行業的發展與資訊收集。下面就對安全風險進行描述。

　　大資料在為電力行業帶來經濟效益與社會效益的同時，在資訊保安方面同樣是一個新挑戰。因為大資料包含的資訊量非常大，並且能夠對網路目標進行快速的攻擊，容易使網路中的隱私外洩。此外，電力大資料還會涉及到非常多的電力企業原始資料、客戶個人資訊等，資料敏感度非常強，一旦外洩將為企業帶來一定的損失。

　　大資料隱藏的安全風險實際上是存在於大資料執行週期中的安全風險，這些風險是在產生、傳輸、處理、儲存、應用的各個階段產生的。一方面，資料在傳輸中容易出現中斷、竊聽、偽造、篡改等風險;在資料處理以及應用當中也會存在使用者越權或者是主機故障等風險，也有一些資料存在一些外部風險，執行措施不當等都會造成資料安全風險。此外，平行計算、記憶體資料庫更新等都會使資料出現生命週期的技術新變革，大資料會面臨更多的安全風險。

　　3 電力資訊系統資料安全防護策略

　　電力行業中的大資料安全是電力系統資訊系統安全中的主要內容，如何使資料安全得到保證成為資料管理與控制的關鍵內容。具體防護策略如下：

　　3.1 構建出一體化的安全防護機制

　　電力行業資訊保安防護體制的構建要能夠滿足電力行業的發展需要，將“資訊保障”作為防護的中心，應用深度防禦手段以及綜合防範方法向結合的策略對資訊保安風險做出判斷與分析，將“資訊保安管理”作為核心內容，從技術、管理、人員等方面做好保障，結合資料、儲存方式、傳輸形式、資料處理方式構建出科學、合理的安全防護機制，實現資料傳輸的完整與保密。

　　3.2 提高資料儲存環境安全性

　　在電力行業中，資料往往存在於不同的業務系統中，這些系統資料主要分為資料庫系統、作業系統兩方面。作業系統主要是指連線計算機、上層軟體使用者的紐帶系統，其安全性是至關重要的，能夠減少作業系統安全漏洞的出現，為此，要對作業系統進行合理、優化的配置;資料庫系統中，其密級程度高、實用性非常強，為此，要構建出系統性強的安全策略，減少出現資料的外洩或者是損毀。真正實現了資料庫系統的安全性與保密性。

　　3.3 惡意程式碼的安全防護方法

　　首先，在方案設計過程中，要按照資訊系統風險部署的防範體系，在所有的***處對惡意程式碼進行全面檢測、清除。很多組織都會在本機構中部署惡意程式碼的防範體系，但是卻不能覆蓋到終端或者是網路邊界位置處，只有50%～70%能夠達到這種覆蓋，防範效果非常不理想。一個組織存在1000個以上的終端，但仍有200多個終端未能得到保護，有200多臺計算機感染了蠕蟲，使整個病毒蔓延，導致網路的癱瘓。為此，一個有效的惡意程式碼防範安全技術部署則能夠對網路邊界繼續擰全面覆蓋，使系統內部的終端、伺服器內部網路資源得到優化。通過對整個資料網路開展程式碼防範能夠使安全控制效果增強。

　　此外，為了防止低級別安全區域內的惡意程式碼對高級別安全區域帶來嚴重的輻射，可以設定邏輯隔離區部署控制手段防止惡意程式碼通過網路蔓延到高階安全區域，可以在同一個網路內部署同一高級別的惡意程式碼防範技術，從而使低級別區域內防止出現惡意程式碼的感染。

　　4 結束語

　　本文主要對電力行業大資料安全的特徵進行了分析，並探討了電力行業大資料面臨的安全風險，可見，伴隨著電力系統智慧化、自動化、資訊化水平的提升，將產生非常多的大資料，其風險也會伴隨產生。最後，本文提出了幾點提高大資料安全性的方法，構建防護機制、加強安全設計等都是非常重要的手段。

　　參考文獻

　　[1]郜盼盼.智慧電網系統中面向用電資訊保安防護的認證加密系統研究[D].北京郵電大學，2013.

　　[2]梁鴻健.面向智慧電網的自動化綜合資料應用研究及系統開發[D].哈爾濱工業大學，2012.

　　[3]楊漾.輸變電裝置狀態監測系統的資訊建模與安全策略研究[D].湖南大學，2012.

　　[4]尹建玲，劉高俊，王婷等.核電廠實時資訊監控系統的網路與資料安全設計[J].原子能科學技術，2014***z2***：1059-1063.

　　[5]李暉，孫文海，李鳳華等.公共雲端儲存服務資料安全及隱私保護技術綜述[J].計算機研究與發展，2014，51***7***：1397-1409.

　　[6]張妍，陳馳，馮登國等.空間向量資料細粒度強制查詢訪問控制模型及其高效實現[J].軟體學報，2011，22***8***：1872-1883.

>