電力大資料博士論文參考
隨著經濟的快速發展,我國的電力工業逐步進入到電力大資料時代。大資料時代的到來為電力行業開闢了新路,電力大資料的發展將重塑電力核心價值和轉變電力發展方式。下文是小編為大家蒐集整理的關於的內容,歡迎大家閱讀參考!
篇1
淺析電力企業應對大資料的策略
摘 要:近年來,大資料來勢洶洶,對傳統資料商業分析模式產生了重大地影響,對電力企業的資料駕馭能力提出了新的挑戰與機遇。從人才培養、技術儲備、資料駕馭、資料價值挖掘等方面剖析電力企業如何應對大資料的挑戰,讓電力企業在大資料來臨時更加從容地選擇適合的技術、方法論、解決方案和發展戰略。
關鍵詞:大資料 資料 海量 價值
1 引言
據IDC調研顯示,中國的大資料***Big Data***市場未來5年將以51.4%的速度增長,大資料對企業的資料駕馭能力提出了新的挑戰,也為企業獲得更為深刻、全面的洞察能力提供了前所未有的機遇。浙江省電力公司***以下簡稱“浙江公司”***資訊化建設經過SG-186和SG-ERP工程取得了長足的發展,目前浙江公司建立了以資料中心為載體的資料採集、轉換和儲存等的業務資訊倉庫,為公司各級資訊消費者提供業務洞察與業務分析。浙江公司資料中心從2005年開始建設,目前已基本實現人力資源、財務管理、物資管理、安全生產、營銷管理、專案管理、電網執行、電力交易、計劃統計等各業務系統資訊***資料***的整合,完成接入20多個資訊系統的相關業務資料,儲存了海量的業務明細資料和彙總資料,實現省、地、縣三級資訊的集中和共享。為了深化“兩個轉變”建立“兩個一流”,在加快建設智慧電網的背景下,如何在大資料浪潮中繼續保持“領頭雁”的作用是浙江公司所面臨的機遇與挑戰。
2 現狀分析
“十二五”期間,國家電網公司初步建成具有資訊化、自動化、互動化特徵的堅強智慧電網。智慧電錶、智慧變電站、電動汽車充換電站、家庭分散式光伏發電併網等一系列智慧電網建設專案相繼投入運營,體現出電力流、資訊流和業務流高度融合的顯著特點,資訊科技、感測器技術、自動控制技術與電網基礎設施有機融合,可獲取電網的全景資訊。把智慧電網中產生的所有資料收集起來,資料突然間增加了許多倍,大量的半結構化和非結構化資訊無法管理和儲存,大資料增長速度驚人,每年以幾何級數速度增長,需要有專業化的解決方案應對大資料挑戰。智慧電網的實時運營要求快速處理海量資料、實時採集電錶資料、線上實時分析決策,傳統的資料倉庫平臺無法支援這些新形勢下的需求。
目前浙江公司資料中心已建立起一整套的商務智慧解決方案技術架構,包括資訊互動層、資料倉庫層、應用設計層和分析展現層。資料來源主要是ERP系統、營銷系統、生產管理系統等各大業務系統,採集、儲存和整合的資料基本以結構化海量資料為主,目前儲存資料已超過3T;而且資料更新週期基本為按日、按周和按月,輔以少量的實時資料更新;業務洞察分析以被動式資訊接受與主動式資訊挖掘相結合。資料中心作為公司業務資料的集散中心和智慧商務綜合分析展現平臺無法完全支撐非結構化資料、實時資料和地理資訊資料的採集、儲存、管理和分析。
資料型別多樣化和資料高速增長使得當時最具可擴充套件性的工具也只能疲於應付,傳統的高階分析方法已經到達了他們的瓶頸。隨著大資料浪潮的加速到來,未來5年將成為大資料的全面發展期,如何在大資料浪潮的洗禮中確保技術架構、分析方法、人才、企業戰略以及商業模式能夠“逐浪潮頭”,將更需要積極主動地選擇適合的技術、方法論、解決方案和發展戰略等。
3 大資料的定義
目前業界還未對大資料有一個統一的定義,但是有兩個關於大資料的定義很好地詮釋了大資料的本質。第一個定義來自Gartner公司的Merv Adrian在2011年第一季度刊登在《Teradata Magazine》上的一篇文章:“大資料超出了常用硬體和軟體工具在可接受的時間內為其使用者收集、管理和處理資料的能力。”另一個定義來自於麥肯錫全球資料分析研究所***Mckinsey Global Institute***在2011年5月發表的一篇論文:“大資料是指大小超出了典型資料庫軟體工具收集、儲存、管理和分析能力的資料集。”
大資料主要包括以下幾個特徵:
***1***大容量:企業資料量大規模增長,單一資料集的規模範圍從幾十TB到數PB不等。電力資料涵蓋發電、輸電、變電、配電、用電、排程的各個環節,資料量龐大。隨著智慧電網建設和物聯網的應用,非結構化資料呈現出快速增長的勢頭,其資料量大大超過結構化資料。
***2***多型別:大資料資料型別包括結構化資料、非結構化資料、半結構化資料等。電力企業在電網執行的整個過程中安裝了許多感測器、監視器、智慧互動終端等裝置,每個裝置執行都增加了資料的多樣性。
***3***快速率:能夠在剎那間獲得複雜的業務分析資料,實時完成業務決策,毫無延遲。智慧電網每隔15分鐘自動採集智慧電錶所產生的用電資料,結合實時排程執行資料,在幾秒鐘之內處理分析海量資料並快速預測電力電量平衡。
***4***價值密度低:大資料的資料價值密度低,單條資料可能並無太大的價值,但海量的資料蘊藏著巨大的財富。例如,一段變電站的監控視訊長達幾個小時,但可能有用的資訊只有一兩秒鐘。
4 大資料對電力企業的影響
4.1 降低電力企業運營成本
以前抄表員每個月就要挨家挨戶地抄電錶,而智慧電錶每隔五分鐘或十分鐘收集一次資料,收集來的這些資料可以用來預測用電量等,從而推斷出在未來2~3個月時間裡,整個電網大概需要多少電。有了這個預測後,就可以向發電或者供電企業購買一定數量的電。因為電有點像期貨一樣,如果提前買就會比較便宜,買現貨就比較貴。通過這個預測後,可以降低採購成本。
4.2 充分挖掘智慧電網資料的價值
依靠遍佈電網的精巧感測器收集資料,然後對氣象資料進行分析,找出安裝風力渦輪機和整個風電場最佳的地點。利用大資料,以往需要數週的分析工作,現在僅需要不足1小時便可完成,提高工作效率,為風力發電選址提供科學依據。 4.3 轉變營銷方式
電力企業目前主要通過峰谷電的定價策略來影響客戶的行為,減少高峰時段的用電量。如果通過分析智慧電錶收集的海量客戶用電資料,預測客戶的用電習慣,電力企業根據大資料分析制定更加精準的定價程式來影響客戶用電量,可以想象更為靈活的定價機制,例如按天分不同用電型別的定價策略。電力企業有能力提供更加人性化的電費通知單,在該電費通知單中將描繪客戶在不同時段用電量的趨勢,以及向客戶提供用電諮詢和建議。
4.4 更準確的需求預測
利用大資料分析,電力企業能更清晰地識別出需求來自於哪些地方、哪些用電型別。還能瞭解某一類客戶在某個時間的用電需求,電力企業可以使用不同的方法來驅動各種行為,使需求更加平穩,並降低異常需求峰值出現的頻率。
5 電力企業如何應對大資料
5.1 人才培養
據美國Teradata調查顯示,業界對大資料分析類職位的需求在上升,如系統分析師***35%***、程式開發員***32%***和商業分析師***22%***,但符合要求的人才卻只有0.41%。大資料來臨的時候,電力企業最缺乏的是人才,工作人員面臨大資料將是一種挑戰,企業需要為員工提供多方面的大資料技術培訓和實操體驗,確保在大資料來臨時,企業員工能夠從容勝任。
5.2 研究大資料技術
在每一次科技變革中,都會出現新的技術和創新的理論,大資料也不例外。在大資料興起的同時也出現了Hadoop、NoSQL等一些顛覆傳統技術觀念的新技術,這些新技術的應用將會對電力企業現有的資訊化基礎架構產生較大的影響。在業界,也湧現出了一批大資料解決方案,例如SAP大資料處理架構、EMC Greenplum、IBM InfoSphere Streams等。每個大資料解決方案都有各自的特點,因此電力企業要了解並研究適合自身的大資料解決方案,研究融合結構化資料庫、非結構化資料庫、實時資料庫和地理資訊資料庫,研究各資料庫之間資料交換和資訊共享的交換標準,為企業各種應用提供統一的、一致的資料檢視。電力企業既要保護現有的資訊化投資,又要能滿足企業的大資料業務需求,才能在大資料到來之時做出正確的選擇。
5.3 重視企業的資料資產,持續開展資料綜合治理
淘寶網已經形成了比較完整的大資料生態鏈,可從龐大的資料中挖掘人們的消費方式、消費習慣、地域差異、年齡差別等資訊,可利用這些有價值的資料進行精準的營銷,將會創造巨大的財富。資料是企業的最大價值來源,目前電力企業資料量激增,資料型別也存在多樣性,資料散落在不同的系統中,哪些資料是可用的、可信的,如何管理好企業的資料資產,如何從海量的資料中獲得有價值的資料,成為電力企業持續開展資料綜合治理的重中之重,也成為企業管理者在大資料時代分析決策的基礎。
5.4 駕馭資料,注重挖掘資料價值
新浪微博Page是基於資料分析的最新大資料應用。它是一個聚合了使用者興趣愛好社交關係資料的綜合展示頁面,無論是話題、圖書、音樂、餐飲美食等內容都能在微博上生成專屬的Page頁面,讓網友可以很方便的檢視到有價值的微博內容。資料的核心是發現價值,駕馭資料的核心是分析。企業的資料容量不是越大越好,大資料的資料價值密度低,如何駕馭大資料,如何在海量資料中挖掘有價值的資訊是重中之重。智慧電網將給電力企業產生爆炸式的資料增長,獲得並存儲這些資料固然重要,但是電力企業更應專注於資料中隱藏的價值,通過應用大資料技術分析,充分挖掘資料的核心價值,讓資料分析影響和反哺企業業務流程,創造出更多的業務提升機會。
5.5 將大資料融入企業資料整體方案
單一的資料在單一的環境下並不能產生多大的價值,將來自不同資料來源的資料經過轉換、整合,彼此增強,將大資料和傳統資料融合形成企業級統一的資料檢視,將會產生新的業務洞察力。可以想象,在未來電力企業將家庭的平均年齡、學歷水平、生活習慣、住宅型別等資訊與電能消耗的資料融合分析,這將會使從智慧電錶上讀取的資料更有用、更有意義。因此,需要將大資料融入企業的資料整體方案中,這樣才能讓資料產生最大的價值。
參考文獻:
[1] ***美***Bill Franks.駕馭大資料[M].黃海,車皓陽,王悅.譯.北京:人民郵電出版社,2013.
篇2
淺析電力視窗部門大資料資料的應用
摘 要:大資料戰略為我國“十三五十四大戰略”之一。為了配合國家的戰略產業調整,電力部門則需要將大資料管理同本部門的特點及需求進行對接。作為電力部門的服務視窗,其公共服務性質決定其同社會的直接接觸,可以藉由其他大資料資料更好的為客戶服務,另外,經過過濾整合的電力服務大資料,也可其他行業部門提供相應幫助,滿足我國“實施國家大資料戰略,推進資料資源開放共享”。的戰略需要。基於此思路,根據國家電網公司運營的業務特點及實際應用需要,本研究提出了大資料資料對電力視窗部門服務質量及方案進行指導及整合的方法,為進一步的深入工作,開展相關研究。
關鍵詞:電網 大資料 視窗服務 產業融合
大資料技術的出現及發展,為現今社會的各行各業提出了機遇與挑戰。隨著資訊產業化工程的升級,大資料資訊已經伸到到現代社會的各個領域,而在此過程中,各個領域,如商業、石油,以及生物等資料密集型行業都致力於挖掘各自領域的資料,以提高自身的行業競爭力。在此過程中,電力系統本身的行業特點決定了其對大資料的深度依賴。就目前的研究而言,電力系統的大資料多集中於電網的執行、後臺維護、配電系統的架構等方面。而對於同其他各個行業的結合嚴重不足。縱觀電力視窗部門,其對接電力系統,是整個電力部門風貌的展現及延伸。除了一般的禮儀性質的服務提升外,需要加強電力視窗服務的核心。而大資料的自身特點決定了對服務資料的提升。本文基於對電企內部的執行特點,提出了其大資料同其他社會大資料對接的方案,現介紹如下。
1 電力視窗部門大資料的特點
作為社會化的服務視窗,電力視窗大資料的來源廣泛,關係複雜。特別是在同配電資料整合對接後,其結構更加多樣。而且傳輸量巨大。上述特點決定了其在二次處理過程中,如何同其他社會化資料相結合極為困難。表面上,不同地區的電力視窗部門資料僅僅為配電額的結算,但是一旦結合後臺的配電資料,地區的消費資料,進一步的同城市交通如電動汽車、電動車的執行,則會直接產生大量的綜合社會資料。從此角度出發,電力視窗的大資料,對接其他行業的大資料,雖然有著良好的挖掘潛力,但是不同種類、不同個體的資料來源具有的差異化的複雜產生方式,如何保證其經過一次處理後,滿足進一步大資料的二次處理的需要,以獲得滿意的分析結果,是當今電力視窗部門資料處理的難點。因此,有必要尋求適應電網資料特徵的大資料應用技術。
2 電力視窗部門大資料應用的關鍵技術及方法
2.1 過程資訊的儲存及處理
鑑於電網資料的測量點多,執行方式變化快的特點,為了實現電力視窗同電網的有效對接,並在第一時間內對該資料進行處理,則首先要對現有的電網處理資料進行提升,應用測量資料關聯分析與清洗修正技術針對電網內部的資料進行過濾及分析,保證在同其他源資料對接過程中的效率。此外,對於外源的資料庫,在對接之前亦需要對其資料邏輯進行初步的分析及過濾,以保證其後期同窗口大資料的有效對接。以分散式資料處理系統及雲端計算技術對上述資料進行處理,可支撐本體系在未來實際應用中的需要。
2.2 電力視窗資料對智慧電網的支援
智慧電網內,除一般性質的配電資料,電力視窗的大資料對於整個電網的規劃和執行亦有十分重要的積極意義。由於電力視窗部門面對社會人群,表面上僅針對其客戶家庭內部用電的情況。但是,該用電資料可以直接對接配電的大資料,並直接為公司內部提供第一手的用電資料。電力視窗部門的資料採集,可以為電網提供更高精度、更細粒度的結果,並在此之上,進一步的預測地區用電的實際情況。為電網調節提供實際依據。
2.3 電力視窗資料對社會服務大資料的支援
由於電力視窗資料的上游採集自電網的配電情況,下游採集自社會用電量。其本身為溝通上下游資料的橋樑。通過對於自身視窗資料的分析,可以獲知的確用電量的情況,並配合對社會發展的相關資料的挖掘,可預測巨集觀電量的變化。相比之而言,視窗大資料所獲得的精度更高,且同其他資源的契合度更高。因此,可以實現對電網區域性用電量的精細化預測。根據電力視窗資料所獲得的資料,進行深度挖掘後,進行建模處理,並根據社會資料,如工商、管理、交通等部門的整合預測資料,對該模型持續不斷的修正,最終實現相應的用電預測,該資料可以反哺社會資料,為公共部門提供精細化的用電資料。而該用電資料可為公共事務的決策及管理提供重要的支撐資料。
2.4 電力視窗資料對商業大資料的支援
現代商業需要整合不同地域的大資料以實現廣告投放及網點的建設,要針對不同的人群的特點,其適用的商業形式也大有不同。而以電力視窗的大資料可以反推各個地區的客群特點,為公司的決策提供支援。另一方面,以該資料配合其他公用服務的大資料,可以更加精準的對地區商業預判,最終滿足地區商業發展的需要,增加地區繁榮。
3 結論
與傳統的大資料管理不同,電力視窗的大資料作為智慧電網的一種延伸,並非電網資料的單一補充,而是進一步的挖掘,可以以此為基礎,從資料中獲得更大的價值。通過對電力視窗部門資料的應用可以有效提升智慧電網的執行效率,並提升電力部門的社會服務水平。
參考文獻
[1]廖建新.大資料技術的應用現狀與展望[J].電信科學,2015,31***7***:1-12.
[2]Greene,C.S.,et al.,Big Data Bioinformatics. Journal of Cellular Physiology,2014,229***12***:1896-1900.
[3]劉燕.對電力營業視窗如何做好優質服務的探討[J].中小企業管理與科技,2011***30***:68-68.
[4]胡曉東.略談富錦電力視窗人員的服務禮儀[J].城市建設理論研究:電子版,2013***35***:1-2.
[5]馬發勇.電力排程SCADA系統中歷史資料壓縮及儲存策略[J].電網技術,2014, 38***4***:1109-1114.
>