淺析基於雲計算的智慧計量平臺研發的論文

　　1 系統需求

　　根據智慧計量業務的需求，智慧計量平臺將基於雲計算技術，使系統需要和營銷管理系統、95598系統、生產管理系統、智慧小區系統以及省網營銷管理系統進行資料的互動，以實現計量業務與營銷其他業務的雙向互助支撐。此外，系統還需要整合現有的居民集抄系統、負荷控制系統及配電變壓器監測系統，構建電力客戶與電網管理部門的智慧化和多樣化互動服務平臺。系統的物理架構。

　　可知，本系統的目的是將不同領域的單一監測系統(如廠站電能量遙測系統、大客戶負荷管理系統、配電變壓器監測計量系統、低壓集中抄表系統和智慧小區系統)進行整合，透過利用虛擬化平臺對上述系統涉及到的伺服器、儲存裝置以及網路裝置的資源進行虛擬化，遮蔽了由於硬體資源的不同導致相互通訊受阻問題，並以虛擬機器為單位進行統一的資源管理，透過虛擬機器將各類系統資料集中到主站或者透過統一的虛擬機器將主站的指令傳送到各監測終端，然後在主站端進行計量業務的綜合應用分析和用電資訊輔助決策。

　　2 核心技術介紹

　　Hadoop是分散式系統基礎架構，是由開源組織Apache開發。基於Hadoop[9]的應用系統可以執行在廉價的硬體設施組成的叢集上，透過Hadoop可以快速構建一個具有高可靠性和良好擴充套件性的分散式系統。系統主要由HDFS、MapReduce和HBase等元件組成，其中HDFS和MapReduce是Hadoop的兩個核心元件，HDFS是Hadoop實現的一個高度容錯的分散式檔案系統，具有較強的可擴充套件性，同時HDFS也是Hadoop系統的基礎層，負責資料的儲存管理，並且能夠提供高吞吐量的資料訪問，適合處理大規模資料集的應用程式。而MapReduce[10]是一種平行計算模型，它能夠有效合理地分割輸入資料，進而並行處理，適合對海量資料的處理。Hadoop實現的MapReduce計算框架提供一種簡單的程式設計模型，節省時間，可以快速實現分散式計算應用;HBase是一個分散式的、面向列的非關係型資料庫，是雲計算中的開源實現，支援高效能併發讀寫。

　　在本專案中， H a d o o p 叢集區域網由1 臺NameNode伺服器、1臺SecondaryNameNode伺服器、1臺JobTracker伺服器和多臺從伺服器組成。NameNode伺服器負責管理海量資料檔案的分割、儲存以及監控DataNode的執行情況。應用程式需要讀取資料檔案，首先訪問NameNode伺服器，獲取資料檔案在各DataNode上的分佈，然後直接與DataNode通訊。一旦發現某個DataNode宕機，NameNode將通知應用程式訪問宕機節點各資料塊的副本，並在其他DataNode上增加宕機節點各資料塊的副本，以保證平臺的可靠執行。SecondaryNameNode伺服器用來監控HDFS狀態，與NameNode進行通訊，以便定期儲存HDFS元資料的快照，若NameNode發生問題，其作為備用NameNode使用。JobTracker伺服器負責管理計算任務的分解和彙總，負責監控各TaskTracker節點的執行情況，一旦某個任務失敗，JobTracker自動重新啟動這個任務。從伺服器承擔了DataNode和TaskTracker兩種角色，分別負責資料塊的儲存和資料計算的map、reduce任務的執行。

　　3 平臺框架結構

　　結合智慧計量平臺自身的特點，智慧計量雲平臺在設計上採用分散式、分層結構，可以劃分為整個系統的實現由雲裝置、雲平臺、基礎服務、高階應用及表現層五層構成，雲裝置層由主機裝置、儲存裝置、網路裝置及其他裝置組成。在本系統軟體設計中，採用VMware虛擬化平臺管理技術，透過對上述裝置進行作業系統虛擬化處理，實現了對硬體資源的虛擬化，並對上述虛擬化後的硬體採用虛擬機器的管理方式，實現了資源抽象、資源監控、資源部署以及安全的管理。透過虛擬化技術的實施，不但保證了資源的利用效率，還使系統管理人員可以不受形式各異的硬體資源及作業系統的影響，而將工作重心全部投入到系統業務應用上。

　　雲平臺由資料儲存、計算服務、負載管理、資料隔離和備份管理等服務組成。該平臺以虛擬機器為單位構建了資料庫叢集、應用叢集、閘道器叢集、採集叢集、Web叢集和介面伺服器叢集等基礎平臺執行環境，採用分散式檔案系統、分散式資料庫管理系統、資料管理和資料分析等先進的雲計算技術，實現了海量資料的大規模儲存，為後續的資料探勘，高階資料應用提供了高效能的分散式計算環境。服務層由系統模型管理、資料中心管理、資料訪問服務、訊息服務、報表服務、通訊管理、規約管理、系統維護及許可權服務等組成，本層是業務系統的堅強基礎，高階應用的每個模組都要求這些服務的支撐。該層採用MapReduce作為處理海量資料的並行程式設計模型和計算框架。對於大規模的資料集合操作，採用任務分解與結果彙總的方法。此外，透過採用高階資料流語言Pig實現了簡化MapReduce任務的開發過程。在系統模型管理提供了整個系統內在的基於IEC 61970/IEC 61968的資料結構，能夠實現系統的'互操作;資料中心管理及資料訪問服務提供了基礎執行大資料的快速準確訪問機制;通訊管理提供整個系統通訊通道及通訊方式的選擇機制;而規約管理提供了系統資料交換的模型格式。

　　應用層由能耗管理、運維管理、降損節能管理、裝置狀態評估、資訊釋出及資料介面等組成。能耗管理主要涉及異常用電、虛擬費控管理、有序用電管理、動能管理、分散式新能源管理及智慧家居管理等;運維管理主要涉及計量校驗資料移動接入、計量裝置缺陷分析及移動處缺管理等;降損節能主要涉及到關係電網經濟執行的損耗分析、電能質量各指標分析以及增值服務等;裝置狀態評估主要涉及到供電模擬分析、配電變壓器狀態評估及裝置全生命週期管理等功能。表現層主要是整個系統的訪問介面，電力客戶與供電部門可以透過計算機客戶端、手持終端、LED大屏、觸控式螢幕及多媒體電視等實現雙向互動、用電資訊的及時披露、異常供電的早通知及處缺管理的更加便利化。本層在設計時主要使用Flex技術來保證系統的易用性，並使用Swiz技術框架來實現模型-檢視-控制器(Model-View-Controller，MVC)設計，並充分利用現有平臺中的系統管理功能。

　　4 平臺系統特點

　　與原計量平臺相比，新型智慧計量自動化平臺具有下述優點：

　　1)在主站平臺系統的設計上，底層系統採用雲平臺架構，整合主機裝置、儲存裝置、網路裝置及其他裝置，在這些裝置基礎上進行作業系統虛擬化處理，提供資料儲存、計算服務、負載管理、資料隔離及備份管理等服務，保障裝置高效利用、上層服務及時響應，保障高階應用各模組能夠負載均衡，且快速得到處理。

　　2)在系統核心設計上，採用統一資料中心建設模式，採用模組化設計方式，即：統一裝置建模、統一業務管理、統一資料採集、統一分析計算、統一網路平臺、統一告警及統一資訊釋出，避免重複建設，以便各種後續高階應用模組能夠靈活配置，達到即插即用的目的。

　　3)在網路設計上，以計量自動化系統主站為基礎，與廠站電能量遙測系統、大客戶負荷管理系統、配變監測計量系統、低壓集中抄表系統及智慧小區系統統一組網，共享通訊服務資源，共用相同的資料庫服務系統，建設一體化主站系統。一體化主站系統中市局、縣局、供電所、變電站、母線、主變壓器要求、線路、大客戶、臺區、專用變壓器、配電變壓器、表計、終端和計量點等物件各自唯一編碼，可滿足採集模型和分析模型的構建。

　　4)在系統部署上，採用集中式部署方式。即：只在地市供電區域性署主站，各縣級供電局不單獨建設主站，而以工作站的方式接入主站，所有的業務都必須在主站完成。

　　5)在介面設計上，系統不僅需要與表計終端進行通訊交換執行資訊，而且需要與諸如營銷管理系統、生產管理系統及95598系統等外部介面，以獲取諸如檔案資料、繳費情況、購售電以及客戶用電反饋資訊等各種資訊的支撐。