淺析基於雲計算的智能計量平臺研發的論文

1 系統需求

根據智能計量業務的需求，智能計量平臺將基於雲計算技術，使系統需要和營銷管理系統、95598系統、生產管理系統、智能小區系統以及省網營銷管理系統進行數據的交互，以實現計量業務與營銷其他業務的雙向互助支撐。此外，系統還需要整合現有的居民集抄系統、負荷控制系統及配電變壓器監測系統，構建電力客戶與電網管理部門的智能化和多樣化互動服務平臺。系統的物理架構。

可知，本系統的目的是將不同領域的單一監測系統(如廠站電能量遙測系統、大客戶負荷管理系統、配電變壓器監測計量系統、低壓集中抄表系統和智能小區系統)進行整合，透過利用虛擬化平臺對上述系統涉及到的服務器、存儲設備以及網絡設備的資源進行虛擬化，屏蔽了由於硬件資源的不同導致相互通信受阻問題，並以虛擬機爲單位進行統一的資源管理，透過虛擬機將各類系統數據集中到主站或者透過統一的虛擬機將主站的指令發送到各監測終端，然後在主站端進行計量業務的綜合應用分析和用電資訊輔助決策。

　2 核心技術介紹

　Hadoop是分佈式系統基礎架構，是由開源組織Apache開發。基於Hadoop[9]的應用系統可以執行在廉價的硬件設施組成的集羣上，透過Hadoop可以快速構建一個具有高可靠性和良好擴展性的分佈式系統。系統主要由HDFS、MapReduce和HBase等組件組成，其中HDFS和MapReduce是Hadoop的兩個核心組件，HDFS是Hadoop實現的一個高度容錯的分佈式檔案系統，具有較強的可擴展性，同時HDFS也是Hadoop系統的基礎層，負責數據的存儲管理，並且能夠提供高吞吐量的數據訪問，適合處理大規模數據集的應用程序。而MapReduce[10]是一種並行計算模型，它能夠有效合理地分割輸入數據，進而並行處理，適合對海量數據的處理。Hadoop實現的MapReduce計算框架提供一種簡單的編程模型，節省時間，可以快速實現分佈式計算應用;HBase是一個分佈式的、面向列的非關係型數據庫，是雲計算中的開源實現，支援高性能併發讀寫。

在本項目中， H a d o o p 集羣局域網由1 臺NameNode服務器、1臺SecondaryNameNode服務器、1臺JobTracker服務器和多臺從服務器組成。NameNode服務器負責管理海量數據檔案的分割、存儲以及監控DataNode的執行情況。應用程序需要讀取數據檔案，首先訪問NameNode服務器，獲取數據檔案在各DataNode上的分佈，然後直接與DataNode通信。一旦發現某個DataNode宕機，NameNode將通知應用程序訪問宕機節點各數據塊的副本，並在其他DataNode上增加宕機節點各數據塊的副本，以保證平臺的可靠執行。SecondaryNameNode服務器用來監控HDFS狀態，與NameNode進行通信，以便定期儲存HDFS元數據的快照，若NameNode發生問題，其作爲備用NameNode使用。JobTracker服務器負責管理計算任務的分解和彙總，負責監控各TaskTracker節點的執行情況，一旦某個任務失敗，JobTracker自動重新啓動這個任務。從服務器承擔了DataNode和TaskTracker兩種角色，分別負責數據塊的存儲和數據計算的map、reduce任務的執行。

3 平臺框架結構

結合智能計量平臺自身的特點， 智能計量雲平臺在設計上採用分佈式、分層結構，可以劃分爲整個系統的實現由雲設備、雲平臺、基礎服務、進階應用及表現層五層構成，雲設備層由主機設備、存儲設備、網絡設備及其他設備組成。在本系統軟件設計中，採用VMware虛擬化平臺管理技術，透過對上述設備進行操作系統虛擬化處理，實現了對硬件資源的虛擬化，並對上述虛擬化後的硬件採用虛擬機的管理方式，實現了資源抽象、資源監控、資源部署以及安全的管理。透過虛擬化技術的實施，不但保證了資源的利用效率，還使系統管理人員可以不受形式各異的硬件資源及操作系統的影響，而將工作重心全部投入到系統業務應用上。

雲平臺由數據存儲、計算服務、負載管理、數據隔離和備份管理等服務組成。該平臺以虛擬機爲單位構建了數據庫集羣、應用集羣、網關集羣、採集集羣、Web集羣和接口服務器集羣等基礎平臺執行環境，採用分佈式檔案系統、分佈式數據庫管理系統、數據管理和數據分析等先進的雲計算技術，實現了海量數據的大規模存儲，爲後續的數據挖掘，進階數據應用提供了高性能的分佈式計算環境。服務層由系統模型管理、數據中心管理、數據訪問服務、消息服務、報表服務、通信管理、規約管理、系統維護及權限服務等組成，本層是業務系統的堅強基礎，進階應用的每個模組都要求這些服務的支撐。該層採用MapReduce作爲處理海量數據的並行編程模型和計算框架。對於大規模的數據集合操作，採用任務分解與結果彙總的方法。此外，透過採用進階數據流語言Pig實現了簡化MapReduce任務的開發過程。在系統模型管理提供了整個系統內在的基於IEC 61970/IEC 61968的.數據結構，能夠實現系統的互操作;數據中心管理及數據訪問服務提供了基礎執行大數據的快速準確訪問機制;通信管理提供整個系統通信信道及通信方式的選擇機制;而規約管理提供了系統數據交換的模型格式。

應用層由能耗管理、運維管理、降損節能管理、設備狀態評估、資訊發佈及數據接口等組成。能耗管理主要涉及異常用電、虛擬費控管理、有序用電管理、動能管理、分佈式新能源管理及智能家居管理等;運維管理主要涉及計量校驗數據移動接入、計量設備缺陷分析及移動處缺管理等;降損節能主要涉及到關係電網經濟執行的損耗分析、電能質量各指標分析以及增值服務等;設備狀態評估主要涉及到供電仿真分析、配電變壓器狀態評估及設備全生命週期管理等功能。表現層主要是整個系統的訪問介面， 電力客戶與供電部門可以透過計算機客戶端、手持終端、LED大屏、觸摸屏及多媒體電視等實現雙向互動、用電資訊的及時披露、異常供電的早通知及處缺管理的更加便利化。本層在設計時主要使用Flex技術來保證系統的易用性，並使用Swiz技術框架來實現模型-視圖-控制器(Model-View-Controller，MVC)設計，並充分利用現有平臺中的系統管理功能。

4 平臺系統特點

與原計量平臺相比，新型智能計量自動化平臺具有下述優點：

1)在主站平臺系統的設計上，底層系統採用雲平臺架構，整合主機設備、存儲設備、網絡設備及其他設備，在這些設備基礎上進行操作系統虛擬化處理，提供數據存儲、計算服務、負載管理、數據隔離及備份管理等服務，保障設備高效利用、上層服務及時響應，保障進階應用各模組能夠負載均衡，且快速得到處理。

2)在系統內核設計上，採用統一數據中心建設模式，採用模組化設計方式，即：統一設備建模、統一業務管理、統一數據採集、統一分析計算、統一網絡平臺、統一告警及統一資訊發佈，避免重複建設，以便各種後續進階應用模組能夠靈活配置，達到即插即用的目的。

3)在網絡設計上，以計量自動化系統主站爲基礎，與廠站電能量遙測系統、大客戶負荷管理系統、配變監測計量系統、低壓集中抄表系統及智能小區系統統一組網，共享通信服務資源，共用相同的數據庫服務系統，建設一體化主站系統。一體化主站系統中市局、縣局、供電所、變電站、母線、主變壓器要求、線路、大客戶、臺區、專用變壓器、配電變壓器、表計、終端和計量點等對象各自唯一編碼，可滿足採集模型和分析模型的構建。

4)在系統部署上，採用集中式部署方式。即：只在地市供電局部署主站，各縣級供電局不單獨建設主站，而以工作站的方式接入主站，所有的業務都必須在主站完成。

5)在接口設計上，系統不僅需要與表計終端進行通信交換執行資訊，而且需要與諸如營銷管理系統、生產管理系統及95598系統等外部接口，以獲取諸如檔案資料、繳費情況、購售電以及客戶用電反饋資訊等各種資訊的支撐。