[導讀]摘要：“城市能源互聯網”這個概念在提出后得到了廣泛的重視并且發展迅速，國內陸續有幾個城市已經進行了實踐。但目前城市能源互聯網仍然存留一些難以解決的問題，如復雜不確定性因素建模問題、考慮多時間尺度特性的建模問題以及信息物理耦合交互影響。在城市能源互聯網的信息處理中，大數據技術起到了至關重要的作用，整個系統隨時產生的海量數據都要由大數據處理框架如storm、sparkstreaming、samza實現流計算，最終完成任務分配以及各個子系統信息共享。鑒于此，分析了各種大數據處理框架的特點，以期找到最適合城市能源互聯網的框架。

　　引言

　　近年來，人們越來越重視環境保護以及能源的合理利用問題。在城市中，電、氣、熱等能源都擁有各自的運營系統，這些系統相互獨立，如此的能源使用方式非常不利于城市能源系統的發展，其面臨著能源供應結構不合理、能源綜合利用效率低、可再生能源消納能力不足等問題。由此看來，一次能源改革勢在必行。

　　“能源互聯網”（EnergyInternet,簡稱E-Internet）的概念于2011年由美國學者杰里米·里夫金在《第三次工業革命》一書中率先提出。能源互聯網可理解為綜合運用先進的電力電子技術、信息技術和智能管理技術，將大量由分布式能量采集裝置、分布式能量儲存裝置和各種類型負載構成的新型電力網絡、石油網絡、天然氣網絡等能源節點互聯起來，以實現能量雙向流動的能量對等交換與共享網絡。能源互聯網的提出在很大程度上加速了電網對新型能源利用的步伐，也是電網發展的一種延伸，它的目標在于分布式能源的利用和發展。城市能源互聯網，顧名思義，就是應用于城市的能源互聯網。

　　城市能源互聯網（UrbanEnergyInternet,簡稱UEI）具有多能互聯、廣泛應用互聯網技術和以電能為核心的特征。城市地區作為區域的用能中心，在城市地區構建城市能源互聯網對于推動城市、國家乃至整個社會的能源發展都具有積極的意義。

　　大數據處理技術是城市能源互聯網的關鍵之一。在可再生能源預測、儲能系統的智能控制、自然災害的區域預警、狀態檢修管理中，大數據技術起到了關鍵性作用。面對城市能源互聯網隨時產生的海量數據，一個實用的大數據處理框架至關重要。文獻分析了幾種大數據處理框架的特點，為探究何種大數據處理框架最適合城市能源互聯網提供了參考。文獻介紹了改進自適應遺傳算法在能源預測方面的應用。

　　在國家政策的大力支持下，UEI的發展前景非常良好。目前，國網廈門供電公司在廈門市能源網絡上已經完成技術實踐，北京延慶能源互聯網示范也已經建成，銀川供電公司也正積極推進城市能源互聯網綜合示范工程建設，為國家電網公司能源互聯網戰略目標在城市的落地實踐提供了典型范例。新型城市能源互聯網示范工程結構設計如圖1所示。

　　本文寫作的目的在于，分析城市能源互聯網的發展現況，了解城市能源互聯網的框架與技術難點，選擇適合城市能源互聯網的大數據處理框架，為將來城市能源互聯網的發展提供一個參考。

　　1UE1的特點與難點

　　城市能源互聯網是未來滿足城市各類能源使用需求的能源系統，是全球能源互聯網、中國能源互聯網在城市地區的承接節點和重要支撐，是城市各類能源互聯互通、綜合利用、優化共享的平臺，具有跨域平衡、低碳化的核心思想以及網絡化、清潔化、電氣化、智能化的特征。其核心思想是以電為中心，構建廣泛互聯、開放共享、再電氣化、低碳環保的城市綜合能源系統，其主要特征為網絡化、清潔化、電氣化和智能化。

　　在UEI的運行層面上，主要難點為復雜不確定性因素建模、考慮多時間尺度特性的建模以及信息物理耦合交互影響。

　　復雜不確定性因素建模的難點是在各種能源的生產、運輸、轉化、消費過程中存在許多不確定性因素，這些不確定性因素之間又有復雜的聯系，所有這些誤差都會對建模造成極大的困難。

　　考慮多時間尺度特性的建模的難點在于各種能源一電、氣、熱各自的系統的暫態過程持續時間不同，應利用氣、熱能源的慣性與利于存儲的特點平衡其他可再生能源的波動性特點，具體的實施仍然是一項難題。

　　信息物理耦合交互影響的難點在于能源互聯網中不同能源系統之間如何實現信息互聯、物理互聯以及信息物理交互影響。

　　2UE1的技術架構

　　能源傳輸按照決策、調度和傳輸三個不同的邏輯層級，分為價格層、信息層和傳輸層。UEI的技術架構如圖2所示。

　　價格層的本質是在開放競爭的市場環境下，通過價格、市場機制來實現資源的優化配置與管理。

　　傳輸層是城市能源輸送的物理途徑，對它的要求在于電網在電源側要實現對多種能源的開放接入，在負荷側電網要滿足用戶的多種用能需求及其互補轉換。重點過程在能源的轉換：電轉氣可以采用電轉氣技術（電解水、儲存氫氣），熱能與電能可以用熱電聯產機組生產（高溫高壓蒸汽用于帶動汽輪發電機組發電，做功后低品位汽輪機抽汽或背壓排汽用于供熱），電網和電氣化交通網通過充電樁連接。

　　在傳輸層之上的信息層，相比于傳統的電網自動化，需要更加實時快速的信息傳遞、更加開放的通信協議、更加準確和智能的邏輯控制程序以及更加安全的信息防護系統。依靠城市互聯網內的采集和傳輸裝置，采集基于同步時標，包括能量信息（電壓、電流、氣壓、溫度等）、設備信息、各能源主體信息（儲能、充電站、分布式電源、電網等）等在內的信息，具備全狀態觀測能源系統運行狀態、設備運行工況等的物理量信息，最大程度上降低系統狀態和參數的不可觀性和隨機性，為能源控制系統內多能源協同控制、智能車聯網和資源計劃等平臺提供決策支撐，從而引導傳輸層的能量流動和價格層的資金流動，實現城市能源互聯網高效、安全和經濟的運行目標。在信息層工作過程中，大數據技術起到了非常重要的作用。

　　3大數據技術在城市能源互聯網中的應用

　　大數據在一定時間內無法用傳統數據庫軟件工具對其內容進行提取、管理和處理。從大數據的處理過程來看，大數據關鍵技術包括大數據采集、大數據預處理、大數據存儲及管理、大數據分析、大數據展現和應用（大數據檢索、大數據可視化、大數據應用、大數據安全等）。

　　在城市能源互聯網中，包含有大量分布式電源、微型網、儲能儲熱設備，利用大數據技術可以快速分析、決策，實現多種能源的智能生產，減少能源的過度開發，降低消耗，提高負荷側與電源側的協同。

　　利用大數據的挖掘技術，能夠找出能源的損耗環節，提高能源的利用效率，減少對環境的破壞。能源的分布模式決定了能源互聯網數據是分散的、碎片化的，極易造成數據的丟失和破壞。通過大數據技術的集成管理可以有效減少數據的流失，有助于保持數據的完整性。基于大數據的分析，可以從不同層面、不同因素、不同角度分析上下游各環節的供給和需求情況，形成合理的能源互聯網商業模式，引導各方參與其中，形成能源互聯網的有效商業模式。

　　在城市能源互聯網中，多種能源子系統需要信息的實時共享，海量實時數據需要大數據技術實現處理?？梢哉f，大數據技術支撐起了整個城市能源互聯網的動態運行。流計算技術可以應對城市能源互聯網隨時產生大量數據的特點，快速進行數據處理。

　　流計算處理的是流數據（Datastream），流數據是大量、快速、持續到達的數據序列。流數據的特點為不關注存儲，關注對它的處理，一旦處理完成，要么被丟棄要么被歸檔存儲：數據量非常大，而且常常沒有順序，格式復雜。因為在能源互聯網的信息層中往往并不擁有充裕時間處理批量數據，它所采集的數據往往是大量、持續到達的，且數據的價值隨時間的流逝而降低，因此不宜用適合批量計算的Hadoop。

　　傳統的數據處理流程為用戶向數據管理系統查詢，之后輸出查詢結果，這樣的流程只能處理提前存儲好的數據，并且需要用戶發出查詢才能獲得結果。流計算的處理流程一般包含三個階段：數據實時采集、數據實時計算、實時查詢服務。一般來說，采集得到的數據不用存儲，可以直接進行計算處理。

　　3.1應用Storm進行流計算

　　storm是一個免費、開源的分布式實時計算系統，可以簡單、高效、可靠地處理流數據，支持多種編程語言。在storm之前，很少有關于流計算框架的研究，可以說storm是流計算框架的鼻祖。

　　storm編程靈活，可以用任何編程語言編寫拓撲結構。storm還能實現毫秒級響應，因此能夠應對快速產生的大量數據的處理。

　　3.2應用SparkStreaming進行流計算

　　sparkstreaming是構建在spark上的實時計算框架，spark本身是進行批處理的框架，sparkstreaming使它適用于流數據處理。sparkstreaming結合了批處理和交互查詢，適合一些需要對歷史數據和實時數據進行結合分析的應用場景。sparkstreaming支持Kafka、Flume、HDFs、TCPsocket的輸入數據源，支持HDFs、Databases、Dashboards的輸出數據源。

　　sparkstreaming的基本原理是將實時數據以時間進行切片，一般為秒級，然后spark引擎對這些時間片進行批處理。本質上是用批處理框架進行流數據處理，因此sparkstreaming不能進行毫秒級的流計算。但sparkstreaming的小批量處理使它可以同時兼容批量和實時數據處理的邏輯和算法，因此方便了一些需要歷史數據和實時數據聯合分析的特定應用場合。另外，spark可以統一部署sparksOL、sparkstreaming、MLlib、Graphx等組件，可以將流計算、圖計算、機器學習、sOL查詢分析等相結合。

　　3.3應用Samza進行流計算

　　samza的流數據處理單位是一條條的消息，這些消息被分割成若干個分區，對于流中的每一個分區而言，都是一個有序的消息序列，后面的消息都會根據一定規則被追加到相關的某一個分區里。一個任務負責處理作業中的一個分區，這些分區沒有順序的定義，所以允許每一個任務獨立運行。最終借助YARN調度器，可以將任務分發給各個機器。它還是一個分布式處理框架。一個數據流圖是由多個作業串聯起來的。

　　samza的系統架構包括流數據層（Kafka）、執行層（YARN）、處理層（samzaAPI）。

　　當有大量的狀態需要處理時，可以選用samza。與storm相同，samza也可以進行毫秒級響應。

　　3.4三種框架的特點對比分析

　　sparkstreaming處理的單位是Dstream,storm處理的單位是Tuple,samza處理的單位是一條條消息，因此storm和samza都可以進行毫秒級響應，sparkstreaming只能進行秒級響應。sparkstreaming的優勢在于，RDD的數據集更容易做高效的容錯處理，同時更方便實時數據與歷史數據結合分析。samza的優勢在于可以處理非常大量的狀態，比如每個分區有上億個元組，用samza處理會很方便。

　　三種流計算框架的優勢對比如表1所示。

　　城市能源互聯網在運行中，每時每刻都會產生海量的數據，從能源生產到能源使用的每一個環節都有無數個數據源頭。因此，城市能源互聯網需要的流計算框架應具備快速響應以及同時處理大量數據的能力。由此看來，samza優勢更加明顯，更適合應用于城市能源互聯網。

　　4結語

　　城市互聯網是將電網與互聯網技術相結合，其他能源子系統互補的一種完整的供能體系，它現在已經發展得比較成熟，我國北京、廈門、天津已經進行了初步嘗試，并取得了不錯的成果。在城市能源互聯網中最關鍵的技術之一就是大數據技術，在城市能源互聯網的信息層中大數據技術的合理應用決定著整個系統信息的實時性、準確性、高效性?？梢詰胹torm、sparkstreaming、samza等框架進行流計算。針對城市能源互聯網隨時產生大量數據以及需要快速響應的特性，選出samza是最適合的流計算框架。但現階段城市能源互聯網仍然存在著一些難題，在運行層面上，復雜不確定性因素建模、考慮多時間尺度特性的建模、信息物理耦合交互影響仍然困擾著我們，這些難題在不久的將來一定會被攻克。

　更多信息可以來這里獲取==>>電子技術應用-AET<<