摘要：虛擬電廠(chǎng)儲能系統的智能調度尤為關(guān)鍵，因此提出了一種基于深度Q網(wǎng)絡(luò )（deepQnetwork，DQN）的虛擬電廠(chǎng)儲能數據挖掘方法，結合光伏發(fā)電功率、負荷功率和電力市場(chǎng)的實(shí)時(shí)動(dòng)態(tài)電價(jià)，進(jìn)行虛擬電廠(chǎng)儲能數據挖掘仿真研究。仿真實(shí)驗證實(shí)，在光伏發(fā)電功率大于負荷功率時(shí)，虛擬電廠(chǎng)儲能系統可以根據電價(jià)情況進(jìn)行充放電操作，能調度收益，從而實(shí)現了對虛擬電廠(chǎng)儲能系統的智能化管理。該方法有效提升了虛擬電廠(chǎng)儲能系統的智能化水平和能源調度效率，為未來(lái)虛擬電廠(chǎng)智能化運行提供了新的方法。

關(guān)鍵詞：深度學(xué)習；神經(jīng)網(wǎng)絡(luò )；數據挖掘；虛擬電廠(chǎng)；儲能

0引言

隨著(zhù)可再生能源的迅速增長(cháng)和能源轉型的推進(jìn)，虛擬電廠(chǎng)（virtualpowerplant，VPP）已成為實(shí)現能源智能化管理和提高系統靈活性的關(guān)鍵解決方案。在虛擬電廠(chǎng)中，儲能系統被視為重要的能量存儲設施，其運行的優(yōu)化對于平衡電力系統的供需、提高系統的可靠性至關(guān)重要。然而，隨著(zhù)儲能系統規模的不斷擴大和運行復雜性的增加，如何有效利用儲能數據進(jìn)行深度分析和挖掘，成為優(yōu)化虛擬電廠(chǎng)運行的關(guān)鍵挑戰之一。

人工智能是一種模擬人類(lèi)智能行為的技術(shù)，其核心在于利用計算機系統模擬人類(lèi)的思維過(guò)程以及學(xué)習能力，從而執行各種任務(wù)。在人工智能領(lǐng)域，深度Q網(wǎng)絡(luò )（deepQnetwork，DQN）是一種基于深度學(xué)習和強化學(xué)習的方法，已在解決復雜的決策問(wèn)題時(shí)展現出驚人的性能。DQN結合了深度神經(jīng)網(wǎng)絡(luò )的表征學(xué)習能力和Q學(xué)習（Q-learning）的強化學(xué)習框架，能夠自動(dòng)從環(huán)境中學(xué)習并優(yōu)化決策策略，適用于探索和解決具有高度不確定性和復雜性的問(wèn)題。DQN在視頻游戲、機器人控制、交通規劃等領(lǐng)域的成功應用，表明了其在決策制定和優(yōu)化方面的巨大潛力。在虛擬電廠(chǎng)儲能數據挖掘中，利用DQN可以有效地對儲能數據進(jìn)行分析和建模，實(shí)現智能化的儲能系統管理，優(yōu)化系統的運作效能與經(jīng)濟效益。本文旨在探討基于DQN的虛擬電廠(chǎng)儲能數據挖掘方法，以加速能源智能化管理的實(shí)現，并為能源系統的持久發(fā)展提供理論與技術(shù)支持。

1相關(guān)技術(shù)

1.1虛擬電廠(chǎng)儲能

虛擬電廠(chǎng)是一個(gè)創(chuàng )新性的能源管理系統，其通過(guò)整合多樣的分布式能源資源和電力設備，實(shí)現對電力系統的智能化協(xié)調。在虛擬電廠(chǎng)中，通過(guò)統一調度太陽(yáng)能光伏電池、風(fēng)力渦輪機、小型燃氣發(fā)電機組等分散的能源資源，實(shí)現了多能源的整合。智能化控制系統能夠實(shí)時(shí)監測電力需求、能源生產(chǎn)狀況以及市場(chǎng)價(jià)格，從而實(shí)現對能源資源的智能調度、提高系統的工作效率和降低成本。虛擬電廠(chǎng)的靈活能源調度能夠使其適應不同地區和能源的可用性，而且通過(guò)參與電力市場(chǎng)，其還能提供調頻、備用能量等服務(wù)。更為重要的是，虛擬電廠(chǎng)通過(guò)整合儲能技術(shù)，解決了可再生能源波動(dòng)性的問(wèn)題，實(shí)現在高產(chǎn)能時(shí)儲存過(guò)剩能量，在需求高峰期釋放儲存的能量，從而提高可再生能源的可靠性。

儲能技術(shù)用于將電能轉化為其他形式的能量，并在需要時(shí)將其重新轉換為電能，旨在增強電力系統的穩定性與適應性。常見(jiàn)的儲能方法包括利用電池進(jìn)行能量存儲、壓縮空氣儲能、水泵儲能、電容器和熱能儲能。電池儲能系統被廣泛用于移動(dòng)設備和電動(dòng)汽車(chē)，而壓縮空氣、水泵和熱能儲能技術(shù)則在大規模電力系統中應用廣泛，這些技術(shù)的使用有助于平衡供需，提高電力系統的可靠性。

1.2數據挖掘

數據挖掘技術(shù)是利用統計學(xué)、機器學(xué)習和數據庫技術(shù)等方法，從大規模數據中發(fā)現模式、關(guān)聯(lián)和趨勢的計算過(guò)程。數據挖掘技術(shù)包括多種方法，如聚類(lèi)分析、分類(lèi)技術(shù)、關(guān)聯(lián)規則發(fā)現、異常識別等，通過(guò)數據挖掘，可以幫助組織和企業(yè)從大量數據中挖掘出有用的信息，進(jìn)行預測性分析、決策支持以及優(yōu)化業(yè)務(wù)流程，從而實(shí)現運營(yíng)和更好的業(yè)務(wù)決策。

數據挖掘流程通常涵蓋數據預處理、選擇特征、模型構建和評估等環(huán)節，通過(guò)這些環(huán)節可以從初始數據中提取有價(jià)值的信息，并將其轉化為可理解的知識，為決策提供支持。隨著(zhù)數據量的不斷增長(cháng)和算法的不斷發(fā)展，數據挖掘技術(shù)在各個(gè)領(lǐng)域的應用前景也變得越來(lái)越廣闊。

虛擬電廠(chǎng)儲能數據挖掘是利用數據挖掘技術(shù)對虛擬電廠(chǎng)中儲能系統的運行數據進(jìn)行分析與深入挖掘，以發(fā)現儲能系統的運行模式、優(yōu)化策略和潛在問(wèn)題。通過(guò)對儲能數據進(jìn)行預處理、模式識別和建模分析，可以實(shí)現對儲能系統充放電行為、效率、壽命等方面的深入理解，并提供決策支持和優(yōu)化建議，進(jìn)而增進(jìn)虛擬電廠(chǎng)的操作效率、經(jīng)濟效益及可靠性。

2基于DQN的虛擬電廠(chǎng)儲能技術(shù)

2.1DQN

DQN融合了深度學(xué)習和強化學(xué)習，旨在處理具有離散行為空間的決策問(wèn)題[4-5]。其核心思想是采用深度神經(jīng)網(wǎng)絡(luò )對Q函數進(jìn)行近似估計，即狀態(tài)—動(dòng)作值函數，從而使智能體在其所處環(huán)境中做出選擇。在DQN中，智能體的目標是學(xué)習一個(gè)策略，使得在給定狀態(tài)下選擇能累積獎勵的動(dòng)作。

DQN的核心是Q-learning的更新規則，其中Q值的更新通過(guò)貝爾曼方程實(shí)現。其Q值的更新公式如下：

其中，α為學(xué)習率，a為動(dòng)作，s為狀態(tài)，Q（s，a）為在狀態(tài)s下采取動(dòng)作a的Q值，r為在狀態(tài)s下采取動(dòng)作a后獲得的即時(shí)獎勵，γ為折扣因子，s'為采取動(dòng)作a后轉移到的下一個(gè)狀態(tài)，maxa'Q（s'，a'）則表示在狀態(tài)s'下選擇動(dòng)作所對應的Q值。

DQN通過(guò)使用深度神經(jīng)網(wǎng)絡(luò )來(lái)逼近Q函數，將狀態(tài)s作為輸入，輸出各個(gè)動(dòng)作的Q值。通過(guò)不斷與環(huán)境交互、收集數據和更新網(wǎng)絡(luò )參數，DQN能夠學(xué)習到逼近Q函數的策略，從而實(shí)現智能體在復雜環(huán)境中的決策。

2.2基于DQN的儲能交互模型

智能能源管理系統由4個(gè)核心部分構成，包括仿真模塊、經(jīng)驗池模塊、神經(jīng)網(wǎng)絡(luò )模塊以及動(dòng)作搜索模塊，這些模塊共同在虛擬電廠(chǎng)儲能交互模型中發(fā)揮作用。虛擬電廠(chǎng)的仿真模塊模擬了光伏、儲能、負載以及主電網(wǎng)，展示了在動(dòng)態(tài)電價(jià)條件下光儲型虛擬電廠(chǎng)進(jìn)行能量交易的過(guò)程。為了大限度地利用光伏發(fā)電，負荷電能首先由光伏發(fā)電和儲能系統聯(lián)合滿(mǎn)足，剩余需求則由主電網(wǎng)供應。經(jīng)驗池模塊負責在系統運作過(guò)程中收集虛擬電廠(chǎng)仿真模塊生成的交互數據，為模型的后續訓練提供堅實(shí)基礎。神經(jīng)網(wǎng)絡(luò )模塊的職責是訓練神經(jīng)網(wǎng)絡(luò )的參數，目的是提升系統的決策效能。動(dòng)作搜索模塊在模型運行過(guò)程中實(shí)現了狀態(tài)—動(dòng)作的選擇，采用貪心策略等方法，使系統能夠在不斷學(xué)習的過(guò)程中做出更為智能和優(yōu)化的決策?；贒QN的儲能交互模型如圖1所示，該模型的結構旨在使虛擬電廠(chǎng)更好地適應動(dòng)態(tài)電價(jià)、靈活應對光伏發(fā)電波動(dòng)性，實(shí)現能源的調度和利用。其中，時(shí)間差分誤差是強化學(xué)習中用于衡量預測的誤差的一種指標。在強化學(xué)習框架中，智能體通過(guò)與環(huán)境互動(dòng)來(lái)學(xué)習決策策略，時(shí)間差分誤差通常用于評估當前策略的預測值與實(shí)際值之間的差異。

圖1基于DQN的儲能交互模型

3實(shí)驗過(guò)程與結果

3.1DQN參數設置

本文使用DQN進(jìn)行儲能交互，DQN參數細節如表1所示。

3.2實(shí)驗結果

本文中使用Python進(jìn)行儲能策略的挖掘與仿真分析，利用的數據涵蓋了光伏發(fā)電的功率、負載需求的功率，以及電力市場(chǎng)上的實(shí)時(shí)變化電價(jià)。將訓練好的DQN用于測試。根據DQN測試結果可知，在時(shí)間段內，儲能系統根據電價(jià)情況進(jìn)行充放電操作，以調度收益。具體而言，當電價(jià)超過(guò)平均水平時(shí)，儲能進(jìn)行充電以獲取正獎勵；相反，當電價(jià)低于平均水平時(shí)，系統會(huì )向用戶(hù)的電負荷釋放電能。而在光伏發(fā)電功率超過(guò)負載需求的情況下，根據棄光懲罰約束，儲能在一些時(shí)間段選擇充電，而在另一些時(shí)間段則不進(jìn)行充電，以避免發(fā)生過(guò)充現象。綜上，DQN算法能夠有效地挖掘出儲能系統的操作策略，使其能夠適應不同電價(jià)情況下的充放電需求。

4安科瑞Acrel-2000MG微電網(wǎng)能量管理系統

4.1概述

Acrel-2000MG儲能能量管理系統是安科瑞專(zhuān)門(mén)針對工商業(yè)儲能電站研制的本地化能量管理系統，可實(shí)現了儲能電站的數據采集、數據處理、數據存儲、數據查詢(xún)與分析、可視化監控、報警管理、統計報表、策略管理、歷史曲線(xiàn)等功能。其中策略管理，支持多種控制策略選擇，包含計劃曲線(xiàn)、削峰填谷、需量控制、防逆流等。該系統不僅可以實(shí)現下級各儲能單元的統一監控和管理，還可以實(shí)現與上級調度系統和云平臺的數據通訊與交互，既能接受上級調度指令，又可以滿(mǎn)足遠程監控與運維，確保儲能系統安全、穩定、可靠、經(jīng)濟運行。

4.2應用場(chǎng)景

適用于工商業(yè)儲能電站、新能源配儲電站。

4.3系統結構

4.4系統功能

（1）實(shí)時(shí)監管

對微電網(wǎng)的運行進(jìn)行實(shí)時(shí)監管，包含市電、光伏、風(fēng)電、儲能、充電樁及用電負荷，同時(shí)也包括收益數據、天氣狀況、節能減排等信息。

（2）智能監控

對系統環(huán)境、光伏組件、光伏逆變器、風(fēng)電控制逆變一體機、儲能電池、儲能變流器、用電設備等進(jìn)行實(shí)時(shí)監測，掌握微電網(wǎng)系統的運行狀況。

（3）功率預測

對分布式發(fā)電系統進(jìn)行短期、超短期發(fā)電功率預測，并展示合格率及誤差分析。

（4）電能質(zhì)量

實(shí)現整個(gè)微電網(wǎng)系統范圍內的電能質(zhì)量和電能可靠性狀況進(jìn)行持續性的監測。如電壓諧波、電壓閃變、電壓不平衡等穩態(tài)數據和電壓暫升/暫降、電壓中斷暫態(tài)數據進(jìn)行監測分析及錄波展示，并對電壓、電流瞬變進(jìn)行監測。

（5）可視化運行

實(shí)現微電網(wǎng)無(wú)人值守，實(shí)現數字化、智能化、便捷化管理;對重要負荷與設備進(jìn)行不間斷監控。

（6）優(yōu)化控制

通過(guò)分析歷史用電數據、天氣條件對負荷進(jìn)行功率預測，并結合分布式電源出力與儲能狀態(tài)，實(shí)現經(jīng)濟優(yōu)化調度，以降低尖峰或者高峰時(shí)刻的用電量，降低企業(yè)綜合用電成本。

（7）收益分析

用戶(hù)可以查看光伏、儲能、充電樁三部分的每天電量和收益數據，同時(shí)可以切換年報查看每個(gè)月的電量和收益。

（8）能源分析

通過(guò)分析光伏、風(fēng)電、儲能設備的發(fā)電效率、轉化效率，用于評估設備性能與狀態(tài)。

（9）策略配置

微電網(wǎng)配置主要對微電網(wǎng)系統組成、基礎參數、運行策略及統計值進(jìn)行設置。其中策略包含計劃曲線(xiàn)、削峰填谷、需量控制、新能源消納、逆功率控制等。

5硬件及其配套產(chǎn)品

6結論

在當前能源轉型的背景下，儲能技術(shù)作為一種重要的能源存儲手段，受到了廣泛關(guān)注。本文采用DQN算法，結合光伏發(fā)電功率、負荷功率和電力市場(chǎng)的實(shí)時(shí)動(dòng)態(tài)電價(jià)等因素，進(jìn)行了虛擬電廠(chǎng)儲能策略挖掘仿真研究。結果顯示，在光伏發(fā)電功率大于負荷功率時(shí)，儲能根據電價(jià)情況進(jìn)行充放電操作，以調度收益，從而實(shí)現了對虛擬電廠(chǎng)儲能系統的智能化管理。未來(lái)的研究可以進(jìn)一步探討不同約束條件下的儲能調度策略，并考慮更多的環(huán)境因素和實(shí)際應用場(chǎng)景。

【參考文獻】

[1]田壁源，常喜強，戚紅燕，等.基于混合博弈的園區虛擬電廠(chǎng)廣義儲能共享與協(xié)同優(yōu)化調度[J].電力需求側管理，2023，25（4）：8-14

[2]李鵬程.基于混合博弈和虛擬電廠(chǎng)的電力市場(chǎng)運行優(yōu)化研究[D].蘭州：蘭州理工大學(xué)，2023.

[3]安科瑞企業(yè)微電網(wǎng)設計與應用手冊.2022年05版

[4]高琳，劉甲林，李靜.基于深度Q網(wǎng)絡(luò )的虛擬電廠(chǎng)儲能數據挖掘