基于改进深度Q网络的虚拟电厂实时优化调度.pdf

第57卷第1期中国电力Vol.57,No.1

2024年1月ELECTRICPOWERJan.2024

基于改进深度Q网络的虚拟电厂实时优化调度

1,2122

张超，赵冬梅，季宇，张颖

(1.

华北电力大学

电气与电子工程学院，北京102206；2.

国网上海能源互联网研究院有限公司，上海200120)

摘要：深度强化学习算法以数据为驱动，且不依赖具体模型，能有效应对虚拟电厂运营中的复杂性问

题。然而，现有算法难以严格执行操作约束，在实际系统中的应用受到限制。为了克服这一问题，提出了

一种基于深度强化学习的改进深度Q网络（improved

deep

Q-network，MDQN）算法。该算法将深度神经网

络表达为混合整数规划公式，以确保在动作空间内严格执行所有操作约束，从而保证了所制定的调度在实

际运行中的可行性。此外，还进行了敏感性分析，以灵活地调整超参数，为算法的优化提供了更大的灵活

性。最后，通过对比实验验证了MDQN算法的优越性能。该算法为应对虚拟电厂运营中的复杂性问题提供

了一种有效的解决方案。

关键词：虚拟电厂；实时优化；深度强化学习；云边协同；优化调度

DOI：10.11930/j.issn.1004-9649.202307006

0引言效率低下。

数学规划方法在建立数学模型后，可以直接

[6]

新型电力系统背景下，大规模接入电网的可使用商业求解器如Cplex进行求解。如果能获

再生能源具有随机性和波动性，给电网运营带来得VPP的系统参数和准确的预测值信息，利用数

了巨大挑战。为解决这一问题，虚拟电厂（virtual学规划方法可以计算出准确解。然而，由于可再

power

plant，VPP）作为智能控制技术整合可再生生能源和负荷具有不确定性，在实践中很难获得

能源、储能和负荷设备，通过能量管理寻找最佳这些完整信息。为了消除系统中的不确定性，鲁

策略调度可调度资源。棒优化和随机优化广泛应用于最优化问题。文献[7]

对于虚拟电厂而言，找到合适的策略来调度利用条件风险价值法和鲁棒随机优化理论构