python - Python中的随机最优控制问题

Question

有谁知道解决随机最优控制问题的python包？

我找到了解决控制问题的 Gekko，但我找不到将它用于随机问题的方法。

Answer 1

下面是一个使用 Gekko 进行随机模型预测控制的最小示例，其中参数 K 是随机选择的。模型的 10 个实例共同优化，以最小化 40（目标）的平方误差。

import numpy as np
from gekko import GEKKO
import matplotlib.pyplot as plt

# uncertain parameter
n = 10
K = np.random.rand(n)+1.0

m = GEKKO()
m.time = np.linspace(0,20,41)

# manipulated variable
p = m.MV(value=0, lb=0, ub=100)
p.STATUS = 1 
p.DCOST = 0.1  
p.DMAX = 20

# controlled variable
v = m.Array(m.CV,n)
for i in range(n):
    v[i].STATUS = 1
    v[i].SP = 40
    v[i].TAU = 5
    m.Equation(10*v[i].dt() == -v[i] + K[i]*p)

# solve optimal control problem
m.options.IMODE = 6
m.options.CV_TYPE = 2
m.solve()

# plot results
plt.figure()
plt.subplot(2,1,1)
plt.plot(m.time,p.value,'b-',LineWidth=2)
plt.ylabel('MV')
plt.subplot(2,1,2)
plt.plot([0,m.time[-1]],[40,40],'k-',LineWidth=3)
for i in range(n):
    plt.plot(m.time,v[i].value,':',LineWidth=2)
plt.ylabel('CV')
plt.xlabel('Time')
plt.show()

Gekko 论文（见第 4 节）也概述了其他最优控制包。其中一些可能具有随机优化能力。我还找到了用于解决随机最优控制问题的StoDynProg Python 包，但它已经有一段时间没有更新了，我也没有使用它的经验。Victor Zavala 分享了关于天然气网络随机优化控制的工作，Fengqi You 分享了不确定性下的优化工作，这也可能为他们提供灵感和工具集。