Controle Otimo - Aula 12Princıpio do Mınimo de Pontryagin
- Extensoes e Exemplos
Adriano A. G. Siqueira e Marco H. Terra
Departamento de Engenharia Eletrica
Universidade de Sao Paulo - Sao Carlos
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.1/24
O problema de controle ótimo
Considere um sistema contínuo
x (t) = f (x (t) , u (t)) , 0 ≤ t ≤ T
com x (0) = x0 dado,
u (t) ∈ U, 0 ≤ t ≤ T
e um funcional custo associado da forma
h (x (T )) +∫ T
0g (x (t) , u (t)) dt
O problema de controle ótimo consiste em determinar uma lei decontrole (denominada lei de controle ótima) {u∗ (t) : t ∈ [0, T ]} queaplicada ao sistema, minimize o funcional custo.
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.2/24
Princípio do Mínimo de Pontryagin
Princípio do Mínimo de Pontryagin: Seja u∗(t) o controle ótimo ex∗(t) a correspondente trajetória de estados ótima, ou seja,
x∗(t) = f(x∗(t), u∗(t))
x∗(0) = x(0): dado
Seja p(t) a solução da Equação Adjunta
p(t) = −∇xH(x∗(t), u∗(t), p(t))
com condição final p(T ) = ∇h (x∗(T )) e
H(x, u, p) = g(x, u) + pTf(x, u)
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.3/24
Princípio do Mínimo de Pontryagin
Princípio do Mínimo de Pontryagin: Então, para todo t ∈ [0, T ]
u∗ (t) = argminu∈UH(x∗(t), u, p(t))
Além disso, existe uma constante C tal que
H(x∗(t), u∗(t), p(t)) = C
para todo t ∈ [0, T ]
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.4/24
Extensões do Princípio do Mínimode Pontryagin
Estado final fixo: Suponha que o estado final, x(T ), é dado.
A condição final J∗(T, x) = h(x) não é válida. Temos:
J∗(T, x) =
{
0 se x = x(T )
∞ se x 6= x(T )
Então p(T ) = ∇h (x∗(T )) não é válida.
Condição limite: x(T )
Exemplo: Problema da Brachistochrona
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.5/24
Extensões do Princípio do Mínimode Pontryagin
Estado inicial livre: Suponha que o estado inicial, x(0), é sujeito àotimização. Temos:
J∗(0, x∗(0)) ≤ J∗(0, x)
ou seja
∇xJ∗(0, x∗(0)) = 0
Sendo p(t) = ∇xJ∗(t, x∗(t)), então:
p(0) = 0
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.6/24
Extensões do Princípio do Mínimode Pontryagin
Tempo final livre: Suponha que o tempo final, T , é sujeito àotimização.
Seja T ∗ o tempo final ótimo.
Se T ∗, x(0) são dados e o tempo inicial é otimizado. Então tempoinicial ótimo é t = 0.
∇tJ∗(t, x∗(t))|t=0 = 0
Eq. de Hamilton-Jacobi-Bellman
∇tJ∗(t, x∗(t)) = −H(x∗(t), u∗(t), p(t))
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.7/24
Extensões do Princípio do Mínimode Pontryagin
Tempo final livre: Então:
H(x∗(0), u∗(0), p(0)) = 0
Como o Hamiltoniano deve ser constante ao longo da trajetória
H(x∗(t), u∗(t), p(t)) = 0
para todo t ∈ [0, T ∗]
Exemplo 4.3 (página 117)
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.8/24
Extensões do Princípio do Mínimode Pontryagin
Exercício 3.3 (página 124): Sistema de reservatórios com equações:
x1(t) = −x1(t) + u(t)
x2(t) = −x1(t)
com 0 ≤ u(t) ≤ 1 para todo t, x1(0) = 0 e x2(0) = 0.
Objetivo: Maximizar x2(1) sujeito à restrição x1(1) = 0.5.
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.9/24
Introdução aos Problemas deHorizonte Infinito
Capítulo 7
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.10/24
Introdução aos Problemas deHorizonte Infinito
Números de estágios é infinito
Sistema estacionário: equação do sistema, custo por estágio ⇒ nãomudam de um estágio para outro
Políticas estacionárias: regra para escolha do controle não muda de umestágio para outro
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.11/24
Introdução aos Problemas deHorizonte Infinito
Custo total sobre um número infinito de estágios
Jπ(x0) = limN→∞{Ewk{
N−1∑
k=0
αkgk (xk, µk(xk), wk)}}
sendo
• 0 < α ≤ 1: fator de desconto
• π = {µ0, µ1, ...}: política de controle
Problema: minimizar Jπ(x0) ⇒ torná-lo finito
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.12/24
Introdução aos Problemas deHorizonte Infinito
Quatro classes principais de problemas de horizonte infinito:
• Caminho mais curto estocástico:
• α = 1
• Há um estado final com custo zero• Horizonte finito mas aleatório e pode ser afetado pelo controle
sendo utilizado
• Problemas com desconto com custo por estágio limitado• α < 1
• |gk (xk, µk(xk), wk) | limitado por M
• Jπ(x0): soma infinita de números limitados por umaprogressão geométrica decrescente {αkM}
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.13/24
Introdução aos Problemas deHorizonte Infinito
• Problemas com desconto e sem desconto com custo por estágioilimitado
• Análise sofisticada: possibilidade de custo infinito paraalgumas políticas
• Volume 2
• Problemas com custo por estágio médio• Jπ(x0) = ∞ para toda π e todo x0
• Para alguns problemas deste tipo
limN→∞
1
N{Ewk
{
N−1∑
k=0
gk (xk, µk(xk), wk)}}
o custo por estágio médio é finito
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.14/24
Resultados Preliminares
Aproximação pelo problema correspondente com N estágios
Seja α = 1, JN(x) custo ótimo para N estágios com condição inicial x
Jk+1(x) = minu∈UEw{g(x, u, w) + Jk(f(x, u, w))}, k = 0, 1, ...
J0(x) = 0
1) O custo ótimo com horizonte finito, J ∗(x), é o limite do custo ótimodo problema de N estágios quando N → ∞:
J∗(x) = limN→∞JN (x)
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.15/24
Resultados Preliminares
2) A equação limite deve ser satisfeita para todo x:
J∗(x) = minu∈UEw{g(x, u, w) + J∗(f(x, u, w))}, k = 0, 1, ...
Sistema de equações (uma por estado)
Solução: custos de todos os estados
Equação de Bellman
3) Se µ(x) satisfaz o mínimo na Equação de Bellman para cada x ⇒{µ, µ, ...} é uma política ótima
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.16/24
Formulação do Problema de CustoTotal
Estando no estado i e usando u, tem-se a probabilidade de transiçãopij(u) para o estado j
pij(u) = P (xk+1 = j|xk = i, uk = u)
sendo i um elemento do epaço de estados finito e u ∈ U(i)
Sendo g(i, u, j) o custo de utilizar u no estado i para ir para o estado j,o custo esperado por estágio é:
g(i, u) =∑
j pij(u)g(i, u, j)
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.17/24
Formulação do Problema de CustoTotal
Custo total esperado associado ao estado inicial i e a uma políticaπ = {µ0, µ1, ...}:
Jπ(i) = limN→∞{E{
N−1∑
k=0
αkgk (xk, µk(xk)) |x0 = i}}
J∗(i): custo ótimo a partir do estado i, mínimo de Jπ(i) sobre todas aspolíticas admissíveis π
Política estacionária, π = {µ, µ, ...} ou µ, é ótima se Jµ(i) = J∗(i)para todo i
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.18/24
Problema do Caminho mais CurtoEstocástico
Assume-se:
• α = 1
• Há um estado final, t, com custo zero (uma vez o sistema alcançaeste estado, ele permanece nele com nenhum custo futuro):
ptt(u) = 1 e g(t, u) = 0 para todo u ∈ U(t)
Suposição 2.1 (pág. 296): existe um inteiro m tal que a probabilidadedo estado final ser alcançado após m estágios é positiva, ou seja,
ρπ = maxi=1,...,nP (xm 6= t|x0 = i, π) < 1
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.19/24
Problema do Caminho mais CurtoEstocástico
Seja: ρ = maxπρπ
Temos:
P (xkm 6= t|x0 = i, π) ≤ ρk, i = 1, ..., n
A probablidade de não alcançar o estado final após km estágiosdecresce para menos que ρk, para qualquer estado inicial i e política π
Portanto, o limite do custo total esperado existe e é finito
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.20/24
Problema do Caminho mais CurtoEstocástico
Proposição 2.1 (Pág. 297): Considerando a suposição 2.1, as seguintesafirmações são satisfeitas:
1) Dadas quaiquer condições iniciais J0(1),...,J0(n), a sequência Jk(i)gerada pela iteração:
Jk+1(i) = minu∈U(i){g(i, u) +∑n
j=1 pij(u)Jk(j)}, i = 1, ..., n
converge para o custo ótimo J∗(i) para cada i.
2) Os custos ótimos J∗(1), ..., J∗(n) são as soluções únicas daEquação de Bellman:
J∗(i) = minu∈U(i){g(i, u) +∑n
j=1 pij(u)J∗(j)}, i = 1, ..., n
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.21/24
Problema do Caminho mais CurtoEstocástico
3) Para qualquer política estacionária µ, os custos Jµ(1), ..., Jµ(n) sãoas soluções únicas da equação:
Jµ(i) = g(i, µ(i)) +∑n
j=1 pij(µ(i))Jµ(j), i = 1, ..., n
Além disso, dadas quaiquer condições iniciais J0(1),...,J0(n), asequência Jk(i) gerada pela iteração:
Jk+1(i) = g(i, µ(i)) +∑n
j=1 pij(µ(i))Jk(j), i = 1, ..., n
converge para o custo Jµ(i) para cada i.
4) Uma política estacionária µ é ótima se e somente se para cadaestado i, µ(i) alcança o mínimo da Equação de Bellman
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.22/24
Problema do Caminho mais CurtoEstocástico
Iteração do valor:
Jk+1(i) = minu∈U(i){g(i, u) +∑n
j=1 pij(u)Jk(j)}, i = 1, ..., n
Iteração da política: Começa com µ0 e são geradas novas políticasµ1, µ2, ...
Dada a política µk, faz-se a Avaliação da Política: calcular Jµk(i),solução do sistema de equações
Jµk(i) = g(i, µk(i)) +∑n
j=1 pij(µk(i))Jµk(j), i = 1, ..., n
Controle Otimo - Aula 12 Princıpio do Mınimo de Pontryagin - Extensoes e Exemplos – p.23/24