Ricardo Guimaraes Herrmann [email protected]/slides.pdfIntroduc¸a˜o Planejamento...

IntroducaoPlanejamento Nao-Determinıstico Hierarquico

Analise e Conclusao

Planejamento hierarquico sob incerteza Knightiana

Ricardo Guimaraes [email protected]

Orientadora: Profa. Dra. Leliane Nunes de Barros

Instituto de Matematica e Estatıstica

Universidade de Sao Paulo

5 de abril de 2008

Ricardo Guimaraes Herrmann [email protected] Planejamento hierarquico sob incerteza Knightiana


Analise e Conclusao

1 IntroducaoPlanejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico

2 Planejamento Nao-Determinıstico HierarquicoTecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao

3 Analise e ConclusaoAnalise EmpıricaConclusao



Analise e Conclusao

Planejamento ClassicoPlanejamento HierarquicoPlanejamento Nao-Determinıstico

Motivacao

Diferentes formas de Planejamento:

Planejamento Hierarquico (HTN): planejamento paraaplicacoes praticas envolvendo milhares de acoes

Planejamento Nao-Determinıstico: planejamento envolvendoincerteza sobre efeitos de acoes



Analise e Conclusao


Motivacao

Diferentes formas de Planejamento:

Planejamento Hierarquico (HTN): planejamento paraaplicacoes praticas envolvendo milhares de acoes

Planejamento Nao-Determinıstico: planejamento envolvendoincerteza sobre efeitos de acoes

Sinergia entre as tecnicas:

O uso de HTNs como controle de busca permite maioreficiencia ao Planejamento Nao-Determinıstico

Planejamento Nao-Determinıstico prove maior robustez aplanos obtidos por Planejamento Hierarquico



Analise e Conclusao


Objetivos

Estudar a integracao dessas duas tecnicas de planejamento[Kuter & Nau 2004]

Implementar o sistema ND-SHOP2 [Kuter & Nau 2004], oqual nao e publicamente disponıvel

Analisar o ganho de desempenho do PlanejamentoNao-Determinıstico com o uso de conhecimento hierarquicosobre as acoes do domınio

Comparar o sistema implementado com um sistema deplanejamento nao-determinıstico existente, chamado MBP[Roveri et al. 2001]



Analise e Conclusao







Analise e Conclusao


Planejamento Classico (Nao-Hierarquico)

Planejamento em IA consiste na busca automatizada de planos deacoes que alcancem metas pre-estabelecidas em mundos descritosformalmenteUtiliza como formalismo um Sistema de Transicao de Estados

Definicao

Um Sistema de Transicao de Estados e a 3-tupla Σ = 〈S,A, γ〉:

S e um conjunto finito de estadosA e um conjunto finito de acoesγ : S ×A 7→2S e uma funcao de transicao de estados

Um problema de Planejamento Classico consiste em encontraruma sequencia de acoes que, quando executada a partir de umdeterminado estado inicial s0 ∈ S, leva o agente a um estadometa de Sg ⊆ S



Analise e Conclusao


Suposicoes do Planejamento Classico

Suposicoes restritivas feitas pelo Planejamento Classico

Conjunto finito de estadosAmbiente completamente observavelAcoes determinısticas (γ : S ×A 7→ S)Ambiente estatico (sem eventos externos)Metas de alcancabilidadePlanos sequenciaisTempo implıcitoPlanejamento offline



Analise e Conclusao


Suposicoes do Planejamento Classico

Suposicoes restritivas feitas pelo Planejamento Classico

Conjunto finito de estadosAmbiente completamente observavelAcoes determinısticas (γ : S ×A 7→ S)Ambiente estatico (sem eventos externos)Metas de alcancabilidadePlanos sequenciaisTempo implıcitoPlanejamento offline

Desafios:

Problemas de pequeno porte ja envolvem quantidades enormes deestadosPSPACE-completo, mesmo sob essas restricoes



Analise e Conclusao


Busca Progressiva no Espaco de Estados

FCP (s0, g ,Σ)

π ← ∅; s ← s0loop

se s satisfaz g entao devolva(π)A← {(s, a) | a e uma acao aplicavel a s}se A = ∅ entao devolva(falha)nao-deterministicamente escolha (s, a) ∈ A

π ← π ∪ {(s, a)}s ← γ(s, a)

Algoritmo mais simples de planejamento classico



Analise e Conclusao







Analise e Conclusao


Planejamento Hierarquico

Planejamento guiado por Redes Hierarquicas de Tarefas (HTNs)Faz uma busca no espaco de redes de tarefas atraves dasdiferentes decomposicoes de acoes compostas (ou tarefas)

Acoes (ou tarefas) compostas, abstratas, representam sub-metasde alto nıvelAcoes (ou tarefas) primitivas representam acoes



Analise e Conclusao





Projetista do domınio fornece diferentes metodos para decomporacoes compostas

O estado corrente deve satisfazer um conjunto de pre-condicoes deum metodo para que este seja aplicavel



Analise e Conclusao





Projetista do domınio fornece diferentes metodos para decomporacoes compostas

O estado corrente deve satisfazer um conjunto de pre-condicoes deum metodo para que este seja aplicavel

Problema HTN: dado um estado inicial s0 e uma acao composta,decompo-la atraves de metodos ate o nıvel de acoes primitivas,executaveis a partir de s0Mais expressivo que o Planejamento Classico



Analise e Conclusao


Exemplo de Planejamento Hierarquico



Analise e Conclusao


Redes Simples de Tarefas

Redes Simples de Tarefas (STNs):

Caso especial de HTNs

Efetua busca progressiva no espaco de estados

Escolha de acoes guiada pela decomposicao de redeshierarquicas de tarefas

Base para a famılia SHOP de planejadores:

SHOP - decomposicao em ordem total (listas de tarefas)SHOP2 - decomposicao em ordem parcial (redes de tarefas)JSHOP2 - compilacao de planejadores especıficos de domınio



Analise e Conclusao


Decomposicao Hierarquica em Ordem Parcial

STN-Plan (s, w ,D,M)

se w = ∅ entao devolva(π)nao-deterministicamente escolha u ∈ w , sem predecessores em w

se tu e uma acao primitiva entao

A← {(a, σ) | a e uma acao de D, σ e uma substituicaotal que nome(a) = σ(tu) e a e aplicavel a s}

se A = ∅ entao devolva(falha)nao-deterministicamente escolha (a, σ) ∈ A

π ←STN-Plan(γ(s, a), σ(w \ {u}),D,M)se π = falha entao devolva(falha)senao devolva(a.π)

senao

M ← {(m, σ) | m e um metodo deM, σ e uma substituicaotal que nome(m) = σ(tu) e m e aplicavel a s}

se M = ∅ entao devolva(falha)nao-deterministicamente escolha (m, σ) ∈ M

nao-deterministicamente escolha w ′ ∈ δ(w , u, m, σ)devolva STN-Plan(s, w ′,D,M)



Analise e Conclusao


Exemplo de Metodos de Decomposicao



Analise e Conclusao







Analise e Conclusao


Planejamento Nao-Determinıstico

Planejamento sob Incerteza

Ambientes praticos nao sao tao bem comportados como os doPlanejamento Classico

Acoes podem falhar de modo previsıvel

E possıvel representar a incerteza nos efeitos de acoes

Agentes mais informados podem planejar para contingencias



Analise e Conclusao


Planejamento Nao-Determinıstico

Planejamento sob Incerteza

Ambientes praticos nao sao tao bem comportados como os doPlanejamento Classico

Acoes podem falhar de modo previsıvel

E possıvel representar a incerteza nos efeitos de acoes

Agentes mais informados podem planejar para contingencias

Estrategia:

Planejador deve considerar todos os possıveis caminhos deexecucao diferentes, para poder encontrar um plano quefuncione, apesar do nao-determinismo

Desafio:

Ainda mais difıcil que o Planejamento Classico

O tamanho do plano condicional obtido pode crescerexponencialmente



Analise e Conclusao


Domınio Nao-Determinıstico Totalmente Observavel



Analise e Conclusao


Planos como Polıticas

Um plano sequencial nao e capaz de representar acoes paradiferentes evolucoes do mundo

Outro tipo de formalismo mais expressivo para representarplanos deve ser utilizado em Planejamento Nao-Determinıstico

Definicao

Uma polıtica π:

Funcao π : S 7→ A, diz qual acao executar em umdeterminado estado (polıtica determinıstica)

Conjunto de estados em π, Sπ = {s | (s, a) ∈ π}



Analise e Conclusao


Classes de Solucoes

Diferentes nıveis de garantia de polıticas

Fracos Para cada s ∈ S0, existe pelo um caminho em Σπ

que alcanca um estado meta

Fortes Qualquer estado de Sπ alcanca a meta sem queestados sejam visitados duas vezes (sem ciclos)

Fortes Cıclicos Qualquer estado de Sπ alcanca a meta, porempodem existir ciclos em Σπ



Analise e Conclusao


Classes de Solucoes

Diferentes nıveis de garantia de polıticas

Fracos Para cada s ∈ S0, existe pelo um caminho em Σπ

que alcanca um estado meta

Fortes Qualquer estado de Sπ alcanca a meta sem queestados sejam visitados duas vezes (sem ciclos)

Fortes Cıclicos Qualquer estado de Sπ alcanca a meta, porempodem existir ciclos em Σπ

Nıvel crescente de garantia: Fracos < Fortes Cıclicos < Fortes

Algumas vezes planos fortes nao existem mas planos fortescıclicos sao satisfatorios

Como ultimo recurso, caso nao exista outra solucao melhor,um plano fraco e a unica opcao para o agente



Analise e Conclusao


Algoritmos Tradicionais

Tradicionalmente, no Planejamento Nao-Determinıstico,utiliza-se algoritmos de Verificacao de Modelos:

Tecnica de verificacao formalBaseada na exploracao exaustiva de um sistema de transicaode estados Σ

Utiliza busca em largura regressiva, a partir dos estados meta,ate os estados iniciais

Baseia-se em uma funcao de pre-imagem, que computa umconjunto de predecessores de S



Analise e Conclusao

Tecnica de ND-transformacaoPlanejador ND-HSHOPImplementacao






Analise e Conclusao


Planejamento Nao-Determinıstico Hierarquico

Suposicoes do Planejamento Nao-Determinıstico Hierarquico

Conjunto finito de estados

Ambiente completamente observavel

Acoes nao-determinısticas

Ambiente estatico (sem eventos externos)

Metas como decomposicao de tarefas e alcancabilidade

Planos como polıticas

Tempo implıcito

Planejamento offline

No contexto deste trabalho, Planejamento Nao DeterminısticoHierarquico denota Planejamento Hierarquico com AcoesNao-Determinısticas sob Observabilidade Total



Analise e Conclusao


ND-transformacao de Planejadores Progressivos

ND-transfomacao [Kuter & Nau, 2004]

Estende planejadores progressivos para lidar comnao-determinismo

Trata incerteza Knightiana, ou seja, sem probabilidadesassociadas a efeitos de acoes

Transformacao de modo sistematico (FCP → ND-FCP)

Preserva corretude e completude



Analise e Conclusao


Planejamento Progressivo Determinıstico

Se um planejador Λ tem a forma:

FCP (s0, g ,D, α)

π ← ∅; s ← s0loop

se s satisfaz g entao devolva(π)A← {(s, a) | a e uma instancia total de um operador

em D, a e aplicavel a s, e a ∈ α(s)}se A = ∅ entao devolva(falha)nao-deterministicamente escolha (s, a) ∈ A

π ← π ∪ {(s, a)}s ← γ(s, a)

onde α(s) e uma funcao de selecao de acoes, ND-Λ, suaND-transformacao, e ...



Analise e Conclusao


Planejamento Progressivo Nao-Determinıstico

ND-FCP (S0, g ,D′, α′)

π ← ∅; S ← S0; resolvidos ← ∅loop

se S = ∅ entao devolva(π)selecione um estado s ∈ S e remova-o de S

se s satisfaz g entao insira s em resolvidos

senao se s /∈ Sπ entao

A← {(s, a) | a e uma instancia total de umoperador em D′, a e aplicavel a s, e a ∈ α′(s)}

se A = ∅ entao devolva(falha)nao-deterministicamente escolha (s, a) ∈ A

π ← π ∪ {(s, a)}S ← S ∪ γ(s, a)

senao se s nao tem π-descendentes em (S ∪ resolvidos) \ Sπ

entao devolva(falha)



Analise e Conclusao


Caracterizacao de Planos de ND-FCP

ND-FCP gera planos fortes cıclicos, mas pode ser adaptado paragerar tambem planos:

Fortes , trocando o teste de π-descendencia por falha assimque um ciclo for detectado

Fracos , removendo, cada vez que um estado meta e gerado,todo estado nao-inicial do conjunto S , forcando oplanejador a encontrar um caminho a partir de cadaestado inicial ate uma meta



Analise e Conclusao







Analise e Conclusao


ND-HSHOP

Planejador ND-HSHOP

ND-transformacao de HSHOP

HSHOP e um planejador feito neste trabalho baseado noalgoritmo de SHOP, utilizando a linguagem de programacaoHaskell

Implementacao do algoritmo de planejamento ND-SHOP2[Kuter & Nau 2004]

α(s) representa a escolha de acoes geradas pela decomposicaohierarquica STN-Plan

Permite combinar:

Poder de controle de busca especıfico de domınio doplanejamento hierarquico

Capacidade de lidar com acoes nao-determinısticas



Analise e Conclusao


Exemplo de HTN com Acoes Nao-Determinısticas



Analise e Conclusao


Planejador YoYo (ou FS3SHOP2)

Motivacoes:

A tecnica de Verificacao de Modelos Simbolicos utilizaformulas proposicionais para representar de modo compactoconjuntos de estados e transformacoes sobre estes

Presume-se que a combinacao destas tecnicas em diferentestipos de problemas e domınios de planejamento e vantajosa

Estrategia:

Estender ND-SHOP2 para utilizar tecnicas de verificacao demodelos simbolicos, baseadas em BDDs

FS3: similar a ND-transformacao, mas explora espaco desituacoes, da forma (S ,w), envolvendo conjuntos de estados eum controle (rede de tarefas)



Analise e Conclusao


Planejamento utilizando BDDs

Proposicoes:

Vetor s de proposicoes correntes (estado atual)

Vetor s ′ de proposicoes seguintes correspondentes a s (estadofuturo)

Vetor a de acoes

Representacao:

Um estado s e uma valoracao {⊥,>} para s

conjunto de estados ξ(S)def=

∨s∈S ξ(s), S ⊆ S



Analise e Conclusao


Uso de BDDs em YoYo

Nao e necessario representar estados explicitamente:

ξ(∅) = ⊥

ξ(2S) = > (tautologia)

Deslocamento progressivo ξ′(s)def= ξ(s)[s/s ′]

Transicao ξ(〈s1, a, s2〉)def= ξ(s1) ∧ a ∧ ξ′(s2)

Operacoes sobre conjuntos representados como BDDs:

ξ(S1 ∪ S2)def= ξ(S1) ∨ ξ(S2)

ξ(S1 ∩ S2)def= ξ(S1) ∧ ξ(S2)

ξ(S1 \ S2)def= ξ(S1) ∧ ¬ξ(S2)

S1 = S2def= ξ(S1)↔ ξ(S2)

S1 ⊆ S2def= ξ(S1)→ ξ(S2)



Analise e Conclusao







Analise e Conclusao


Modelo da Linguagem para HTN Nao-Determinıstico



Analise e Conclusao


Planejadores implementados neste trabalho

Planejadores implementados neste trabalho:

HMBP , um planejador nao-determinıstico baseado emVerificacao de Modelos, sem o uso de BDDs nemhierarquias, implementado em Haskell

ND-HSHOP , um planejador nao-determinıstico que usadecomposicao hierarquica de acoes compostas, semuso de BDDs, implementado em Haskell

FS3HSHOP , uma implementacao de YoYo (FS3

SHOP), mas quenao utiliza BDDs, implementado em Haskell



Analise e Conclusao

Analise EmpıricaConclusao






Analise e Conclusao


Domınio Prototıpico: Predador-Presas

Descricao do domınio: Predador-Presas

Presas e predador movem-se em uma grade n × n

Movimentos utilizando as acoes norte, sul, leste e oeste

Predador possui a acao adicional agarrar, aplicavel quandoalcanca uma presa

Presas possuem a acao adicional descansar

Nao-determinismo do domınio reside nas acoes das presas

Possui um grande fator de ramificacao



Analise e Conclusao


Problema Prototıpico: Predador-Presas

Problema P25 :

grade 5× 5

2 presas

3 acoes possıveis

5× 5× 3 = 75 possıveisestados sucessores

Numero total de estados|Pp

n | =∑p+1

i=1 (n2)i



Analise e Conclusao


Decomposicao Hierarquica de Predador-Presas

Metodos HTN para o domınio Predador-Presas

TarefasMetodos

Nome Pre-condicao Lista de tarefas

catch preysdone preys = 0 ∅more preys > 0 (catch prey , catch preys)

catch prey chase > (chase prey , catch)

chase preysame x = x ′ ∧ y = y ′ ∅diff x 6= x ′ ∨ y 6= y ′ (chase horizontal)

chase horizontal

chase e x < x ′ (east, chase prey)chase w x > x ′ (west, chase prey)horz ok x = x ′ (chase vertical)

chase vertical

chase n y < y ′ (north, chase prey)chase s y > y ′ (south, chase prey)vert ok y = y ′ ∅



Analise e Conclusao


Tamanhos das Polıticas Obtidas por ND-HSHOP

10

100

1000

10000

100000

1e+06

1 10 100

Tam

anho

da

polit

ica

Tamanho da grade (n x n)

1 presa2 presas3 presas4 presas



Analise e Conclusao


Tempo Medio de Execucao de ND-HSHOP

0.001

0.01

0.1

1

10

100

1000

10000

1 10 100

Tem

po (

s)


1 presa2 presas3 presas4 presas



Analise e Conclusao


Comparacao entre Diferentes Planejadores

Comparacao em termos de tempo absoluto gasto durante oplanejamento

Planejador escolhido para comparacao

MBP , um planejador nao-determinıstico baseado emVerificacao de Modelos que usa BDDs paratestes eficientes de satisfacao de condicoes,implementado em C++, consideradoestado-da-arte em planejamentonao-determinıstico



Analise e Conclusao


Resultados dos Testes com Problemas P12...70

0.001

0.01

0.1

1

10

100

1000

10000

0 10 20 30 40 50 60 70

Tem

po (

s)


ND-HSHOPMBP

HMBP



Analise e Conclusao


Conclusao

ND-transformacao permite que avancos nos planejadores combusca progressiva no espaco de estados possam ser utilizadospara domınios nao-determinısticos

ND-HSHOP foi capaz de encontrar polıticas com ate 550 milestados. Ganho de eficiencia ao custo de maior verbosidadedo domınio

ND-HSHOP permite controle sobre escolhas de acoes masainda deve explorar todos os estados possivelmentealcancaveis em tempo de execucao

Meios de representacao compacta de conjuntos de estados saonecessarios para a solucao de problemas maiores

HMBP faz busca baseada em pre-imagem mas nao ecompetitivo com MBP por nao fazer uso de BDDs



Analise e Conclusao


Trabalhos Futuros

Extensoes a curto prazo

Disponibilizar biblioteca de metodos de planejamento HasPlan

Implementacao de BDDs para representacao compacta detransicoes em FS3

HSHOP

Planos estendidos para metas de decomposicao Planos Est.



Analise e Conclusao


Trabalhos Futuros

Extensoes a curto prazo

Disponibilizar biblioteca de metodos de planejamento HasPlan

Implementacao de BDDs para representacao compacta detransicoes em FS3

HSHOP

Planos estendidos para metas de decomposicao Planos Est.

Trabalhos a serem considerados futuramente

FCP → Cond-FCP (observabilidade parcial) [Kuter et al.2007]

FCP → Prob-FCP (acoes probabilısticas) [Kuter, 2006]

Acoes com probabilidades imprecisas [Trevizan et al. 2007]

Tentativa de combinacao dos trabalhos mencionados a fim debuscar um planejador mais pratico



Analise e Conclusao


Fim

Obrigado !



Analise e Conclusao


Conflito na Escolha de Acoes em Polıticas



Analise e Conclusao


Contextos de Execucao



Analise e Conclusao


Plano Estendido

act

s c a

s1 cd a1

s2 cd a3

s3 c1 a4

s3 c2 a2

ctxt

s c s ′ c ′

s1 cd s3 c1

s2 cd s3 c2

s3 c1 s5 cd

s3 c2 s4 cd

act diz qual acao deve ser executada (polıtica)

ctxt diz qual e o proximo contexto, dado o estado sucessor



Analise e Conclusao


Estrutura de Execucao de Polıticas

Definicao

A estrutura de execucao Σπ de uma polıtica π, dado o sistema detransicao de estados Σ e:

Σπ ⊆ Σ e um grafo direcionado, onde:

Nos sao estados alcancaveis atraves de acoes de πArestas sao possıveis transicoes de estado causadas por π

Caminho em Σπ de s1 ate s2 ⇐⇒ s1 e π-ancestral de s2 e s2e π-descendente de s1



Analise e Conclusao


Estrutura de Execucao de Polıticas

Sistema de Transicao deEstados Σ

Estrutura de Execucao Σπ

s2 e π-ancestral de s7


Ricardo Guimaraes Herrmann [email protected]/slides.pdfIntroduc¸a˜o Planejamento...

Documents

Transcript of Ricardo Guimaraes Herrmann [email protected]/slides.pdfIntroduc¸a˜o Planejamento...