zoeken met opponent-modellen
Jeroen Donkers
IKAT, Vakgroep Informatica, Universiteit Maastricht
Promotor: H.J. van den Herik
Co-promotor: J.W.H.M. Uiterwijk
InhoudInhoud
• Het domein
• Zoeken met opponent-modellen
• Onderzoeksvraag
• Theoretische en experimentele resultaten
• Conclusies
Het domeinHet domein• Kunstmatige Intelligentie =
het verrichten van taken door computers die als typisch menselijk worden (werden) gezien
• Het spelen van bordspelen zoals schaken is een geliefd studiedomein
• In dit domein zijn al grote successen behaald (denk aan Deep Blue)
Het domeinHet domein
• Spelen vormen een gesloten en goed beschreven domein (vanwege de spelregels)
• We beperken ons hier tot spelen:– voor twee spelers (die om de beurt zetten)– zonder verborgen informatie– zonder kansaspect (dobbelstenen)– waarbij als één speler wint, de ander verliest
• Bijv. Schaken, Lines of Action, Bao
Een voorbeeld: Nim-5Een voorbeeld: Nim-5
• Neem om de beurt 1, 2 of 3 lucifers
• Degene die de laatste lucifer pakt, wint
Een voorbeeld: Nim-5Een voorbeeld: Nim-5
Een voorbeeld: Nim-5Een voorbeeld: Nim-5
Een voorbeeld: Nim-5Een voorbeeld: Nim-5
Een voorbeeld: Nim-5Een voorbeeld: Nim-5
Winnaar
ZoekboomZoekboom
• De computer speelt het spel door eerst alle mogelijkheden voor beide spelers in een boom-vorm te representeren:
ZoekboomZoekboom
4 3 21 2 3
5
2 1 0 1 0 0
0
1 0 0 0
1
1
1
1
1
1
1 1 1 1
11
2 2 2
2 2
2
2
3
33
1 1
03
1 0 0 0 0
2 1 2 1 0 1
Stap 1: uitkomsten bepalen (vanuit speler “groen”)
ZoekboomZoekboom
4 3 2
2 1 0 1 0 0
0
1 0 0 0
1
1
1
1
1
1
1
1 1 1 1
11
2
2 2 2
2 2
2
2
3
3
33
1 1
+1 +1 +1 +1 +1 +1–1 –1 –1 –1 –1
5
03
1 0 0 0 0
2 1 2 1 0 1
Stap 2: uitkomsten terugvoeren
+1 –1
ZoekboomZoekboom
4 3 2
2 1 0 1 0 0
0
1 0 0 0
1
1
1
1
1
1
1
1 1 1 1
11
2
2 2 2
2 2
2
2
3
3
33
1 1
+1 –1 +1 +1 +1 +1 +1 +1–1 –1 –1 –1 –1
5
03
1 0 0 0 0
2 1 2 1 0 1
ZoekboomZoekboom
+1 –1 +1 +1 +1 +1 +1 +1–1 –1 –1 –1 –1
1
11 1 1
+1 –1 –1
–1 –1 +1 –1 +1 +1
+1
–1 +1 +1 +1
1
1
1 1 1 1 1 1
11
2
2 2 2
2 2
2
2
3
3
33
+1
–1+1
+1 –1 –1 –1 –1
+1 +1 +1 +1 –1 +1
Groen kan altijd winnen!
ZoekboomZoekboom
1
11 1 1
+1 –1 –1
–1 –1 +1 –1 +1 +1
+1
–1 +1 +1 +1
1
1
1 1 1 1 1 1
11
2
2 2 2
2 2
2
2
3
3
33
+1
–1+1
+1 –1 –1 –1 –1
+1 +1 +1 +1 –1 +1
Stap 3: optimale strategie bepalen
Heuristisch zoekenHeuristisch zoeken
• Voor interessante spelen zoals schaak kan de zoekboom onmogelijk volledig worden opgesteld
• Daarom wordt de boom “afgekapt” op een zekere diepte
• Bovendien wordt er in de boom “gesnoeid” om de efficiëntie te verhogen
Heuristisch zoekenHeuristisch zoeken
.25 –1 –1
1
1 11
2
2 22
3
33
.25
–1.25 .33 .5 .33 .5 –1 .5
Bij het afkappen van de boom wordt een heuristische evaluatiefunctie gebruikt in plaats van de echte uitkomst
Opponent-modellenOpponent-modellen• De evaluatiefunctie bepaalt in grote mate de
strategie van een speler• De evaluatiefunctie kan daarom als
opponent-model dienen
• Stel dat we de evaluatiefunctie van de tegenstander kennen, kunnen we er dan ons voordeel mee doen?
Opponent-Model SearchOpponent-Model Search
• Iida et al (`93) Carmel & Markovitch (`93)
• Een zoekmethode die er vanuit gaat dat de evaluatiefunctie van de opponent bekend is:– voorspelt eerst welke zet een opponent zou
doen met deze evaluatiefunctie– kiest dan op basis van de eigen evaluatiefunctie
welke eigen zet het beste lijkt
ProbabilisticOpponent-Model SearchProbabilisticOpponent-Model Search• Donkers et al (2000)
• Het opponent-model is een mix van een aantal opponent-types, ieder met een eigen evaluatiefunctie
• De werking is verder ongeveer gelijk aan die van Opponent-Model Search: eerst voorspellen en dan een eigen keuze maken
OnderzoeksvraagOnderzoeksvraag
• Onder welke condities kunnen OM search en PrOM search het spelen door computers verbeteren
• Er is zowel theoretisch als empirisch onderzoek gedaan
Theoretische resultatenTheoretische resultaten
• Er bestaat een manier om beide zoekmethoden efficiënt te programmeren, maar:
• PrOM Search kost meer rekentijd dan OM Search voor de zelfde zoekboom
• Beide methoden kosten veel meer rekentijd dan de traditionele aanpak
Theoretische resultatenTheoretische resultaten
• OM Search heeft last van risico’s, een aantal daarvan waren al bekend:– het opponent-model kan verkeerd zijn– de voorspellingen kunnen fout zijn– de eigen evaluatiefunctie kan slechter zijn dan
die van de tegenstander
• Maar er is een extra risico:
Theoretische resultatenTheoretische resultaten• Overschattingen in de eigen
evaluatiefunctie kunnen leiden tot rampen:– de opponent wordt gelokt naar een positie
waarvan je onterecht verwacht dat die heel aantrekkelijk is
– de opponent weet wel beter en gaat fluitend met je mee
– hoe groter de overschatting, hoe liever je er heen wilt...
Experimentele resultatenExperimentele resultaten
• Wanneer je OM Search onbezonnen toepast, zijn de resultaten zeer slecht, vergeleken met de traditionele aanpak:– kost meer rekentijd– je verliest vaker, zelfs met perfecte kennis van
de opponent
• PrOM Search is wel veiliger, maar kost ook veel meer rekentijd
Experimentele resultatenExperimentele resultaten• OM Search werkt redelijk als:
– je absolute kennis hebt (eindspel)– je perfecte kennis van de opponent hebt– je niet zomaar overschattingen maakt– je extra tijd hebt om goed te voorspellen
• PrOM Search presteert dan over het algemeen beter dan OM Search, heel soms zelfs beter dan de traditionele aanpak
ConclusiesConclusies
• Onbezonnen toepassen van OM Search en PrOM search is onverstandig
• Het is niet alleen belangrijk de opponent goed te kennen (Nosce Hostem), je moet ook je eigen evaluatiefunctie goed kennen (Nosce Te Ipsum)
Thales van Milete (640 vC)Thales van Milete (640 vC)
Soen Tzoe (500 vC)Soen Tzoe (500 vC)
“Ken uw vijand, ken u zelfen uw overwinning is onbedreigd.”
Top Related