Oriëntatie Kunstmatige Oriëntatie Kunstmatige IntelligentieIntelligentie

Representatie en GeheugenRepresentatie en Geheugen

Niels TaatgenNiels Taatgen

Representatie en GeheugenRepresentatie en Geheugen

Kunstmatige Intelligentie: bestudeer Kunstmatige Intelligentie: bestudeer IntelligentieIntelligentie met met formele systemenformele systemen

Formeel systeem: verzameling afsprakenFormeel systeem: verzameling afspraken Vraag: Wat is de beste afspraak om Vraag: Wat is de beste afspraak om

menselijke kennis op te slaan?menselijke kennis op te slaan? Methode: Probeer te ontdekken hoe Methode: Probeer te ontdekken hoe

mensen hun kennis representeren: mensen hun kennis representeren: bestudeer Geheugenbestudeer Geheugen

InhoudInhoud

Drie benaderingenDrie benaderingen– Informatica (3.1, 3.2, 3.5, 5.3)Informatica (3.1, 3.2, 3.5, 5.3)– Cognitieve Psychologie (5.1-5.4)Cognitieve Psychologie (5.1-5.4)– Neurowetenschap (2)Neurowetenschap (2)

Komen samen inKomen samen in– Neurale netwerken (3.5, 5.3, 7.5-7.6)Neurale netwerken (3.5, 5.3, 7.5-7.6)– ACT-R (8.2-8.3)ACT-R (8.2-8.3)

ZesZes

6VI 110

RepresentatieRepresentatie

Betekenis

RepresentatieRepresentatie

Eh.. Zestien plus

vijfentwintig is..eenenveertig

16 25--- + 41

Lichaam-geest probleem

Representatie van HandelingenRepresentatie van Handelingen

pen_omlaagpen_omlaag

herhaal met x van 10 herhaal met x van 10 naar 50 stap 10naar 50 stap 10

herhaal 4herhaal 4

vooruit(x)vooruit(x)

rechts(90)rechts(90)

einde herhaaleinde herhaal

einde herhaaleinde herhaal

pen_omhoogpen_omhoog

Dit is echter niet de

manier waarop mensen

kennis in hun hoofd

opslaan!

Het probleem van representatieHet probleem van representatie

Wat is betekenis nu eigenlijk?Wat is betekenis nu eigenlijk? Hoe representeren mensen Hoe representeren mensen

feitenkennis?feitenkennis? Hoe representeren mensen kennis over Hoe representeren mensen kennis over

handelingen, d.w.z. kennis over hoe je handelingen, d.w.z. kennis over hoe je iets moet doen?iets moet doen?

GeheugenGeheugen

Behavioristen (begin vorige eeuw):Behavioristen (begin vorige eeuw):b.v. Pavlovb.v. Pavlov

GeheugenGeheugen

Behavioristen (begin vorige eeuw)Behavioristen (begin vorige eeuw)

?Stimulus Respons

GeheugenGeheugen

Behavioristen (begin vorige eeuw)Behavioristen (begin vorige eeuw)

“Als het belletje gaatrinkelen, Dan komt er

vlees”“Als er vlees komt, dan

moet ik alvast wat extra speeksel aanmaken”

Stimulus Respons

BelRinkelt

Kwijlen

Atkinson & Shiffrin (1968)Atkinson & Shiffrin (1968)

SensorischeRegisters

KorteTermijn

Geheugen

Rehearsal

LangeTermijn

Geheugen

Gebaseerdop

7±2 expMiller

Een geheugenexperimentEen geheugenexperiment

Je krijgt zometeen een aantal woorden Je krijgt zometeen een aantal woorden te zien (het zijn Engelse woorden). te zien (het zijn Engelse woorden). Probeer deze zo goed mogelijk te Probeer deze zo goed mogelijk te onthouden.onthouden.

(Niet opschrijven!!!!)(Niet opschrijven!!!!)

AvocadoAvocado

HexagonHexagon

CinnamonCinnamon

BroccoliBroccoli

ElectronElectron

FlamingoFlamingo

AardvarkAardvark

BoyhoodBoyhood

CreviceCrevice

GazetteGazette

AnatomyAnatomy

BourbonBourbon

Nu komt de testNu komt de test

De bedoeling is dat je de woorden De bedoeling is dat je de woorden afmaakt die zometeen op het scherm afmaakt die zometeen op het scherm verschijnen. Steek je vinger op als je verschijnen. Steek je vinger op als je het woord herkent (of denkt te het woord herkent (of denkt te herkennen)herkennen)

AL_ _N_CAL_ _N_C

AN_ _ _MYAN_ _ _MY

B_ _CC_ _IB_ _CC_ _I

BE_ _ VI_ _BE_ _ VI_ _

_OYH_O_ _OYH_O_

B_ _ ZI_RB_ _ ZI_R

Einde van de testEinde van de test

Sommige woorden stonden op de lijst, Sommige woorden stonden op de lijst, anderen nietanderen niet

In een “echt” experiment (met meer In een “echt” experiment (met meer woorden), scoren proefpersonen:woorden), scoren proefpersonen:– 50% goed op woorden uit de lijst50% goed op woorden uit de lijst– 30% goed op woorden die niet op de lijst 30% goed op woorden die niet op de lijst

stondenstonden

Nu komt nog een tweede testNu komt nog een tweede test

Indien het woord dat op het scherm Indien het woord dat op het scherm verschijnt in de lijst stond, steek dan je verschijnt in de lijst stond, steek dan je vinger op, anders niet.vinger op, anders niet.

AardvarkAardvark

FlamingoFlamingo

CockatooCockatoo

EllipseEllipse

GazetteGazette

AirspaceAirspace

Einde van de testEinde van de test

In een “echt” experiment hebben In een “echt” experiment hebben proefpersonen na een uur ongeveer proefpersonen na een uur ongeveer 60% goed op deze test, waarbij 60% goed op deze test, waarbij inbegrepen is de gokkans.inbegrepen is de gokkans.

Experiment van Tulving e.a.Experiment van Tulving e.a.

96 woorden96 woorden

Test na een Test na een uuruur

Test na een Test na een weekweek

0

25

50

75

100

1 hour 1 week

Recognition

Completion studiedwordsCompletion new words

Uit een ander experimentUit een ander experiment

Als je hetzelfde experiment met Als je hetzelfde experiment met amnesiepatiënten (d.w.z. amnesiepatiënten (d.w.z. geheugenverlies) doet blijkt:geheugenverlies) doet blijkt:

Amnesiepatiënten zijn heel slecht in Amnesiepatiënten zijn heel slecht in herkenningherkenning

Ze zijn echter net zo goed als Ze zijn echter net zo goed als proefpersonen in het afmaken van proefpersonen in het afmaken van woorden.woorden.

Conclusie Tulving & co.Conclusie Tulving & co.

Mensen hebben twee soorten lange-Mensen hebben twee soorten lange-termijn geheugentermijn geheugen– Expliciet, bewust geheugen Expliciet, bewust geheugen

(herkenningstaak)(herkenningstaak)– Impliciet, onbewust geheugen Impliciet, onbewust geheugen

(woorden afmaken)(woorden afmaken)

Squire & Knowlton (1995)Squire & Knowlton (1995)

Geheugen

Expliciet Impliciet

EpisodischGeheugen

SemantischGeheugen

ProcedureelGeheugen

PrimingGeheugen

KlassiekeConditionering

Probleem van geheugenonderzoekProbleem van geheugenonderzoek

Hoe ver moeten we gaan met het Hoe ver moeten we gaan met het opsplitsen van geheugen?opsplitsen van geheugen?

Hoe is kennis in elk van deze Hoe is kennis in elk van deze geheugensystemen gerepresenteerd?geheugensystemen gerepresenteerd?

En hoe werken al deze geheugens En hoe werken al deze geheugens samen?samen?

Conclusie psychologisch Conclusie psychologisch onderzoekonderzoek

De psychologie levert een grote De psychologie levert een grote verzameling feiten over het geheugen, verzameling feiten over het geheugen, waarvoor we uiteindelijk een verklaring waarvoor we uiteindelijk een verklaring moeten bieden vanuit onze moeten bieden vanuit onze geheugentheoriegeheugentheorie

De psychologie biedt betrekkelijk weinig De psychologie biedt betrekkelijk weinig theorie voor de vraag hoe kennis nu theorie voor de vraag hoe kennis nu echt gerepresenteerd isecht gerepresenteerd is

Geheugen is onderdeel van Geheugen is onderdeel van de hersenende hersenen

Hersenen vormen een netwerk van Hersenen vormen een netwerk van miljarden neuronenmiljarden neuronen

Elke neuron is verbonden met Elke neuron is verbonden met honderden anderenhonderden anderen

Neuronen communiceren met elkaar Neuronen communiceren met elkaar door middel van chemische stoffen, door middel van chemische stoffen, neurotransmittersneurotransmitters

VragenVragen

Waar zit dan het geheugen?Waar zit dan het geheugen? Hoe kunnen hersencellen (symbolische) Hoe kunnen hersencellen (symbolische)

kennis representeren?kennis representeren? Hoe kunnen ze deze kennis leren?Hoe kunnen ze deze kennis leren?

(advertentie)(advertentie)

Hier begint de Kunstmatige IntelligentieHier begint de Kunstmatige Intelligentie

Informatica Psychologie

NeuroWetenschap

Antwoorden!

Neurale netwerkenNeurale netwerken

Neuronen hebben twee soorten Neuronen hebben twee soorten verbindingenverbindingen– Exciterend: als de ene cel actief is, wordt Exciterend: als de ene cel actief is, wordt

de cel die ermee verbonden is ook meer de cel die ermee verbonden is ook meer actiefactief

– Inhiberend: als de ene cel actief is, wordt Inhiberend: als de ene cel actief is, wordt de activiteit van een andere cel onderdruktde activiteit van een andere cel onderdrukt

The Jets and the SharksThe Jets and the Sharks

Name Gang Age Edu Married Occup

Art Jets 40's J.H. Sing. Pusher

Sam Jets 20's Col. Sing. Bookie

Lance Jets 20's J.H. Mar. Burgler

Ralph Jets 30's J.H. Sing. Pusher

Rick Shark 30's H.S. Divorc Burgler

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

Vraag aan het netwerkVraag aan het netwerk

Wat zijn de eigenschappen van Lance?Wat zijn de eigenschappen van Lance?

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

Vraag aan het netwerkVraag aan het netwerk

Wie is in de dertig en is een pusher?Wie is in de dertig en is een pusher?

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

Vraag aan het netwerkVraag aan het netwerk

Wat voor iemand is nu een “Jet”?Wat voor iemand is nu een “Jet”?

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

Vraag aan het netwerkVraag aan het netwerk

Wie heeft de volgende eigenschappen: Wie heeft de volgende eigenschappen: J.H., Jet, married, pusher en 30’s?J.H., Jet, married, pusher en 30’s?

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

ArtRick

Sam

Lance

Ralph

J.H.

Col.

H.S.

“Jet”

“Shark”

Single

Divorce

Married

20’s 30’s

40’s

Burglar

Bookie

Pusher

Eigenschappen neuraal Eigenschappen neuraal netwerknetwerk

Kan snel dingen opzoeken, door Kan snel dingen opzoeken, door parallellismeparallellisme

Kan “prototypes” afleiden: een Kan “prototypes” afleiden: een “typische” Jet“typische” Jet

Kan omgaan met fouten en Kan omgaan met fouten en onvolledigheden in de invoeronvolledigheden in de invoer

Andere eigenschappenAndere eigenschappen(niet in dit voorbeeld)(niet in dit voorbeeld)

Gedistribueerde representatie:Gedistribueerde representatie:– Informatie wordt opgeslagen door meer Informatie wordt opgeslagen door meer

dan één cel en met meer dan één dan één cel en met meer dan één verbindingverbinding

– Neurale netwerken kunnen zelf hun kennis Neurale netwerken kunnen zelf hun kennis leren door ervaringleren door ervaring

ACT-RACT-R

Is een zogenaamde “hybride” Is een zogenaamde “hybride” architectuurarchitectuur– Gedeeltelijk gebruik makend van symbolenGedeeltelijk gebruik makend van symbolen– Gedeeltelijk gebruik makend van Gedeeltelijk gebruik makend van

activatiewaarden e.d., hetgeen ook wel activatiewaarden e.d., hetgeen ook wel “sub-symbolisch” wordt genoemd“sub-symbolisch” wordt genoemd

ACT-R heeft 2 soorten ACT-R heeft 2 soorten geheugengeheugen

Een declaratief geheugen: een Een declaratief geheugen: een geheugen voor feitengeheugen voor feiten

Een procedureel geheugen: een Een procedureel geheugen: een geheugen voor handelingengeheugen voor handelingen

Declaratief geheugenDeclaratief geheugen

ACT-R’s geheugen voor feiten lijkt wel ACT-R’s geheugen voor feiten lijkt wel een beetje op het Jets en Sharks een beetje op het Jets en Sharks netwerknetwerk– Voor elk feit is er een knoop (een “chunk”)Voor elk feit is er een knoop (een “chunk”)– Chunks zijn met elkaar verbondenChunks zijn met elkaar verbonden– Chunks hebben een activatie, die ze Chunks hebben een activatie, die ze

kunnen doorgeven via hun verbindingen kunnen doorgeven via hun verbindingen aan andere chunksaan andere chunks

Korte-termijn geheugenKorte-termijn geheugen

In veel theorieën over geheugen is sprake van In veel theorieën over geheugen is sprake van een apart korte-termijn geheugen (ook wel een apart korte-termijn geheugen (ook wel werkgeheugen), bijvoorbeeld de Atkinson en werkgeheugen), bijvoorbeeld de Atkinson en Shiffrin theorieShiffrin theorie

Kenmerkend is een Kenmerkend is een vastevaste capaciteit (vaak 7±2) capaciteit (vaak 7±2) Is het Is het verschijnselverschijnsel korte-termijn geheugen korte-termijn geheugen

echter niet te verklaren zonder het echter niet te verklaren zonder het theoretische theoretische constructconstruct korte-termijn geheugen? korte-termijn geheugen?

Korte-termijn geheugen in het Korte-termijn geheugen in het Lange-termijn geheugen Lange-termijn geheugen

1 2 3 4 5 6

First

Second

Third

Fourth

Nodes that represent numbers

Nodesthatrepresentpositions

1 2 3 4 5 6

First

Second

Third

Fourth

memorizenumbers

“three”

1 2 3 4 5 6

First

Second

Third

Fourth

memorizenumbers

“three” “six”

1 2 3 4 5 6

First

Second

Third

Fourth

memorizenumbers

“three” “six” “two”

1 2 3 4 5 6

First

Second

Third

Fourth

memorizenumbers

“three” “six” “two” “four”

1 2 3 4 5 6

First

Second

Third

Fourth

memorizenumbers

“three” “six”

Herinneren van een lijst van twee cijfers

(op volgorde)

recall thelist

1 2 3 4 5 6

First

Second

Third

Fourth

memorizenumbers

“three” “six” “two” “four”

Herinneren van een lijst van vier cijfers

recall thelist

Activatie is lager omdat meer tijd verstreken is.

Met vier verbin-dingen wordt de activatie per knoop minder

Vier i.p.v. twee cijfers betekent hogere kans op fouten

Resultaten van dit modelResultaten van dit model

Volgens dit Volgens dit model is model is repeteren niet repeteren niet toegestaantoegestaan

Als dit wel mag, Als dit wel mag, komt er Miller’s komt er Miller’s zeven ± twee zeven ± twee uit.uit.

00.10.20.30.40.50.60.70.80.9

1

1 2 3 4 5 6

Number of items

lowaveragehigh

Waarom is een theorie zonder Waarom is een theorie zonder Korte-Termijn geheugen beter?Korte-Termijn geheugen beter?

Hoe meer theoretische constructies, Hoe meer theoretische constructies, des te zwakker de theoriedes te zwakker de theorie

In tegenstelling tot Atkinson & Shiffrin In tegenstelling tot Atkinson & Shiffrin en Squireen Squire– Is ook echt kennis gerepresenteerd in het Is ook echt kennis gerepresenteerd in het

geheugengeheugen– Kunnen geheugenprocessen gesimuleerd Kunnen geheugenprocessen gesimuleerd

worden, zodat we nieuwe inzichten krijgenworden, zodat we nieuwe inzichten krijgen

Een verklaring voor Tulving’s Een verklaring voor Tulving’s geheugentaakgeheugentaak

ANATOMY

AN T O M Y

ANTONYM

AN T O N Y

M

ANATOMY

AN T O M Y

Experiment

Memorizeanatomy

Activatie wordt aangegeven met kleur: geel is laag, rood is hoog, oranjes zitten er tussenin

ANTONYM

AN T O N Y

M

ANATOMY

AN T O M Y

Memorizeanatomy

Experiment Rehearsal

ANTONYM

AN T O N Y

M

ANATOMY

AN T O M Y

Memorizeanatomy

Experiment

Na een uur

Stond “Anatomy” op de lijst?

ANTONYM

AN T O N Y

M

ANATOMY

AN T O M Y

Memorizeanatomy

Experiment

Na een uur

Maak af:

AN_ _ _ MY

ANTONYM

AN T O N Y

M

ANATOMY

AN T O M Y

Memorizeanatomy

Experiment

Na een week

Stond “Anatomy” op de lijst?

ANTONYM

AN T O N Y

M

ANATOMY

AN T O M Y

Memorizeanatomy

Experiment

Na een week

Maak af:

AN_ _ _ MY

ANTONYM

AN T O N Y

M

Resultaten van het modelResultaten van het model

0

25

50

75

100

1 hour 1 week

Recognition

Completion studied words

Completion new words

0

25

50

75

100

1 hour 1 week

Recognition

Completion studied words

Completion new words

Model Data

Kennis van handelingen (in ACT-Kennis van handelingen (in ACT-R maar ook andere systemen)R maar ook andere systemen)

Door middel van regelsDoor middel van regels Voorbeeld in het boek 5.3 (164-167)Voorbeeld in het boek 5.3 (164-167)

– Aftreksommen in kolommenAftreksommen in kolommen– Negen regels kunnen de hele vaardigheidNegen regels kunnen de hele vaardigheid– Zes regels kunnen het zonder lenenZes regels kunnen het zonder lenen– Eén regel kan eenvoudige aftreksommenEén regel kan eenvoudige aftreksommen

Conclusie: gebruik van Conclusie: gebruik van formele techniekenformele technieken

Oud:Oud: Nieuw:Nieuw:

Werkgeheugen

ImplicietGeheugen

ExplicietGeheugen

DeclaratiefGeheugen

incl.Representatie

??

?

Representatie?