COGNITIE & COMMUNICATIE

1

Informatiekunde Universiteit Utrecht

Joske Houtkamp

Perceptie & Aandacht

College week 2, 17/09/2014

ONDERWERPEN

Perceptie

• Gewaarwording (sensatie)

• Waarneming (perceptie)

• Theorieën over visuele perceptie (o.a. patroonherkenning)

• (Face perception & speech perception zelf bestuderen)

Aandacht

• Top-down vs Bottom-up processing

• Aandacht: Selectieve aandacht, verdeelde aandacht

• Theorieën over aandacht

• Saccades, Eye tracking

• (Consciousness, facultatief)

2

LITERATUUR

3

Literatuur bij dit college:

Matlin, M.W. Cognitive Psychology

(2014, 8th edition; eventueel 7th edition)

• Chapter 2 Recognizing Visual and Auditory Stimuli

• Chapter 3 Paying Attention (behalve sectie

Consciousness)

HOE NEMEN MENSEN WAAR?

1. Gewaarwording (sensation)

Het proces waarmee de zintuigen informatie verzamelen en via neuronale signalen naar de hersenen zenden.

• Distale stimulus (prikkel): bijv. voorwerp in buitenwereld

• Proximale stimulus: de informatie die op de receptoren (bijv. visuele receptoren) is ontvangen, bijv. het beeld van het voorwerp op de retina.

2. Waarneming (perception)

Interpretatie van gewaarwordingen (bijv. Illusies)

4

zien horen voelen ruiken proeven

5

GEWAARWORDING Sebastian Stosskopf

ZIEN (1)

Wij ‘zien’ iets als

electromagnetische golven/photons

van 400 tot 700 nm (tussen 1014 en

1015 Hz) het oog bereiken – maar

een heel klein stukje van het

electromagnetische spectrum

6

ZIEN (2)

Veel dieren, met name insecten en

vogels, kunnen in het ultraviolette

spectrum waarnemen (10-400nm).

Andere dieren (o.a. bepaalde slangen,

vleermuizen, kevers), kunnen warmte

(infrarood) waarnemen met systemen die

overeenkomsten vertonen met het

visueel systeem.

7

https://bybio.wordpress.com/tag/uv-receptors/

http://www.seanbluestone.com/interesting/5-extra-

senses-that-animals-have-over-humans/

http://www.seanbluestone.com/interesting/5-extra-

senses-that-animals-have-over-humans/

ZIEN (3)

8

http://veterinaryvision.com/resources/

what-do-dogs-and-cats-see/

http://www.lovingpawsllc.com/Articles/2

8/Mythbusting_Dog_Color_Vision.aspx

http://fayeflamwriter.com/how-dogs-see-the-

world-the-evolutionary-story-of-color-vision/

HOREN (1)

Wij ‘horen’:

• als mechanische golven van 20– 20.000 Hz. (frequentie),

onstaan door het trillen van objecten, het oor bereiken.

• Daaronder: infrageluid. Daarboven: ultrageluid.

9

https://familynow.com/sun/the-two-main-types-of-audible-alarms/

HOREN (2)

10

http://www.cochlea.org/en/hear/frequency-hearing-range-in-man-and-some-common-animal-species

HOREN (3)

11

VOELEN, RUIKEN, PROEVEN

wij ‘voelen’

• ‘druk’ , ‘temperatuur’, ‘pijn’

• Deze drie benutten afzonderlijke sensoren, paden naar hersenen, en hersenverwerkingsgebieden

wij ‘ruiken’

• bepaalde vluchtige moleculen, oplosbaar in vet

• We kunnen ongeveer 10.000 verschillende geuren onderscheiden met voor elke geur een specifieke receptor

wij ‘proeven’

• bepaalde moleculen, oplosbaar in speeksel (saliva)

• Ook voor deze moleculen bestaat voor elke combinatie een specifieke receptor

12

GEWAARWORDING

Eigenlijk is er erg veel dat we NIET gewaar worden.

13

KIJK ENKELE SECONDEN NAAR DE AFBEELDING

Wat was er te zien?

THE FOREST HAS EYES

16

Bev Doolittle

VAN GEWAARWORDING NAAR

WAARNEMING

Gewaarwording: neuronale informatie naar hersenen (beeld op retina naar hersenen)

Waarneming: Interpretatie (bos, man op paard, riviertje) Waarneming:

Interpretatie wordt complexer (gezichten in de rotsen en in de bomen, man op paard is cowboy, gezichten zijn indianengezichten)

http://www.tru-access.com/tru-access-blog/diversity_inclusion_from_perception_to_reality

18

WAARNEMING

WAARNEMING/PERCEPTIE

19

Perceptie is de interpretatie van wat we gewaar worden door

onze zintuigen.

De manier waarop we dat doen maakt ons anders dan dieren en

verschillend van elkaar.

Er bestaan vele theorieën over hoe wat we gewaar worden

wordt georganiseerd en geinterpreteerd, en dus over hoe wij

begrijpen wat we zien, horen, aanraken, proeven en ruiken.

OEFENING

20

Beschrijf in ten hoogste één, zo kort

mogelijke zin (<20 woorden), het meest in

het oog springende van wat je zo dadelijk

ziet.

‘Ik zie …’

Kees van Overveld -21-

1. Ik zie licht van de beamer teruggekaatst vanaf het

projectiescherm

2. Ik zie een verdeling van lichte tinten in het midden,

bruinachtige naar de randen

3. Ik zie overwegend gladde kleurverdelingen, maar in het

midden korrelig en aan de rand vlekkerig

4. Ik zie een paar lichte, afgeronde, symmetrische 2D vormen in

het midden en een afgeronde driehoek linksonder

5. Ik zie een ruwweg bolronde vorm in het midden en een paar

afgeplatte liggende 3D vormen daaronder

6. Ik zie een kopje cappuccino en een krant

7. Ik zie dat het kopje bijna vol is, en de krant is dichtgeslagen

8. Ik zie het zorgeloze begin van een veelbelovende

vakantiedag in Italië

9. …..

Al deze antwoorden zijn

mogelijke interpretaties van wat

het is waarnaar je kijkt

MOGELIJKE ANTWOORDEN

Bron van dit voorbeeld: Kees van Overveld ‘Van Licht tot

Zicht ‘

EEN BEELD

Wij zijn geneigd wat we zien te beschrijven als (een reeks) objecten

Maar er zijn veel niveaus van beschrijving

• Fysisch niveau: licht(val), kleuren, textuur, …

• Niveau van de vormen: 2D en 3D vormen, eigenschappen van

vormen, …

• Niveau van objecten: objecten, eigenschappen, relaties, …

• Betekenisniveau: boodschap, gevoelswaarde, …

23

LICHT BETEKENIS

Hoe halen we objecten uit elkaar in een binnenkomend beeld?

Perceptuele organisatie: de manier waarop het ‘probleem’ stimulus

wordt ‘opgelost’ in onze hersenen.

24

GESTALT-PSYCHOLOGIE

De Gestalt psychologie geeft inzicht in hoe we

visuele stimuli waarnemen.

Gestalt staat voor "een totaalbeeld", waarbij het

geheel méér is dan de som van de

samenstellende delen.

• de mens ervaart meer dan de som van de

afzonderlijke zintuiglijke prikkels.

• de mens heeft de neiging om actief te

organiseren wat zij/hij ziet en neemt de

wereld waar in ‘gehelen’ en patronen.

25

GESTALT PRINCIPES

26

BASISPRINCIPES

GESTALTSBENADERING

27

De constructie van een totaalbeeld vindt plaats voor de

waarneming van de onderdelen, en is automatisch.

• Wij nemen gehelen waar

• Het geheel is meer dan de som der delen

• Het geheel bepaalt de betekenis van het deel

• Het deel bepaalt de betekenis van het geheel

• Wij nemen steeds een figuur tegen de achtergrond

waar.

FIGUUR EN

ACHTERGROND

28

AMBIGUOUS

FIGURE-GROUND RELATIONSHIP

29

GESTALT WETTEN

30

Law of Pragnanz

De wet van pregnantie (Prägnanz):

waarneming is er op gericht te zoeken naar een combinatie van

eenvoud en essentie

GESTALT WETTEN

31

Law of proximity

De wet van nabijheid: elementen die dicht bij elkaar liggen, worden

waargenomen als bij elkaar horend.

GESTALT WETTEN

32

Law of similarity

De wet van gelijkheid: bij het voorkomen van twee soorten elementen,

worden de elementen opgedeeld in twee afzonderlijke samenhangende

gehelen. Hierdoor kan het lijken alsof de ene groep elementen zich op

de voorgrond bevindt en de andere op de achtergrond.

GESTALT WETTEN

Law of continuity

De wet van goede voortzetting: er wordt een organiserend principe,

zoals bijvoorbeeld bewegingsrichting, gezocht achter de

elementen.

33

GESTALT WETTEN

Law of closure

De wet van geslotenheid: neiging om één geheel waar te nemen, in

plaats van afzonderlijke elementen.

34

Escher in Het Paleis

35

PECEPTIE: ILLUSIES

HOE BETROUWBAAR IS ONZE

WAARNEMING?

Welk vlak is donkerder? A of B?

HOE BETROUWBAAR IS ONZE

WAARNEMING?

Welke lijn is langer? Müller-Lyer illusion

ILLUSIES

AMBIGUE

AFBEELDINGEN

39

LEANING TOWER

ILLUSION

40

Ponzo illusie Twin Towers van Pisa

Het brein corrigeert

MCGURK EFFECT

https://www.youtube.com/watch?v=G-lN8vWm3m0

41

Template matching, Feature analysis, Recognition-by-components

42

THEORIES OF VISUAL OBJECT RECOGNITION

CAPTCHA

43

Completely Automated Public Turing-test to tell

Computers and Humans Apart

VISUELE OBJECTHERKENNING (1A)

Template-matching model

• Een heel inkomend patroon wordt gematched op gelijkenis

met een heel opgeslagen (stored) patroon

44

Template-matching model

45

VISUELE OBJECTHERKENNING (1B)

Feature analysis theories

- bepaalde kenmerkende

stukjes van een patroon

vergeleken met

opgeslagen stukjes

- match kenmerken

- match relatie tussen

kenmerken

- selecteer match met

hoogste activatie

46

Welke “feature demons” reageren op de R?

VISUELE OBJECTHERKENNING (2)

FEATURE ANALYSIS THEORY

Eleanor Gibson's research

Benodigde tijd om te bepalen of letters verschillen hoger als letters veel dezelfde kenmerken hebben

Model voor herkennen van letters en cijfers op enveloppen

Hubel and Wiesel's research

Respons van enkel neuron op eenvoudige visuele stimulus

Afhankelijk van plaats op de retina and orientatie

Dus: (Aangeboren) feature detectors helpen ons bepaalde kenmerken van letters en eenvoudige patronen te herkennen.

47 http://www.ftpress.com/articles/article.aspx?p=1431818

VISUELE OBJECT HERKENNING

48

http://www.cns.nyu.edu/~david/courses/perception/lecturenotes/recognition/recognition.html

Biederman (1990 /

1995): recognition-by-

components theory:

• Een speciale view van

een object is een

samenstelling van

eenvoudige 3-D vormen;

geons

• 36 categories of geons

• We herkennen objecten

door een specifieke

combinatie van geons.

49

THEORIEËN VAN VISUELE

OBJECTHERKENNING

Is in feite een feature-analysis theorie!! Wordt ondersteund door fMRI onderzoek.

VISUAL OBJECT

RECOGNITION

Aanpassingen aan The Recognition-by-Components Theory:

viewer centered approach

• Een standaard gezichtspunt leidt tot snellere

herkenning dan een ongebruikelijk gezichtspunt

• Verschillende views op objecten opgeslagen, niet een

enkel gezichtspunt

Zowel feature-analysis theory als de recognition-by-

components theory kunnen een deel van de menselijke

vaardigheden in objectherkenning verklaren …

50

OBJECT HERKENNING:

CONTEXT

Tot nu geïsoleerde

objecten

Hoe helpen

context, kennis en

verwachting

herkenning?

51

BOTTOM-UP VERSUS

TOP-DOWN PROCESSING

Bottom-up processing

Kenmerken van de stimulus zijn belangrijk voor het herkennen van een object.

Top-down processing

Concepten, verwachtingen en geheugen helpen herkenning. Sterk bij:

- Zeer korte waarneming

- Incomplete of ambigue stimulus

52

TOP DOWNPROCESSING: LEZEN

Wat zegt het volgende over hoe we tekst herkennen?

53

Cognitie & Informatieverwerking 2008

OVERACTIEVE TOP-DOWN

PROCESSING

Smart mistakes: strategie van top-down processing overheerst

Change blindness (verandering wordt niet opgemerkt)

Inattentional blindness (een nieuw object wordt niet opgemerkt). Vooral als de taak cognitieve inspanning vraagt

Change blindness

http://www.youtube.com/watch?feature=player_embedded&v=FWSxSQsspiQ

54

http://www.theinvisiblegorilla.com/videos.html

55

Kies 1 kaart

Ik heb jouw kaart verwijderd!!!

VERANDERINGSBLINDHEID

(1)

57

VERANDERINGSBLINDHEID

(2)

58

59

AANDACHT

WAT IS “AANDACHT” /

ATTENTION?

Onze cognitieve processen kunnen niet op alles tegelijk letten.

Matlin (2010): “Attention is a concentration of mental activity

that allows you to take in a limited portion of the vast stream of

information available from both your sensory world and your

memory.”

Top-down en bottom-up processing:

bewust concentreren – aandacht wordt getrokken door stimulus in

de omgeving.

60

BOTTOM-UP VERSUS

TOP-DOWN

61

niet hier!!

Kijk hier

niet hier!!

niet hier!! Aandacht kan bottom-

up getrokken worden

BOTTOM-UP VERSUS

TOP-DOWN

Bottom-up: data driven (guided by sensory features)

Top-down: concept driven

62

ATTENTION PROCESSES DIVIDED ATTENTION

Divided-attention task (verdeelde aandacht)

• Proberen aandacht te besteden aan twee of meer tegelijk binnenkomende boodschappen

• Juist reageren op de boodschappen

• Gevolg: langzamer en meer fouten

Multitasking

• Proberen twee of meer taken tegelijk te doen

• Zware belasting voor aandacht, werkgeheugen en langetermijngeheugen

• Task switching is net als multitasking belastend en leidt tot vertraging en fouten

63

KLOPT DIT ?

64

http://infographics.idlelist.com/the-perils-of-multitasking/

DIVIDED ATTENTION

Veel onderzoek naar gebruik mobiele telefoon

Bijvoorbeeld studies naar autorijden

• Collet et al. (2011)

• Mobiele telefoongebruik tijdens rijden in een simulator

• Reactietijden tijdens rijden 20% langzamer dan zonder

de mobiele telefoon

• Strayer et al. (2003)

• hands-free bellen

• langzamer met remmen

• inattentional blindness

• passagiers die bellen leiden ook af (gesprek proberen te

volgen)

65

VOORBEELDEN

Aandacht voor mobiele telefoon

http://www.youtube.com/watch?v=R8-W6o8Eu7c

http://www.youtube.com/watch?v=Z8-Kcg11YcY

Appen in de auto

http://www.youtube.com/watch?v=HbjSWDwJILs&list=PLm8ucpV

zZ-bF23tP5fV8Fh_x-R794o4O3

66

ATTENTION PROCESSES SELECTIVE ATTENTION

Selective Attention (selectieve aandacht)

Bij een divided attention task moet een individu evenveel aandacht besteden aan twee of meer taken.

Bij een selective attention task juist aandacht voor bepaalde informatie en andere negeren.

Maakt het dagelijks leven eenvoudiger.

We filteren onbelangrijke informatie en taken uit.

67

SELECTIVE

ATTENTION TASKS

• Dichotic listening (=beide oren)

• The Stroop Effect/Task

• Visual search

• Saccadic eye movements during

reading

68

SELECTIVE

ATTENTION TASK

Dichotic Listening

Via koptelefoon worden twee

verschillende teksten

voorgelezen (1 links, 1 rechts).

Opdracht: volg een van de

teksten en herhaal deze hardop

Mensen merken erg weinig op

over de andere tekst

(bijvoorbeeld niet het switchen

van taal).

69

DICHOTIC LISTENING

In het algemeen kunnen mensen maar een boodschap tegelijk

verwerken.

De andere boodschap kan wel worden verwerkt wanneer:

1. Beide teksten langzaam worden gepresenteerd

2. De uit te voeren taak niet te ingewikkeld is

3. De betekenis van de boodschap waar de aandacht niet op

gericht was, relevant is

4. Cocktail party effect (naam valt op)

70

SELECTIVE

ATTENTION TASK

The Stroop Effect

Zeg de kleuren van de woorden hardop, negeer de betekenis

van het woord. Meet de benodigde tijd om de lijst 5 maal op te

lezen.

71

SELECTIVE

ATTENTION TASK

The Stroop Effect

Zeg de kleuren van de vakjes hardop. Meet de benodigde tijd

om dit 5 maal te doen.

72

STROOP EFFECT

Het kost meer tijd om de kleur te noemen wanneer het woord een andere kleur aanduidt (en dus afleidt). Bij de vakjes gebeurt dat niet.

Verklaringen:

• connectionist/parallel distributed processing (PDP) approach ; twee pathways worden tegelijk geactiveerd (kleur van de inkt, betekenis van het woord) en interfereren.

• Volwassenen hebben meer ervaring met het lezen van woorden (automatisch en onwillekeurig) dan benoemen van kleuren

• Zie in Matlin: emotional Stroop task.

73

SELECTIVE

ATTENTION TASK

Visual search

Vind een specifiek object in een afbeelding met veel afleidende

objecten

Variabelen die invloed hebben:

• Meer accuraat wanneer het target vaker voorkomt (niet hier dus)

74

VISUAL SEARCH

75

Variabelen die visueel zoeken beïnvloeden

The isolated-feature/combined-feature effect (Treisman and

Gelade (1980))

1. Zoek de blauwe x. Vind je ze ongeveer even snel, of niet?

VISUAL SEARCH

En nu?

76

VISUAL SEARCH

Als het doelobject van de irrelevante objecten verschilt in een

enkel kenmerk zoals kleur, is het eenvoudig het doelobject te

vinden (isolated feature).

Wanneer er sprake is van een combinatie van kenmerken (kleur

en vorm) duurt het zoeken langer (combined feature).

77

VISUAL SEARCH

Variabelen die visueel zoeken beïnvloeden

The feature-present/feature-absent effect(Treisman and Souther

(1985)).

Zoek de cirkel met het streepje of de cirkel zonder het streepje

78

79

The neural basis of attentional control in visual search

M. Eimer, 2014

Attention in the real world: toward understanding its neural basis

M.V. Peelen, S.Kastner, 2013

80

SACCADES EN EYE TRACKING

SACCADIC EYE

MOVEMENTS BIJ LEZEN

A selective-attention task

Oogbewegingen zijn van belang bij kijken, zoeken, lezen, autorijden, spreken …

Saccadic eye movement

• Serie van kleine sprongetjes van het oog

• brengt het centrum van de retina (fovea) boven de woorden die gelezen worden

• Het oog beweegt vaak over spaties, korte woorden en voorspelbare woorden heen maar pauzeert bij spelfouten en ongebruikelijke woorden.

81

http://www.microsoft.co

m/typography/ctfonts/W

ordRecognition.aspx

SACCADES

82

Wat doet deze persoon?

•bij elke saccade

beweegt het oog

ongeveer 7-9 letters

vooruit

•150.000 – 200.000

saccades per dag

MEASURING ATTENTION

BY EYE TRACKING

83

Are People Drawn to Faces on Webpages? – T.Tullis, M.Siegel &

M.Sun in: CHI 2009, Boston, Massachusetts, USA.

Faces draw

attention to them on

webpages

Study 1:

users are clearly

drawn to faces

when asked to look

at pages and report

what they

remember

EYE TRACKING AND TASK-

PERFORMANCE

84

Are People Drawn to Faces on Webpages? – T.Tullis, M.Siegel &

M.Sun in: CHI 2009, Boston, Massachusetts, USA.

Study 2:

•a Portfolio

Summary page

was modified to

contain either a

photo of a

woman’s face or

no image

•tasks that had

answers that

could be found

by reading

information on

the page

EYE TRACKING AND

TASK-PERFORMANCE

85

Study 2:

Contrary to

expectation, a

picture of a face in

this context actually

caused users to do

worse on a task

involving information

adjacent to the face.

VERKLARINGEN VOOR

AANDACHT

Neurowetenschappelijk

onderzoek

The Orienting Attention

Network

• Selecteert informatie uit

zintuiglijke input

• Voorbeeld: gericht zoeken,

visual search

• (voor een deel) in de

parietal lobe (pariëtale

kwab) gelegen

86

NEUROWETENSCHAPPELIJK

ONDERZOEK

The Executive Attention Network

• Is actief wanneer we ons richten

op een taak met

tegenstrijdigheden, zoals de

Stroop task

• Verhindert automatische

responses op stimuli

• Prefrontale cortex

• Top-down control van aandacht

• Academische vaardigheden,

nieuwe dingen leren

87

88

http://video.ted.com/talk/podcast/2013G/None/ApolloRobbins_2013G-480p.mp4

THEORIËN VOOR AANDACHT:

BOTTLENECK THEORIE

• Menselijke informatieverwerking heeft vernauwing

• Beperking van de hoeveelheid informatie die aandacht krijgt

• De rest blijft achter/verdwijnt

• Maar: deze verklaring is te simpel

• Informatie verdwijnt in meer fasen van het proces van aandacht

• Verouderde theorie

89

Bevinding: slechts een

gedeelte van het aanbod

aan input wordt verwerkt.

FEATURE-INTEGRATION

THEORY (ANNE TREISMAN)

distributed attention Automatisch registreren van kenmerken (bijv.een ruimte)

Parallel processing

Identificeert objecten simultaan

“Low-level processing” dwz zonder inspanning, automatisch

focused attention Langzamere, seriële verwerking

Identificeren van 1 object tegelijk

Complexe objecten

Identificeren welke kenmerken bij elkaar horen (bijv. vierkant en blauw)

90

1. Basic elements

FEATURE-INTEGRATION THEORY

2. Research on the theory

91

isolated features (distributed attention; ‘pop out’)

combined features (focused attention)

FEATURE-INTEGRATION

THEORY

3. Current status of the theory

• Distributed attention can occasionally resemble focused attention.

• Visual system may use distributed attention to quickly gather information about the general gist of a scene.

92

SAMENVATTEND

Perceptie

• Gewaarwording (sensatie)

• Waarneming (perceptie)

• Theorieën van visuele perceptie (patroonherkenning)

• Face perception & speech perception zelf bestuderen!

Aandacht

• Top-down vs Bottom-up processing

• Selectieve aandacht

• Verdeelde aandacht

• Feature integration theory

• Saccades, eye tracking, change blindness

• Consciousness (facultatief)

93

94

WERKCOLLEGE

95

MULTITASKING

96

OPDRACHT

Bedenk en test een klein experiment om jongeren te laten zien en overtuigen dat multitasking een negatief effect heeft op hun prestaties.

Kies uit twee cases:

1. Whatsappen en fietsen

2. Skypen/gamen en huiswerk maken

Het experiment mag de veiligheid van de puber niet in gevaar brengen, moet overtuigend en eenvoudig uitvoerbaar zijn.

Bijvoorbeeld:

Whatsappen met de rechterhand en met de linkerhand het ritme van een liedje tikken; versus eerst appen en dan ritme tikken. Hoeveel fouten?

Een couplet van een song leren en tegelijk gamen; versus ongestoord leren. Hoeveel tijd nodig, hoeveel fouten?

97

ORGANISATIE

• 10 minuten bedenken

• 10 minuten uitproberen en aanpassen (mag buiten de zaal)

• Het experiment is korter dan 5 minuten.

• Welke materialen gebruik je? (smartphone, pilonnen, etc)

• Waar voer je het uit?

• Hoe meet je de uitkomsten? Fouten, tijdsduur, enz. Hoe

vergelijk je de condities?

Iedereen is terug in de zaal om 11.30u

Presentatie/demonstratie tot 12.00u.

98