1 Informatie zoeken op het web 15 oktober 2010

Meten van cognitieve processen met

oogbewegingregistratieapparatuurWorkshop eye-tracking

Ludo van Meeuwen, CELSTEC, Open Universiteit Nederland

2 Informatie zoeken op het web 15 oktober 2010

Interesses en verwachtingen

• Voorstellen/Achtergrond?

• Ervaringen met eye-tracking?

• Met welke verwachting naar deze workshop gekomen? / wat hoop je te leren?

3 Informatie zoeken op het web 15 oktober 2010

Ludo van Meeuwen

• BSc Technische Innovatie Wetenschappen (oude Techniek en Maatschappij)

• Ir. Human Technology Interaction (HTI/HCI)

• Master thesis: CELSTEC, Information Problem Solving

• Gebruik eye-tracker (meten van (meta-)cognitieve processen)

• PhD: CELSTEC/Luchtverkeersleiding Nederland

• Adaptief trainen• Gebruik eye-tracker

• Meten van (meta-)cognitieve processen

• Scanning

• Docent Trends

4 Informatie zoeken op het web 15 oktober 2010

Het Oog: onderdelen

Tobii (2010)

5 Informatie zoeken op het web 15 oktober 2010

Het oog: Visual Acuity / Visual Resolution

• Visual Acuity. Het stuk dat we scherp zien dankzij de Fovea Centralis (geen staafjes, alleen kegeltjes)

6 Informatie zoeken op het web 15 oktober 2010

Het Oog

Saccades

Fixaties

7 Informatie zoeken op het web 15 oktober 2010

Het Oog: Fixaties en saccades

• Saccades: 4 à 5 saccades per seconde tijdens lezen

• Fixaties: Alleen dan kun je wat zien (je ziet nooit een eigen saccade in een spiegel)

Secular & Blake (2002)Holmqvist et al. (2010)

8 Informatie zoeken op het web 15 oktober 2010

Waarvoor eye-tracking?

• User-interface design

9 Informatie zoeken op het web 15 oktober 2010

Waarvoor eye-tracking?

• Verkeersonderzoek

10 Informatie zoeken op het web 15 oktober 2010

Waarvoor eye-tracking?

• Luchtverkeersleiding

11 Informatie zoeken op het web 15 oktober 2010

Waarvoor eye-tracking?

• Hulp voor gehandicapten

12 Informatie zoeken op het web 15 oktober 2010

Waarvoor eye-tracking?

• Leesonderzoek

13 Informatie zoeken op het web 15 oktober 2010

Waarvoor eye-tracking?

• Zoeken op Internet / HCI

14 Informatie zoeken op het web 15 oktober 2010

Verschillende modellen eye-trackers

according to Holmqvist et al. (2010)

15 Informatie zoeken op het web 15 oktober 2010

Verschillende modellen eye-trackers

16 Informatie zoeken op het web 15 oktober 2010

Verschillende modellen eye-trackers

17 Informatie zoeken op het web 15 oktober 2010

Verschillende modellen eye-trackers

18 Informatie zoeken op het web 15 oktober 2010

Voor- en nadelen

Mobiliteit, hoofdbewegingen ✔ ✖ ✖

“aanwezigheid” afleidend ✔ ✔ ✖

Resolutie✖ ✔ ✔

Automatische analyse✖ ✔ ✔

Fysische reacties (armbewegingen) ✔ ✔ ✖ ✔

19 Informatie zoeken op het web 15 oktober 2010

Data-kwaliteit

• Callibratie

• Bril

• Mascara

• Oudere ogen

• Etniciteit

• Lange haren

• Knipperen

• (Snelle) hoofdbewegingen

• Schermafstand (ongeveer 60 cm)

• Duur opname (drift her-callibratie)

• Onbekende factoren

20 Informatie zoeken op het web 15 oktober 2010

• Casus van meten: SRL in Luchtverkeersleidingopleiding

• Wat zijn cognitieve processen

• Op taak niveau: domein competenties• Scannen

• Opbouwen mentaal beeld

• Besluitvorming volgorde

• Op meta niveau: SRL vaardigheden• Oriënteren

• Plannen

• Monitoren

• Aanpassen

• Beoordelen

Hoe meet je (meta-)cognitieve processen?

21 Informatie zoeken op het web 15 oktober 2010

Hoe meet je (meta-)cognitieve processen?

• Meten van (meta-)cognitieve processen

• Online: Hardop denken (noem voor- en nadelen)- Stoort het ‘echte’ proces van een taak

- Behoeft training

- Mist informatie (klikken zonder iets te zeggen)

+Geen ‘fabricage’

• Off-line: Vragenlijsten (noem voor- en nadelen)- Sociaal wenselijke antwoorden

- Beperkte validiteit

- Lange vragenlijsten

+Eenvoudige data analyse

22 Informatie zoeken op het web 15 oktober 2010

Hoe meet je (meta-)cognitieve processen?

• Cued Retrospective Reporting

• In plaats van Hardop denken

ATC Task Cued Retrospective

Report

23 Informatie zoeken op het web 15 oktober 2010

Hoe meet je (meta-)cognitieve processen?

• CRR-uitingen

• “Hier zie je hoe ik dit groepje in de gaten houd” (taakniveau)

• “Ik had er voor kunnen kiezen om deze kist af te remmen, maar ik gebruikte een andere strategie…” (meta-niveau/monitor).

• “Hier had ik ervoor moeten kiezen om die kist toch naar voren te halen omdat…”(meta-niveau/beoordelen)

• “Hier maakte ik er echt een drama van!” (meta-niveau/beoordelen)

• Uittypen van report Maken scoreschema scoren

24 Informatie zoeken op het web 15 oktober 2010

Hoe meet je (meta-)cognitieve processen?

• Online: Hardop denken (noem voor- en nadelen)- Stoort het ‘echte’ proces van een taak- Behoeft training- Mist informatie (klikken zonder iets te zeggen)+Geen ‘fabricage’

• Cued Retrospective Report+ Stoort het ‘echte’ taakproces niet+ Behoeft nauwelijks training+ Krijgt heel veel informatie- Beperkte taaklengte (10 min)- Kost veel tijd (zeker bij vertraagd afspelen) - (dure) apparatuur- Te veel informatie?

25 Informatie zoeken op het web 15 oktober 2010

Proef op de som

• Een persoon achter de eye-tracker

• Info zoeken

26 Informatie zoeken op het web 15 oktober 2010

IPS and eye-tracking

• Tracking the brain

27 Informatie zoeken op het web 15 oktober 2010

Samenvattend tot nu toe

• Het Oog

• Waarvoor eye-tracking

• Waarmee eye-tracking

• Data-kwaliteit

• Hoe meet je (meta) cognitieve processen?

• Zelf ervaren

• IPS

• Straks:

• Zelf eye-tracken

• Zelf onderzoek opstellen

• Voorbeeld studie (Scanning)

28 Informatie zoeken op het web 15 oktober 2010

Einde deel 1

Vragen? Opmerkingen?

29 Informatie zoeken op het web 15 oktober 2010

Proef

• MARS

30 Informatie zoeken op het web 15 oktober 2010

Het eigen onderzoek

• Probleem

• Hypothesen

• Methode

• Eye-tracking

• Resultaten/conclusie….

• Wat voor type data komt er nou uit…wat voor vragen zijn te beantwoorden

31 Informatie zoeken op het web 15 oktober 2010

Analyse van:AOI’s Fixation Duration, Visit duration, Transition matrix...

• Scanning studie

• Proefpersoon

• Presentatie van de voorlopige resultaten

32 Informatie zoeken op het web 15 oktober 2010

Einde deel 2

Vragen? Opmerkingen?

Ludo.vanMeeuwen@ou.nl

33 Informatie zoeken op het web 15 oktober 2010

(aan)leren mbv eye-trackng (Jarodzka 2010)

top-down

bottom-upNOVICES

EXPERTS

34 Informatie zoeken op het web 15 oktober 2010

Expertise difference studies

• Classification of movement patterns in zoology

Jarodzka, H., Scheiter, K., Gerjets, P., & Van Gog, T. (2010). In the eyes of the beholder: How do experts and novices interpret complex, dynamic stimuli, Learning and Instruction, 20, 146-154.

NOVICESEXPERTS

• are faster and more accurate in task performance

•use heterogeneous task approaches

• use knowledge- and experience-based shortcuts (in perceptual and conceptual processes)

...

• are slow and more inaccurate in task performance

•use homogenous task approaches (saliency-driven)

• attend to irrelevant elements (in looking and describing)

...

35 Informatie zoeken op het web 15 oktober 2010

Influence of different display designs to facilitate task performance

• Attention guidance

• How can attention of observers be guided?

• Efficient visual search

• Looking fast and long on relevant areas, without being distracted by salient, but irrelevant areas

• Interpretation

• Correctly interpreting the relevant areas