Taal en Het Brein

Dr. Marte Otten

m.otten@uva.nl

1

Taal en het brein

Electro-Encephalogram (EEG)

Event-related potentials (ERPs)

Activiteit opgeroepen door een specifieke stimulus of gebeurtenis

Inzetten om taalverwerking te bestuderen?

Taalgerelateerde componenten van het ERP

N400

P600

2

Taal en het brein

N400

Negatieve component met een maximum rond 400 ms na woord onset

Amplitude is groter als het woord semantisch onverwacht is.

In zo’n geval is de N400 dus negatiever

3

sokken

kaas

Zij belegde haar brood met …

4

N400 - contextschendingen

N400

Indicatie van semantische fit van een woord binnen de context

Zinscontext

Woordcontext (priming)

Bredere (niet-talige) context

5

N400 - zinscontext

N400

Indicatie van semantische fit van een woord binnen de context

Zinscontext

The table chased the cat

Let op! Verwarrende italics in dit voorbeeld in het boek!

The table chased the cat (boek)

The table chased the cat (beter)

‘table’ zal geen N400 oproepen, ‘chased’ wel

N400 wordt opgeroepen door het woord dat de zin onlogisch maakt.

6

N400 - zinscontext

N400

Indicatie van semantische fit van een woord binnen de context

Woordcontext

Peace – war (gerelateerd)

Star – hour (ongerelateerd)

7

400 ms

N400 – bredere context

N400

Indicatie van semantische fit van een woord binnen de context

Bredere (niet-talige) context

Wereldkennis

Sociale kennis

8

N400 - wereldkennis

Nederlandse treinen zijn geel en erg druk

Nederlandse treinen zijn wit en erg druk

Nederlandse treinen zijn zuur en erg druk

9

N400 - wereldkennis

Als achtergrondkennis geen directe rol speelt:

Nederlandse treinen zijn geel en erg druk

Nederlandse treinen zijn wit en erg druk

Nederlandse treinen zijn zuur en erg druk

kan

10

N400 - wereldkennis

Als achtergrondkennis geen directe rol speelt:

Nederlandse treinen zijn geel en erg druk

Nederlandse treinen zijn wit en erg druk

Nederlandse treinen zijn zuur en erg druk

kan ook

11

N400 - wereldkennis

Als achtergrondkennis geen directe rol speelt:

Nederlandse treinen zijn geel en erg druk

Nederlandse treinen zijn wit en erg druk

Nederlandse treinen zijn zuur en erg druk

wtf, N400

12

N400 - wereldkennis

Als achtergrondkennis direct een rol speelt:

Nederlandse treinen zijn geel en erg druk

Nederlandse treinen zijn wit en erg druk

Nederlandse treinen zijn zuur en erg druk

idd

13

N400 - wereldkennis

Als achtergrondkennis direct een rol speelt:

Nederlandse treinen zijn geel en erg druk

Nederlandse treinen zijn wit en erg druk

Nederlandse treinen zijn zuur en erg druk

nee, N400

14

N400 - wereldkennis

Als achtergrondkennis direct een rol speelt:

Nederlandse treinen zijn geel en erg druk

Nederlandse treinen zijn wit en erg druk

Nederlandse treinen zijn zuur en erg druk

wtf, N400

15

N400 - wereldkennis

Hagoort et al. (2004)

Wat suggereren deze resultaten?

govote.at code 84 84 36 resultaten

16

N400 - wereldkennis

Hagoort et al. (2004)

Achtergrondkennis/ wereldkennis speelt direct een rol in semantische taalverwerking.

17

N400 – Sociale Context

18

“De goddelijke Wereld is de andere wereld: de lichtsferen. Uit deze wereld komen mijn helpers die via mij de wereld kunnen bereiken.”

N400 – Sociale Context

“De goddelijke Wereld is de andere wereld: de lichtsferen. Uit deze wereld komen mijn helpers die via mij de wereld kunnen bereiken.”

19

sex / gender

age

social background

N400 – Sociale Context

Sommige sociale kenmerken kan je afleidenuit de stem van de spreker

20

N400 – Sociale Context

Female/male: Zag ik er maar zo uit als Britney Spears in haar laatste videoclip.

Male/female: Om me te ontspannen ga ik op zaterdag regelmatig vissenaan het kanaal.

Upper/lower: Wij gaan iedere maand naar de opera voor een avondje uit.

Lower/upper: Ik heb een grote tatoeage op mijn rug.

Child/adult: Ik kan niet slapen zonder mijn knuffelbeer in mijn armen.

Adult/child: Ik vind het lekker om een groot glas bier te drinken.

21

N400 – Sociale ContextAdult: Ik kan niet slapen zonder mijn knuffelbeer

300-500 ms 500-700 ms

-1 μV 0 μV 1 μV

scalp distribution of effect

-

+

N400 effect

22

Child: Ik kan niet slapen zonder mijn knuffelbeer

Taal en het brein

23

P600

Positieve component startend rond 600 ms na woord onset

Amplitude is groter als het woord syntactisch onverwacht is.

In zo’n geval is de P600 dus positiever.

0 500 1000 ms

Cz

De jager schoot op het luipaardDe jager schoot op het olifant

P600

Indicatie van het foutlopen van / een toename in syntactische verwerking

Opgeroepen door grammaticale fouten

Het olifant

De mannen loopt door de straat

Hij heeft hem geslaagd

Maar, soms ook P600 bij fouten die niet echt grammaticaal zijn

Kuperberg et al.

24

P600

Kuperberg et al.

For breakfast the boys would eat toast and jam.

For breakfast the eggs would eat toast and jam.

25

Semantic violation

P600

26

For breakfast the boys would eat toast and jam.For breakfast the eggs would eat toast and jam.

P600

Kuperberg et al.

For breakfast the boys would eat toast and jam.

For breakfast the eggs would eat toast and jam.

Technisch gesproken is dit een semantische fout

Maar! Breinresponse = P600

Suggereert dat een luisteraar of lezer dit initieel waarneemt als een grammaticaal probleem

Wellicht ben ik het garden path opgegaan?

Heranalyse van syntactische verwerking!

27

Taal en het brein

Onderzoek zoals dat van Kuperberg et al. illustreert de toegevoegde waarde van EEG/ ERP onderzoek

Verschillende ERP componenten zijn gerelateerd aan verschillende cognitieve processen

ERP effecten vertellen niet alleen dat er ietsgebeurt in het brein

ERP effecten geven ook suggestie wat er gebeurt in het brein

28

N400/P600 vraag

29

1. Ik nam een grote hap van de overheerlijke schoen met kaas.

2. De man die de schoen had gegeten liepflink door.

3. Hij sloeg de meisje met de schoen.

4. De schoenen waren helemaal verslijten.

Bij welke woorden verwacht je eenN400/ P600 effect te zien in de bovenstaande zinnen?

www. govote.at code 124 84

resultaten

N400/P600 vraag

30

1. Ik nam een grote hap van de overheerlijkeschoen met kaas.

2. De man die de schoen had gegeten liep flinkdoor.

3. Hij sloeg de meisje met de schoen.

4. De schoenen waren helemaal verslijten.

N400/P600 vraag

31

Tip: dek het vervolg van de zin af en lees alsof je niet weet hoe het verder gaat

1. Ik nam een grote hap

1. Ik nam een grote hap van

1. Ik nam een grote hap van de

1. Ik nam een grote hap van de overheerlijke

1. Ik nam een grote hap van de overheerlijke schoen

N400/P600 vraag

32

Tip: dek het vervolg van de zin af en lees alsof je niet weet hoe het verder gaat

3. Hij sloeg

3. Hij sloeg de

3. Hij sloeg de meisje

Lokalisatie

N400 / P600 onderzoek

Gaat grotendeels over inhoud en eigenschappenvan cognitieve functies betrokken bijtaalverwerking

Geen info over locatie van deze processen

33

Lateralisatie van taal

Lateralisatie-test

Wada test (p. 125, Gazzaniga)

Uitschakelen van een hersenhelft

Welke hersenhelft is verantwoordelijk voor taal/ geheugen

Voorafgaand aan hersenoperatie

34

Lateralisatie van taal

Taal zit bij de meeste mensen (90%) in de linker hemisfeer

Rechts dominant slechts bij

4% van de rechtshandigen

15% van de ambidextrous

27% van de linkshandigen

35

Lateralisatie van taal

Split brain patienten

Corpus callosum doorgesneden

Twee hersenhelften niet meer corticaal met elkaar verbonden

36

Lateralisatie van taal

Split brain patienten

Sperry: taak voel en benoem de objecten

Linkerhand -> Rechterhersenhelft

Rechterhand -> Linkerhersenhelft

37

Lateralisatie van taal

Split brain patienten

Sperry: taak voel en benoem de objecten

Linkerhand -> Rechterhersenhelft

Moeite met benoemen

Rechterhand -> Linkerhersenhelft

Geen moeite met benoemen

38

Lateralisatie van taal

http://youtu.be/ZMLzP1VCANo

39

Lateralisatie van taal

40

Localisatie van taal

Afasie

Van Grieks a (niet) en phanai (spreken)

Ontstaan door hersenschade

Externe oorzaken

Ongeluk, geweld

Interne oorzaken

Cerebro Vasculair Accident(CVA of ‘beroerte’)

infarct = afsluiting van bloedvat

bloeding = gebarsten bloedvat

Tumor

Ontsteking

Degeneratieve aandoening 41

Broca

Beroemdste patiënt

Leborgne (Tan)

Beschadiging in het achterste gedeelte van de linker frontale kwab

Posterior part of Brodmann area 44 en 45

42

Afasie van Broca

“Augustus bloeding… november ietsje vertellen… ja mondje houden. Maar innerlijk he… januari stukje beter… behoorlijk herinneren enzovoort… maar spreken moeilijk… januari bijvoorbeeld twee woorden, meer niet… eh ‘koffie’ en ‘thee’ en verder niet… maart stukje meer, tien woorden… dus ‘eten’ en ‘drinken’ enzovoort… mei een stukje verder meer… honderd woorden… nu vijfde jaar redelijk gesprekken volgen”

(Hagoort & Wassenaar 1997)43

Broca’s afasie

http://youtu.be/gocIUW3E-go

44

Broca

Broca’s afasie

Vooral productie problemen

Telegram stijl

Geen functiewoorden of -morfemen

Moeite met grammatica

The boy kicked the girl

The boy was kicked by the girl

Problemen om het juiste woord te vinden

45

Figure 12.7 Broca’s area

Wernicke

Beschadiging in het achterste gedeelte van de superior temporal gyrus

Posterior part of Brodmann area 22

47

Afasie van Wernicke

“Dat ik ziek werd was een ongeluk wat gebeurde met de radio waarheen slag hè… die radio ingeslagen die zit eh zat mijn oog nog half doof is en ik helemaal bewusteloos was… Later ben ik weer bijgekomen zijn de dingen weer allemaal gekomen behalve dit is nog een hoop blind in deze arm en dit deze dus een toeslag noemen ze dat bij ons, hè, toeslag van de van de licht van de armen…”

(Hagoort & Wassenaar 1997)

48

Wernicke

Wernicke’s afasie

Vooral perceptie

Grote problemen met taalbegrip

Spraak is vloeiend maar betekenisloos

o.a. door veel foneem substituties (phonemicparaphasias)

49

Wernicke’s afasie

http://youtu.be/dKTdMV6cOZw

50

Figure 12.8 Wernicke’s area

Globale afasie

Arcuate fasciculus

52

Globale afasie

“…Ja, ja, ja, verdomme eh verdomme ehjongejongejonge, eh verdomme verdommeeh Apeldoorn eh verdomme pats.” Interviewer: En toen bent U naar het ziekenhuis gegaan?“ja verdomme oh verdomme oeioeioeiverdomme nou verdomme pats.…”

Hagoort & Wassenaar 1997

53

Globale afasie

Bijna geen perceptie

Bijna geen productie

Alleen “automatische” spraak (bv. tellen)

54

Wernicke-Lichtheim-Geschwind model

Gebied vanBroca

Gebied vanWernicke

Conceptueel

Motor Auditief

Fonologischlexicon met daarin de

klanken van woorden

Spraakplanning en

spraakprogrammeer

gebied

Betekenissen

55

Wernicke-Lichtheim-Geschwind model

Wernicke-Geschwind model

Broca’s area is voor productie

Wernicke’s area is voor perceptie

56

Leasies betrokken bij taalbegrip afasien(Dronkers 2004)

57

Leasies betrokken bij taalbegrip afasien(Dronkers 2004)

58

Leasies betrokken bij taalbegrip afasien(Dronkers 2004)

59

Leasies betrokken bij taalbegrip afasien(Dronkers 2004)

60

Taal en het brein

Meer breingebieden betrokken bij afasie danalleen de gebieden van Broca en Wernicke.

Waar ‘zit’ taal nou in het brein?

61

Localisatie van taal

Penfield

Intracranial electrical stimulation

Gebieden betrokken bij taalbegrip en taalproductie

62

Localisatie van taal

fMRI

Taal zit overal?

fonologie

Semantiek

Syntax

Motorprocessen

Visuele verwerking

Auditieve verwerking

Cognitieve controle

63

Taalbegrip – fMRI bevindingen

Semantiek

Binder et al (2009)

Meta-analyse van 691 studies

64

Taalbegrip – fMRI bevindingen

Semantiek

Binder et al (2009)

Meta-analyse van 691 studies

65

Taalbegrip – fMRI bevindingen

Semantiek

Binder et al (2009)

Meta-analyse van 691 studies

Ventral temporal cortex: lexical retrieval & integratie

66

Taalbegrip – fMRI bevindingen

Semantiek

Binder et al (2009)

Meta-analyse van 691 studies

Left IFG (broca’s): efficient verwerken van semantiek, working memory, processing difficulty

67

Taalbegrip – fMRI bevindingen

Semantiek

Binder et al (2009)

Meta-analyse van 691 studies

Angular gyrus: waarschijnlijk betrokken bijhigh-level integration

68

Taalbegrip – fMRI bevindingen

Semantiek

Binder et al (2009)

Meta-analyse van 691 studies

dmPFC: dorsal medial prefrontal cortex waarschijnlijk betrokken bij vrijwilligesemantic retrieval

69

Taal en het brein - Kennis of processen?

“An alternative to the idea that linguistic information is lost is the idea that real-time mental processes that act on linguistic information might be compromised in aphasia” (Gazzaniga)

Linguistische informatie is nog wel aanwezig

Cognitieve processen betrokken bij taalverwerking zijn gecompromitteerd

Retrieval from memory

Integration in working memory

Cognitive control 70

Wat zijn die processen?

Ophalen van allerlei soorten informatie

Semantisch

Syntactisch

Fonologisch

Integreren van die informatie

in een lopend verhaalopgebouwd uit zinnen

opgebouwd uit woordenopgebouwd uit klanken

71

Wat zijn die processen?

Daarnaast nog controle Wanneer ga je wat zeggen

Welke taal gebruik je daarvoor

Etc.

72

Hagoort’s memory, unification, and control(MUC) model (2005)

Semantische, syntactische en

fonologischeinformatie

Controle(BA 46 en 9)

Broca (BA 44 en 45 plus BA 47)

Semantische, syntactische &

fonologische unificatiein gebied van Broca+

73

Hagoort’s memory, unification, and control (MUC) model (2005)

74

Take home message

Specifieke hersengebieden zijn geassocieerd met specifieke functies

Taalfuncties (semantiek)

Algemene cognitieve functies betrokken bij taal (cognitieve controle)

Vroeger

Broca’s is voor productie

Wernicke’s voor begrip

Wernicke-Lichtheim-Geschwind model

Recente ideeën meer in algemene termen

Opslag, integratie (unificatie) en controle

MUC model van Hagoort 75