Over de Kwaliteit van Foneemrepresentaties als Verklaring voor Dyslexie Fred Hasselman Ralf Cox Anna...

Over de Kwaliteit van Foneemrepresentaties als Verklaring voor Dyslexie

Fred Hasselman

Ralf CoxAnna Bosman

Dynamische Systeem Groep

Behavioural Science Institute

Warning: Werk in uitvoering


NOSMO, 24-02-06

“Speech is rather a set of movements made audible than a set of sounds produced by movements”

(Stetson 1951)


NOSMO, 24-02-06

Inhoud


NOSMO, 24-02-06

- Het dominante paradigma: Informatieverweking vs. EEC- (Mijn) problemen met huidige modellen en theorieën- Spraakperceptie nader bekeken

- Dyslexie: Een stoornis in de spraakperceptie?- De Spraakperceptie-deficiet-hypothese van dyslexie

-Dynamische Modellen: - ARTPHONE & SWEEP vs. Potentiaalfunctie

-Hoe dan wel? Een benadering vanuit Embodied, Embedded Cognition- Spraakproductie nader bekeken- Verwerving & Ontwikkeling- Wilde conclusies, Uitdagende uitspraken

Kent, R. (2000). Research on speech motor control and its disorders: A review and a prospective. Journal of Communication Disorders, 33, 391-428.


BRAIN

BODY

ENVIRONMENT


BRAIN

BODY

ENVIRONMENT

SOUL/ HOMUNCULUS / EVIL SCIENTIST / GOD

(Mijn) Problemen met deze modellen en theorieën:


NOSMO, 24-02-06

- Cognitie wordt bewerkstelligd door een ontlichaamd, wereldvreemd, symbool-manipulerend, logisch redeneer apparaat (het brein).

- Cognitive Internalism - Cowley, S., & Spurrett, D. (2003). ‘Putting apes (body and language) together again’, Language Sciences, 25, 289-318.- ”Brain in a Vat” view of cognition (Hillary Putnam).

- Modules en Archiefkasten: Lexicon decisie taakAbstracte, Statische RepresentatiesBij spraakproductie: Het “mint” probleem

WEAVER ++Levelt, W.J.M., Roelofs, A., Meyer, A.S. (1999). A theory of lexical access in speech production.

BBS, 22, 1-75


NOSMO, 24-02-06

ModulesArchiefkasten & Representaties

(Onze) Problemen met deze modellen en theorieën:


NOSMO, 24-02-06

- Cognitie wordt bewerkstelligd door een ontlichaamd, wereldvreemd, symbool-manipulerend, logisch redeneer apparaat (het brein).

- Cognitive Internalism - Cowley, S., & Spurrett, D. (2003). ‘Putting apes (body and language) together again’, Language Sciences, 25, 289-318.- ”Brain in a Vat” view of cognition (Hillary Putnam).

- Modules & Archiefkasten: Lexicon decisie taakBij spraakproductie: Het “mint” probleemAbstracte, Statische Representaties

- En hoe zit het met verwerving en ontwikkeling?

En hoe zit het met verwerving en ontwikkeling?

- De meeste modellen & theorieën verklaren acquisitie en ontwikkeling van cognitieve vaardigheden vanuit het “eind-product”.

Net of je er probeert achter te komen hoe je een cake moet bakken als je alleen maar cakes hebt die al klaar zijn.

- De meeste modellen & theorieën zijn (impliciet) nativistisch:

Cognitive vaardigheid -> Maturatie van het brein -> Genen

Genen -> Maturatie van het brein -> Cognitive vaardigheid


NOSMO, 24-02-06

En hoe zit het met verwerving en ontwikkeling?De meeste modellen & theorieën zijn (impliciet) nativistisch:

- Origine van foneemgrenzen / categorieën en verlies van het vermogen alle foneemcontrasten van elkaar te onderscheiden : “… infants’ language-specific phonetic categories may initially emerge from an underlying cognitive capacity and proclivity to store in memory biologically important stimuli.” Kuhl, P. K., Williams, K. A.,

Lacerda, F., Stevens, K. N., et al. (1992). Linguistic experience alters phonetic Perception in infants by 6 months of age. Science, 255, 606-608. - Infants’ ability to extract words from the speech stream (Jusczyk & Aslyn, 1995; Houston, Jusczyk,

Kuijpers, Coolen & Cutler, 2000)

- Humans’ ability to extract linguistic information from the acoustically diverse speech signal (Traunmüller, 1994)

- Speech module. Vouloumanos, A. & Werker, J. F. (2004). Tuned to the signal: the privileged status of speech for young infants. Developmental Science 7, 270–276.

- Use of grammar and syntax only in human languages: language as ‘instinct’ or special purpose module (Chomsky, 1988; Fodor, 1981; Pinker, 1994)

- The poverty of stimulus argument: Ability of infants to figure out the grammatical principles of their native tongue from just a small subset of linguistic input. (Hornstein & Lightfoot, 1981)


NOSMO, 24-02-06

Het “007-Principe”

“In general, evolved creatures will neither store, nor process information in costly ways when they can use the the structure of the environment and their operations upon it as a convenient stand-in for the information-processing operations concerned. That is, know only as much as you need to know to get the job done.”

(Andy Clark, 1997, p. 46)


NOSMO, 24-02-06

RTBeer, R.D. (2003). The dynamics of active categorical perception in an evolved model agent. Adaptive Behavior,11, 209-243.

ENVIRONMENT

BRAIN


NOSMO, 24-02-06

Am

plitu

de

Time (s)0 0.65

-1

1

0

Time (s)0 0.65

-1

1

0

BAK DAK

Sraakperceptie: The Basics


NOSMO, 24-02-06

Sraakperceptie : The Basics


NOSMO, 24-02-06

B b>A K D d>A KFormant

TransitionFormant

Transition

Sraakperceptie : The Basics


NOSMO, 24-02-06

Foneemgrenzen in een Akoestische Ruimte:Categorische Perceptie

F2

F3

'F3 constant'

1500

2000

2500

3000

3500

500 1000 1500 2000 2500

/b/

/d/


NOSMO, 24-02-06

Identification

0

0.5

1

/BAK/ 2 3 4 5 6 7 8 9

/DAK/

% /DAK/ heard

Het is mogelijk een continuum te maken van BAK naar DAK door langzaam de F2 begin frequentie te vergroten

Spraakperceptie: The Basics

Spraakperceptie: The Basics


NOSMO, 24-02-06

Door paren uit het continuum aan te bieden en te vragen of de stimuli van elkaar verschillen onstaat een discriminatie piek als de stimuli aan weerskanten van de

foneemgrens liggen

Discrimination

0

0.5

1

1 &3

2 &4

3 &5

4 &6

5 &7

6 &8

7 &9

8 &10

% Difference heard

Informatieverwekingstheorie / Computermetafoor:


NOSMO, 24-02-06

- Frequenties van geluid komen het oor binnen

- Worden geanalyseerd door het brein

- Worden gematched aan representaties van klanken die in het geheugen liggen opgeslagen

- Afzonderlijke klanken worden geassembleerd tot syllaben, syllaben tot woorden, woorden tot zinnen, etc. (Zie model uit begin presentatie)

Dyslexie: Een Spraakperceptie deficiet?


NOSMO, 24-02-06

Dyslexie-man

©Gummbah - 1999

Dyslexie: Een Spraakperceptie deficiet?

- Vaak wordt gevonden dat dyslectici een minder scherpe foneemgrens hebben bij identifiactie experimenten en een minder hoge discriminatie piek bij paarsgewijze aanbieding van stimuli (maar ook in baby EEG).

- Redenering: (o.a.Tallal, Miller & Fitch 1993): → Deficiet in temporele auditieve verwerking → Deficiet in verwerking van snelle formant transities→ Slechte foneemrepresentaties→ Conversie van grafemen naar fonemen (lezen) is moeilijk

- Allofoon perceptie (Serniclaes)

- Verklaringen gaan uit van het bestaan van een kritieke foneemgrens die statische foneemrepresentaties scheidt.


NOSMO, 24-02-06

Speech Perception: The ARTPHONE / SWEEP model

An Embodied, Embedded account of Speech Perception, Speech Production and... Reading?

Embodied Cognition Seminar, 18-07-05

- Based on the Adaptive Resonance Theory (Grossberg 1976, 1980)

- Set of four coupled (linear) differential equations, mimickingactivation of items in working memory and lexical short termmemory through transmitter dynamics.

-Accounts for categorical perception of VOT-continuum and speech rate. The SWEEP model is an extension of ARTPHONE capable of detecting transients in speech: formant transitions (Been

& Zwarts, 1999)

- ARTWORD, ARTSTREAM, ARTMAP, fuzzy ART etc. also exist.

wj \WM feature\dw:dt

gain

beta

amplitude

I \input function\

uj\STM lexical\

zju \LTM topdown\

zjw \LTM bottomup\

alpha \damping factor\

du:dt

dzu:dt

gamma

duration

dzw:dt

zeta \acc rate\

ubt \upper limit transmitter\

mu \metabolic rate\

lamda

delta

ts

transmitter dynamics input wm list

Globale parameters (Grossberg p.492):

alpha = 0.5beta = 1delta = 0.28gamma = 0.1lamda = 0.1mu = 2zeta = 0.1g (gain) = 1.1

Input function: a=0.1 dt=30ms1 item, dus input rate = 1

Time specs:Range-Kutta 4 0.1 step-size



0:52 vri 25 feb 2005

0.00 11.25 22.50 33.75 45.00

Milliseconds

1:

1:

1:

2:

2:

2:

3:

3:

3:

0,00

0,20

0,40

1: uj\STM lexical\ 2: wj \WM feature\ 3: I \input function\

1

1

1

1

2

2

2

2

3 3 3 3

input wm list (Untitled)





20:42 zat 16 jul 2005

0.00 11.25 22.50 33.75 45.00

Milliseconds

1:

1:

1:

2:

2:

2:

3:

3:

3:

0,00

0,20

0,40


1

1

1

1

2

2

2

23 3 3 3




20:46 zat 16 jul 2005

0.00 11.25 22.50 33.75 45.00

Milliseconds

1:

1:

1:

2:

2:

2:

3:

3:

3:

0,00

0,20

0,40


1

1

1

1

2

2

2

2

3 3

3

3


wjdw:dt

gain

beta

amplitude

Input

uj\bak\

zju

zjw

alpha

du:dt

dzu:dt

theta

duration

dzw:dt

zeta

ubt

mu

lamda

delta

ts

Table 1

ui \dak\

transmitter dynamics list activity

dui:dt

beta

theta

widwi:dt

delta

lamda

mu

zeta

gap

input

ubt

alphagain

som wizui

amplitude

LAMBDA

Input wi

delta t

tsi

zwi

dzwi:dt

zui

dzui:dt

n

ui

input

wi

Globale parameters (Been & Zwarts, p409-410):

alpha = 0.6beta = 1.1delta = 0.5Theta = 0.1lamda = 0.1LAMBDA=0.22mu = 1.25 / 1.75zeta=0.1gain=1.8 ubt = 1 / 1.1n=2-18

Input function: a=0.4 dt=30msdelta t = 0.2

Time specs:Range-Kutta 4 0.1 step-size





1:28 woe 30 maa 2005

0.00 2.50 5.00 7.50 10.00

Milliseconds

1:

1:

1:

0,00

0,03

0,05

1-14: ui \dak\

1

1

1

1

2

2

2

2

3

3

3

3

4

4

4

4

5

5

5

5

6

6

6

7

7

7

8

8

8

9

9

9

10

10

10

11

11

12

12

13

13

14

14

ui (Untitled)

Dyslexie volgens ARTPHONE & SWEEP

- Simulatie door parameter aanpassing: Minder neuronen (transmitter) beschikbaar.

- Baby EEG (mismatch negativity)

- Headturning

- Remediatie (medicatie en spraakmanipulatie)


NOSMO, 24-02-06

(Mijn) Problemen met deze aanpak

- Lichaam & Omgeving? -> Alleen Brein.

- Representaties -> Voor ieder woord een nieuw model

- Hoe zit het met verwerving & Ontwikkeling?

- Is het neuronale niveau wel het juiste niveau voor modeling van gedrag in experimenten?

- Allofoonperceptie van dyslectici


NOSMO, 24-02-06

De Oorsprong van Perceptuele Grenzen: Drie Modellen

1. Activation-deactivation of predispositions for feature perception: only some of the innate perceptual boundaries are taken to form a phonological decoding level (Werker & Tees, 1984, Infant Behavior & Development)

2. Perceptual magnet effects create new boundaries from language-specific prototypes (Kuhl, 1991, Perception & Psychophyics)

3. Coupling between predispositions creates new boundaries(Serniclaes, 1987, PhD http://www.vjf.cnrs.fr/umr8606)

Serniclaes, W. (2004). Speech perception: psychoacoustic,productive and linguistic factors. Paper pressented at the German-French Summerschool, Lubmin, Germany, 19th -24th September


Colloquium OLO, 04-11-05

Let op: (impliciet) nativistische visies!

Serniclaes, W. (2004). Speech perception: psychoacoustic,productive and linguistic factors. Paper pressented at the German-French Summerschool, Lubmin, Germany, 19th -24th September


NOSMO, 24-02-06

F3

F2


NOSMO, 24-02-06

AllofoonPerceptie?


NOSMO, 24-02-06

F3

F2


NOSMO, 24-02-06


NOSMO, 24-02-06

Kritieke GrensHysterese / Verhoogd Contrast

Average Readers – 12

41% 59%

Average Readers – 9

34% 65%

Dyslexic Readers – 12

45% 54%

Dyslexic Readers - 9

17% 83%

Dyslexic - 9 years

456789

10111213141516

4 5 6 7 8 9 10 11 12 13 14 15 16

BAK -> DAK

BA

K <

- D

AK Run 1

Run 2

Run 3

Run 4


NOSMO, 24-02-06

Nonlinear Dynamics of Speech Categorization


NOSMO, 24-02-06

Porter, J. S., & Hogue, D. M. (1998). Nonlinear Dynamical Systems in Speech

Perception and Production. Nonlinear Dynamics, Psychology, and Life Sciences, 2, 95-131.

42)(

42 xxkxxV

dx

xdV

dt

dx )( ))((

2)( 0 fcnnkk


NOSMO, 24-02-06


NOSMO, 24-02-06

Statische of dynamische foneemrepresentaties?

Deficiet in temporele auditieve verwerkingX

Deficiet in verwerking van snelle formant transitiesX

Slechte foneemrepresentaties?

Conversie van grafemen naar fonemen (lezen) is moeilijk


NOSMO, 24-02-06

Ramus, F. (2004). Neurobiology of dyslexia:A reinterpretation of the data. Trends in Neurosciences, 27, 12, 720-725.

NOSMO, 24-02-06


Dyslexie:“Single cause” verklaringen voldoen niet!

Modelleren in de cognitieve psychologie:

Welk niveau kiezen we?

Dynamische systeem benaderingen zijn inhoudsloos,Handle with care

Dynamische systeem benaderingen kunnen overweg met principes uit de Embodied Embedded Cognition


NOSMO, 24-02-06

Motoriek en perceptie: 2 versies van 1 verhaal?

“Speech is rather a set of movements made audible than a set of sounds produced by movements”

(Stetson, 1951)


NOSMO, 24-02-06


NOSMO, 24-02-06

Approximate number of muscle pairs that move:

– Tongue: 9– Velum: 3– Lips: 12

– Mandible: 7– Hyoid bone: 10

– Larynx: 8– Pharynx: 4

NB: The respiratory system

Perkell, J. S. Sensorimotor Control of Speech Production: Models and Data. Paper presented at ASHA.

Relation between Perception and Production


- Speech Production of Said, shed, Sod and shod were recorded- Contact time of tongue to alveolar ridge was recorded- Speech Perception: Discrimination and labelling of a 7-step ∫aid to shed continuum

Perkell, J.S. et al. (2004). The distinctness of speakers' /s/-/S/ contrast is related to their auditory discrimination and use of an articulatory saturation effect. Journal of Speech, Language and Hearing Research ,47, 1259-1269.


NOSMO, 24-02-06

Produced contrast distance is

related to:- Ability to discriminate the

contrast- Use of contact difference

Interactions:- Speakers with good

discrimination and use of contact difference: best contrasts

- Speakers with one or the other factor: intermediate contrasts

- Speakers with neither factor: poorest contrasts

Perkell, J.S. et al. (2004). The distinctness of speakers' /s/-/S/ contrast is related to their auditory discrimination and use of an articulatory saturation effect. Journal of Speech, Language and Hearing Research ,47, 1259-1269.


NOSMO, 24-02-06

- Same found for vowels: cod – cud / who’d - hoodPerkell, J.S., Guenther, F.H., Lane, H., Matthies, M.L. Stockmann, E., Tiede, M., & Zandipourf, M. (2004). The distinctness of speakers’ productions of vowel contrasts is related to their discrimination of the contrasts Journal of the Acoustical Society of America, 116, 2338-2344.

- Different goals influence Speech Production:

• Auditory & Somatosensory• Economy of Effort / Biomechanical Saturation / Clarity

Rub – Grub Guenther, F.H. et al. (1999). Articulatory tradeoffs reduce acoustic variability during American English /r/

production. Journal of the Acoustical Society of America, 105, 2854-2865.


NOSMO, 24-02-06



NOSMO, 24-02-06


Formants begin to recover 60-90 ms after perturbation, jaw does notEvidence of within-movement, closed-loop error correction

Perkell, J & Ostry, D.

Rol van omgeving en aangeboren taal(perceptie) :Wisselwerking tussen Omgeving, Lichaam en Brein:

Kanzi


NOSMO, 24-02-06

Picture from The Language Research Centre @ GSU


NOSMO, 24-02-06

Pictures from The Language Research Centre @ GSU

Lexigram-board: Produces sound by pressing a lexigram

Contains English names of objects, verbs, but also concepts like ‘Good’ and ‘Surprise’

Wisselwerking tussen Omgeving, Lichaam en Brein:Kanzi


NOSMO, 24-02-06


Kanzi is beter dan een mensenkind van 2.5 jaar in het met succes uitvoeren van in het Engels gesproken opdrachten



NOSMO, 24-02-06

Slide from The Language Research Centre @ GSU



NOSMO, 24-02-06

Bates, E., Dick, F. (2001). Languge, Gesture, and theb Developing Brain. Developmental Psychobiology, 40, 293 – 310.

Iverson, J. M. & Fagan, M. K. (2004). Infant Vocal–Motor Coordination: Precursor to the Gesture–Speech System? Child Development, 75, 1053 – 1066.

“Language and gesture are a close family”

Bukit Lawang, Sumatera, Indonesia


Cowley, S., & Spurrett, D. (2003).

Putting apes (body and language) together again,

Language Sciences, 25, 289-318.

GEEN aangeboren spraakperceptie!


NOSMO, 24-02-06


Bates, E., Thal, D., Finlay, B. L., Clancy, B. (2002). Early language development and its neural correlates. In: F. Boller & J. Grafman (Series Eds.) & S.J. Segalowitz & I. Rapin (Vol. Eds.), Handbook of neuropsychology, Vol. 8: Child neurology (2nd ed., pp. 109–176). Amsterdam: Elsevier Science.

Verwerving en ontwikkeling van foneemcategorieën: Neural Events and Language Development

Hsu, H., Fogel, A., & Cooper, R.B. (2000). Infant vocal development during the first 6

months: Speech quality and melodic complexity. Infant and Child Development 9, 1–16.

- No evidence for a continuous biological neuromotor maturational stage theory of infant vocal development (regressions).

- Infant vocalizations are the outcome of the emergent coordination of different components (cf. Kent, 1984; Thelen, 1991), which not only drives but also constrains the development of the vocal system.


NOSMO, 24-02-06

Verwerving en ontwikkeling van foneemcategorieënNeural Events and Language Development


NOSMO, 24-02-06

Bates, E., Thal, D., Finlay, B. L., Clancy, B. (2002). Early language development and its neural correlates. In: F. Boller & J. Grafman (Series Eds.) & S.J. Segalowitz & I. Rapin (Vol. Eds.), Handbook of neuropsychology, Vol. 8: Child neurology (2nd ed., pp. 109–176). Amsterdam: Elsevier Science.

Conclusies / Hypotheses / Vooruitblik?• We hebben geen menselijk brein nodig om woorden te

segmenteren uit de “spraakstroom”. (Hausera, M.D., , Newport, E.L.,& Aslin. R. N. (2001). Segmentation of the speech stream in a nonhuman primate: statistical learning in cotton-top tamarins. Cognition, 78, 53 – 64). Discriminitatie van beginklanken is mogelijk door perceptie van akoestische / ritmische patronen in het spraaksignaal (Nazzi & Ramus, 2003; Ramus, Nespor & Mehler, 1999) → Geen speciale taal genen of genetisch gestuurde kritieke (brein)perioden voor taalverwerving

• Verlies van het vermogen alle foneemcontrasten van elkaar te onderscheiden komt voort uit de associatie van auditieve perceptie van eigen spraak met motor controle over stembanden en spraakspieren (tong, lippen, ademhalen). → Dus motorcontrole “beperkt” perceptie→ Kanzi zou alle contrasten wel moeten kunnen horen!→ En dyslectici? Er is evidentie voor minder kwaliteit en kwantiteit in vroege spraakproductie (C. Koster, P.H. Been, F. Koster, E.M. Krikhaar H.D. Diepstra, T.H. van Leeuwen, 2004)


NOSMO, 24-02-06

Conclusies / Hypotheses / Vooruitblik?

• Leren lezen in een alfabetische taal zal het akoestische potentiaal landschap dieper uitslijten. In categorische perceptietaken zal dit zich uiten door een scherpere foneemgrens: Vandaar leeftijdsverschillen, ook bij jonge vs. oudere dyslectici.

• Dyslexie: Multiple causes ipv single cause


NOSMO, 24-02-06


NOSMO, 24-02-06

Embodied, embedded, Reading?

• Kanzi reads Chinese?

• Aproach – Avoidance

Koch, S., Holland, R., & van Knippenberg, A. (2005).

• Mode of Acquisition.Wauters, L. (2005).


NOSMO, 24-02-06

Over de Kwaliteit van Foneemrepresentaties als Verklaring voor Dyslexie Fred Hasselman Ralf Cox Anna...

Documents

Transcript of Over de Kwaliteit van Foneemrepresentaties als Verklaring voor Dyslexie Fred Hasselman Ralf Cox Anna...