De DIA tool

Catherine MiddagEhealth4com symposium3/10/2013

Woord vooraf

• DIA staat voor Dutch Intelligibilty Assesment

• DIA tool is nog geen eHealth tool …

• Het is dus (voorlopig) een evaluatietool waarmee je spraakverstaanbaarheid kan bepalen (zowel perceptueel als automatisch)

2

Spraakverstaanbaarheid

• Spraakverstaanbaarheid is een belangrijke indicator van de ernst van een spraakpathologie: ▫ hoe goed kan de pathologische spraak - enkel audio, geen gebaren en context

– worden gedecodeerd?• Klinische praktijk = perceptuele beoordeling• Perceptuele beoordeling is saai en wordt beïnvloed door:

▫ Voorspelbaarheid van de test items Testmateriaal ontwerpen om dit te minimaliseren

▫ Vertrouwdheid luisteraar met spreker Steeds met nieuwe luisteraars werken

▫ Vertrouwdheid luisteraar met pathologie Luisteraars met verschillende achtergronden vragen

• Kunnen we de computer inschakelen als alternatieve en objectieve luisteraar?

3

Spraakverstaanbaarheid

•De computer als alternatief▫Computer is per definitie consistent▫Maar is hij ook accuraat?▫Test case : automatisatie van het Nederlandstalig

spraakverstaanbaarheidsonderzoek (NSVO of DIA (Eng.)) dat werd uitgewerkt door UZA

4

Perceptuele DIA test

• Per patient: 50 monosyllabische (nonsens)woorden• Korte woorden, nonsenswoorden geringe voorspelbaarheid

5

1. dop

2. nuis

3.

top

Perceptuele DIA test

• Per patient: 50 monosyllabische (nonsens)woorden• Korte woorden, nonsenswoorden geringe voorspelbaarheid

• Per woord: test van 1 foneem• Verstaanbaarheidsscore = percentage correct geïdentificeerde fonemen

6

1 .op ø b d f g h j k l m n p r s t v w z

1. dop

2. nuis

3.

top

1. dop

2. nuis

3.

top

• Automatische spraakherkenner krijgt dezelfde keuzes als luisteraar voorheen• Verstaanbaarheidsscore = percentage correct geïdentificeerde woorden

7

Automatische DIA test met spraakherkenner

Woordenlijst:• bop• dop• …• top• …• zop

1. dop

2. nuis

3.

top

# #d d O #p p

8

Automatische DIA test met spraakoplijner

• Spraakoplijner kent doelwoord en lijnt signaal op met transcriptie ervan:•Elk foneem van het doelwoord krijgt een stukje spraaksignaal toegewezen

• Verstaanbaarheid: hoe goed zijn foneemuitspraken gemiddeld? (2 stappen)

Stap 1: sprekerkenmerken afleiden

# #d d O #p p

0.7 0.60.3 0.9 0.7 0.8

# n y+ s

0.6 0.4 0.9 0.6

Set 1: fonemische kenmerken• Elk segment krijgt een score tussen 0 en 1 die aangeeft hoe goed het

segment beoordeeld wordt door een model van het corresponderend foneem (modellen getraind op normale spraak)

• Per foneem: gemiddelde score over alle segmenten (van de verschillende sprekeruitingen) die aan dat foneem zijn toegekend

• Voorbeeld: /#/=(0.7+0.6)/2=0.65, /d/=0.3 etc.

9

Stap 1: sprekerkenmerken afleiden

Set 2: positieve fonologische kenmerken

• Elk segment krijgt verschillende scores die aangeven hoe sterk verschillende fonologische kenmerken (b.v. achteraan, stemhebbend, nasaal, …) aanwezig zijn (volgens modellen getraind op normale spraak)

• Per fonologisch kenmerk: gemiddelde score over alle segmenten (van de verschillende sprekeruitingen) waarin kenmerk zou moeten aanwezig zijn.

back: 0.9

voiced: 0.6

# n y+ s

0.4 0.2 0.1 0.2 0.1 0.7 0.8 0.3

# #d d O #p p

10

back 0.5 0.4 0.6 0.9 0.3 0.2 voiced 0.1 0.3 0.1 0.9 0.1 0.2

Stap 1: sprekerkenmerken afleiden

back: 0.3

voiced: 0.2

# n y+ s

0.4 0.2 0.1 0.2 0.1 0.7 0.8 0.3

# #d d O #p p

11

back 0.5 0.4 0.6 0.9 0.3 0.2 voiced 0.1 0.3 0.1 0.9 0.1 0.2

Set 3: negatieve fonologische kenmerken

• Elk segment krijgt scores die aangeven hoe sterk verschillende fonologische kenmerken aanwezig zijn (volgens modellen getraind op normale spraak)

• Per fonologisch kenmerk: gemiddeld score over de segmenten (van de verschillende sprekeruitingen) waarin kenmerk zou moeten afwezig zijn.

Stap 2: verstaanbaarheidsscore afleiden

1. dop

2. nuis

3.

top

• verstaanbaarheid uit ASR• fonemische kenmerken• fonologische kenmerken

verstaanbaarheidsscore

12

hoe??

• Regressiemodel inclusief automatische selectie van beste kenmerken • Trainen van model op kenmerken van pathologische sprekers met gekende verstaanbaarheid

Betrouwbaarheid van automatische score▫Mijn onderzoek (SPACE-project):

Correlatie tussen automatische en perceptuele score vergelijkbaar met correlatie tussen scores van verschillende beoordelaars

▫Afstudeerwerk studente logopedie (UZA): Klinische setting suboptimale opnamecondities Perceptuele score = gemiddelde van 2 luisteraars Correlatie tussen automatische en perceptuele score

vergelijkbaar met correlatie tussen scores van 2 luisteraars

•Beide tests bewijzen betrouwbaarheid van de DIA tool

13

Wil je zelf de tool eens uitproberen?• Gratis beschikbaar: http://diaweb.elis.ugent.be• Enkel laptop, headset, internet en Java (gratis) nodig!

14

Online versie van de tool

•Registreren is kosteloos, maar nodig om goede afspraken te maken. Overeenkomst (A4-tje) vermeldt:

▫Therapeut mag tool gratis gebruiken ▫Onderzoekers mogen opnames gebruiken voor verder

onderzoek, maar: zonder kennis van persoonlijke gegevens over patiënt/

therapeut (enkel leeftijd + gender + pathologie patiënt) Zonder het recht om opnames te laten horen in het

openbaar (enkel korte fragmenten op seminaries etc.)▫Therapeut moet akkoord vragen (en krijgen) van patiënt

•Account voor 24 uur krijg je zonder overeenkomst

15

Online versie van de tool•Een korte kennismaking

16

Discussie en vooruitzichten•Beperkingen van huidige tool

▫Meet verstaanbaarheid op basis van losse (nonsens)woorden kans op leesfouten en scores

▫Modellen getraind op Vlaamse spraak•Vooruitzichten op korte termijn (begin 2014)

▫Ook verstaanbaarheid meten op lopende spraak▫Ook modellen die getraind zijn op Nederlandse spraak▫Ook meten van stemkwaliteit, articulatie, accent en

spreeksnelheid▫Alles reeds getest (samenwerking met NKI-Amsterdam)

maar nog niet in tool opgenomen ▫Check website!

17

Discussie en vooruitzichten•Beperkingen van huidige tool

▫Meet verstaanbaarheid op basis van losse (nonsens)woorden kans op leesfouten

▫Modellen getraind op Vlaamse spraak•Vooruitzichten op langere termijn (begin 2015)

▫Evolutie naar echte eHealth tool▫Evolutie naar therapietool▫Streven naar bredere en diepere analyse▫Nieuw project ASISTO (Kom op tegen Kanker, NKI

Amsterdam, UZ Antwerpen, ELIS-Ugent) Brede validatie gepland (belangstellenden?)

18

Vragen?

19