De DIA tool
description
Transcript of De DIA tool
![Page 1: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/1.jpg)
De DIA tool
Catherine MiddagEhealth4com symposium3/10/2013
![Page 2: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/2.jpg)
Woord vooraf
• DIA staat voor Dutch Intelligibilty Assesment
• DIA tool is nog geen eHealth tool …
• Het is dus (voorlopig) een evaluatietool waarmee je spraakverstaanbaarheid kan bepalen (zowel perceptueel als automatisch)
2
![Page 3: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/3.jpg)
Spraakverstaanbaarheid
• Spraakverstaanbaarheid is een belangrijke indicator van de ernst van een spraakpathologie: ▫ hoe goed kan de pathologische spraak - enkel audio, geen gebaren en context
– worden gedecodeerd?• Klinische praktijk = perceptuele beoordeling• Perceptuele beoordeling is saai en wordt beïnvloed door:
▫ Voorspelbaarheid van de test items Testmateriaal ontwerpen om dit te minimaliseren
▫ Vertrouwdheid luisteraar met spreker Steeds met nieuwe luisteraars werken
▫ Vertrouwdheid luisteraar met pathologie Luisteraars met verschillende achtergronden vragen
• Kunnen we de computer inschakelen als alternatieve en objectieve luisteraar?
3
![Page 4: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/4.jpg)
Spraakverstaanbaarheid
•De computer als alternatief▫Computer is per definitie consistent▫Maar is hij ook accuraat?▫Test case : automatisatie van het Nederlandstalig
spraakverstaanbaarheidsonderzoek (NSVO of DIA (Eng.)) dat werd uitgewerkt door UZA
4
![Page 5: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/5.jpg)
Perceptuele DIA test
• Per patient: 50 monosyllabische (nonsens)woorden• Korte woorden, nonsenswoorden geringe voorspelbaarheid
5
1. dop
2. nuis
3.
top
![Page 6: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/6.jpg)
Perceptuele DIA test
• Per patient: 50 monosyllabische (nonsens)woorden• Korte woorden, nonsenswoorden geringe voorspelbaarheid
• Per woord: test van 1 foneem• Verstaanbaarheidsscore = percentage correct geïdentificeerde fonemen
6
1 .op ø b d f g h j k l m n p r s t v w z
1. dop
2. nuis
3.
top
![Page 7: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/7.jpg)
1. dop
2. nuis
3.
top
• Automatische spraakherkenner krijgt dezelfde keuzes als luisteraar voorheen• Verstaanbaarheidsscore = percentage correct geïdentificeerde woorden
7
Automatische DIA test met spraakherkenner
Woordenlijst:• bop• dop• …• top• …• zop
![Page 8: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/8.jpg)
1. dop
2. nuis
3.
top
# #d d O #p p
8
Automatische DIA test met spraakoplijner
• Spraakoplijner kent doelwoord en lijnt signaal op met transcriptie ervan:•Elk foneem van het doelwoord krijgt een stukje spraaksignaal toegewezen
• Verstaanbaarheid: hoe goed zijn foneemuitspraken gemiddeld? (2 stappen)
![Page 9: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/9.jpg)
Stap 1: sprekerkenmerken afleiden
# #d d O #p p
0.7 0.60.3 0.9 0.7 0.8
# n y+ s
0.6 0.4 0.9 0.6
Set 1: fonemische kenmerken• Elk segment krijgt een score tussen 0 en 1 die aangeeft hoe goed het
segment beoordeeld wordt door een model van het corresponderend foneem (modellen getraind op normale spraak)
• Per foneem: gemiddelde score over alle segmenten (van de verschillende sprekeruitingen) die aan dat foneem zijn toegekend
• Voorbeeld: /#/=(0.7+0.6)/2=0.65, /d/=0.3 etc.
9
![Page 10: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/10.jpg)
Stap 1: sprekerkenmerken afleiden
Set 2: positieve fonologische kenmerken
• Elk segment krijgt verschillende scores die aangeven hoe sterk verschillende fonologische kenmerken (b.v. achteraan, stemhebbend, nasaal, …) aanwezig zijn (volgens modellen getraind op normale spraak)
• Per fonologisch kenmerk: gemiddelde score over alle segmenten (van de verschillende sprekeruitingen) waarin kenmerk zou moeten aanwezig zijn.
back: 0.9
voiced: 0.6
# n y+ s
0.4 0.2 0.1 0.2 0.1 0.7 0.8 0.3
# #d d O #p p
10
back 0.5 0.4 0.6 0.9 0.3 0.2 voiced 0.1 0.3 0.1 0.9 0.1 0.2
![Page 11: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/11.jpg)
Stap 1: sprekerkenmerken afleiden
back: 0.3
voiced: 0.2
# n y+ s
0.4 0.2 0.1 0.2 0.1 0.7 0.8 0.3
# #d d O #p p
11
back 0.5 0.4 0.6 0.9 0.3 0.2 voiced 0.1 0.3 0.1 0.9 0.1 0.2
Set 3: negatieve fonologische kenmerken
• Elk segment krijgt scores die aangeven hoe sterk verschillende fonologische kenmerken aanwezig zijn (volgens modellen getraind op normale spraak)
• Per fonologisch kenmerk: gemiddeld score over de segmenten (van de verschillende sprekeruitingen) waarin kenmerk zou moeten afwezig zijn.
![Page 12: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/12.jpg)
Stap 2: verstaanbaarheidsscore afleiden
1. dop
2. nuis
3.
top
• verstaanbaarheid uit ASR• fonemische kenmerken• fonologische kenmerken
verstaanbaarheidsscore
12
hoe??
• Regressiemodel inclusief automatische selectie van beste kenmerken • Trainen van model op kenmerken van pathologische sprekers met gekende verstaanbaarheid
![Page 13: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/13.jpg)
Betrouwbaarheid van automatische score▫Mijn onderzoek (SPACE-project):
Correlatie tussen automatische en perceptuele score vergelijkbaar met correlatie tussen scores van verschillende beoordelaars
▫Afstudeerwerk studente logopedie (UZA): Klinische setting suboptimale opnamecondities Perceptuele score = gemiddelde van 2 luisteraars Correlatie tussen automatische en perceptuele score
vergelijkbaar met correlatie tussen scores van 2 luisteraars
•Beide tests bewijzen betrouwbaarheid van de DIA tool
13
![Page 14: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/14.jpg)
Wil je zelf de tool eens uitproberen?• Gratis beschikbaar: http://diaweb.elis.ugent.be• Enkel laptop, headset, internet en Java (gratis) nodig!
14
![Page 15: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/15.jpg)
Online versie van de tool
•Registreren is kosteloos, maar nodig om goede afspraken te maken. Overeenkomst (A4-tje) vermeldt:
▫Therapeut mag tool gratis gebruiken ▫Onderzoekers mogen opnames gebruiken voor verder
onderzoek, maar: zonder kennis van persoonlijke gegevens over patiënt/
therapeut (enkel leeftijd + gender + pathologie patiënt) Zonder het recht om opnames te laten horen in het
openbaar (enkel korte fragmenten op seminaries etc.)▫Therapeut moet akkoord vragen (en krijgen) van patiënt
•Account voor 24 uur krijg je zonder overeenkomst
15
![Page 16: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/16.jpg)
Online versie van de tool•Een korte kennismaking
16
![Page 17: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/17.jpg)
Discussie en vooruitzichten•Beperkingen van huidige tool
▫Meet verstaanbaarheid op basis van losse (nonsens)woorden kans op leesfouten en scores
▫Modellen getraind op Vlaamse spraak•Vooruitzichten op korte termijn (begin 2014)
▫Ook verstaanbaarheid meten op lopende spraak▫Ook modellen die getraind zijn op Nederlandse spraak▫Ook meten van stemkwaliteit, articulatie, accent en
spreeksnelheid▫Alles reeds getest (samenwerking met NKI-Amsterdam)
maar nog niet in tool opgenomen ▫Check website!
17
![Page 18: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/18.jpg)
Discussie en vooruitzichten•Beperkingen van huidige tool
▫Meet verstaanbaarheid op basis van losse (nonsens)woorden kans op leesfouten
▫Modellen getraind op Vlaamse spraak•Vooruitzichten op langere termijn (begin 2015)
▫Evolutie naar echte eHealth tool▫Evolutie naar therapietool▫Streven naar bredere en diepere analyse▫Nieuw project ASISTO (Kom op tegen Kanker, NKI
Amsterdam, UZ Antwerpen, ELIS-Ugent) Brede validatie gepland (belangstellenden?)
18
![Page 19: De DIA tool](https://reader036.fdocuments.nl/reader036/viewer/2022062423/568148b5550346895db5cc78/html5/thumbnails/19.jpg)
Vragen?
19