VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve...

36
VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M. Steeneken (www.steeneken.com)

Transcript of VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve...

Page 1: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 20081

Spraakverstaanbaarheid(criteria, normalisatie, subjectieve en objectieve

verstaanbaarheidsmaten, toepassingen en voorspelkracht)

Herman J.M. Steeneken

(www.steeneken.com)

Page 2: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 20082

• Kwaliteit van Spraakcommunicatie

• Spraakverstaanbaarheidmaten

• Evaluatiemethoden (subjectief-objectief)

• Voorspellingsmethoden

• Samenvatting

Overzicht

Page 3: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 20083

Het communicatiekanaal

Page 4: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 20084

Spreker (stem, moedertaal, vocale inspanning)

Transmissiepad (lawaai, akoestiek, vervorming)

Luisteraar (gehoor, moedertaal)

Het communicatiekanaal

Page 5: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 20085

Spraakcommunicatiekwaliteit

Spraakwaliteit

Spraakverstaanbaarheid

Vocale inspanning

Objectieve voorspellingsmethoden

Page 6: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 20086

Toepassing en criteria (ISO-9921)

Toepassing bij: verst. “vocal effort”

Gevaar en waarschuwing matig luid Persoon-tot-persoon (kritiek) redelijk luid Persoon-tot-persoon (algemeen) goed ontspannen Omroepinstallaties openbaar goed normaal Persoonlijke comm. systemen goed normaal

Page 7: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 20087

Evaluatiemethoden

Subjectieve evaluatie• meerdere sprekers en luisteraars• specifieke testmethoden• representatief• resultaten soms niet reproduceerbaar

Objectieve evaluatie• voorspelling van verstaanbaarheid• diagnostisch• reproduceerbaar

Page 8: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 20088

Subjectieve evaluatie

• Mean Opinion Scores (korte zinnen)beoordeling op (vijfpuntsschaal), zeer veel ppn.

• Speech Reception Thresholdslechts voorspelling bij 50% zinsverstaanbaarheid

• (Nonsens)woorden in (dragerzin)indirect, groot bereik, arbeidsintensief

Page 9: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 20089

Objectieve evaluatiemethoden

• Speech Interference Level (SIL)beperkt tot directe communicatie in lawaai

• Speech Transmission Index (STI)geschikt voor alle soorten vervorming

• Speech Intelligibility Index (SII)geen niet-lineaire en temporele vervorming

Page 10: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200810

Relatie tussen subjectieve en objectieve verstaanbaarheidsmaten

Page 11: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200811

Kwalificatie Sent.% CVC % PB % STI LSA – LLN

nonsens bestaande dBwoorden woorden

Uitstekend 100 >81 > 98 >0.75 21

Goed 100 70-81 93-98 0.60-0.75 15 - 21

Redelijk 100 53-70 80-93 0.45-0.60 9 - 15

Matig 70-100 31-53 60-80 0.30-0.45 3 - 9

Slecht <70 <31 <60 < 0.30 <3

Relatie tussen subjectieve en objectieve verstaanbaarheidsmaten

Page 12: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200812

Demonstratie van vier kwalificaties

Uitstekend SNR = 11 dB

Goed SNR = 5 dB

Redelijk SNR = 1 dB

Matig SNR = - 4 dB

Toegevoegde ruis op basis van het gemiddeldespraakspectrum

Page 13: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200813

Toepassing Verst. SIL STI Vocale

inspan.

Alarm Waarschuwing matig 9 0.45 Luid

Persoon-tot-persoon (kritisch) redelijk 9 0.50

Luid

Persoon-tot-persoon (ontspan.) goed 15 0.60 Ontspan.

Omroepinstallatie openbaar redelijk 11 0.50 Normaal

Persoonlijke communicatie redelijk 11 0.50 Normaal

Criteria ISO-9921

Page 14: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200814

Voorspellingsmethoden

SIL, vocale inspanning, omgevingslawaai

STI, vocale inspanning, geslacht spreker,omgevingslawaai, bandbreedte-beperking,

maskering, nagalm, echo’s, niet-lineairiteit,(IEC 60268-16)

SII, vocale inspanning, omgevingslawaai,bandbreedte-beperking, maskering,(ANSI 305.2)

Page 15: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200815

Demonstratie van kwalificatie “Redelijk”

Redelijk SNR = 1 dB, (STI = 0,53)geen bandbreedte-beperking

Redelijk SNR = 3 dB, (STI = 0,53)bandbreedte 375 - 5600 Hz

Toegevoegde ruis op basis van het gemiddeldespraakspectrum

Page 16: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200816

Speech Transmission Index (STI)

Gewogen SNR levert voorspelling spraakkwaliteit

Page 17: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200817

Modulatieoverdracht (lijnfrequentie)

Page 18: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200818

Omhullende funktie en spectrum

Page 19: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200819

Omhullende funktie met nagalm en ruis

Page 20: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200820

Modulatieoverdracht (MTF)

De MTF wordt verkregen door de omhullende-spectra van het originele en ontvangen spraaksignaal te vergelijken

Page 21: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200821

Matrix voor zeven MTF’s

1 Hz

X

3 Hz

10 Hz10 Hz

Page 22: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200822

Modulatieoverdracht meten met testsignaal

Page 23: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200823

Berekening STI (Spraak Transmissie Index)

Voor elke octaafband wordt eerst de effectieve SNR bepaald

De gewogen octaaf-bijdrage levert de STI

Page 24: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200824

octave-band centre frequency (Hz)

freq

uenc

y-w

eigh

ting

fact

or

0.0

0.1

0.2

0.3

0.4

0.5

125 250 500 1k 2k 4k 8k

nonsense syllables (Pavlovic et al. 1984, ANSI S3.5)PB-words (Steeneken et al. 1980, IEC 60268-16)initial consonants (Steeneken, 1992)vowels, (Steeneken, 1992)

Optimale frequentieweging

De bijdrage perfrequentieband hangtaf van het type spraak

Page 25: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200825

Redundante informatie is overbodig!

Page 26: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200826

octave-band centre frequency (Hz)

fre

qu

en

cy-w

eig

htin

g fa

cto

r

0.0

0.1

0.2

0.3

0.4

0.5

125 250 500 1k 2k 4k 8k

CVC words male speech female speech

Redundantie in het spraakspectrum

Page 27: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200827

Proefpersonen aan het werk

Page 28: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200828

Proefpersoon responsies

CVC woorden, dragerzin:

versta des overen nu fijs uithet woord zek eindenoteer lal punt

“Semi random” combinatievan:

17 beginmedeklinkers15 klinkers11 eindmedeklinkers

Page 29: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200829

Relatie tussen woordscores en STI

STI r

CV

C-w

ord

scor

e (%

)

1

2

3

4

5

6

78

9

10

11

12

13

14

15

16

17

18

0

20

40

60

80

100

0.0 0.2 0.4 0.6 0.8 1.0

male speech

Relatie STI/CVC-score voor mannelijke spraak en condities met ruis en bandbreedte-beperking

De verticale spreiding bedraagt s.d. 4.8%

Page 30: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200830

STI voor Cabine-omroepinstallatie

Page 31: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200831

Iso STI-contouren in collegezaal

Page 32: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200832

STI als funktie het omgevings-lawaainiveau

Twee condities (met en zondertoespreekinstallatie)

Verschil in lawaainiveau bijzelfde STI-waarde leverteffectieve versterking van detoespreekinstallatie

Effectieve versterking van PA-systeem

Page 33: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200833

STI gemeten met spraaksignalen

MTF via verschil vanomhullendespectra vanverzonden en ontvangenspraaksignalen

Toepasbaar bij ruis, nagalm en echo’s maarniet bij niet-lineairevervorming

Page 34: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200834

RASTI (room acoustical STI, 1980)

Screening-apparaat

2 Octaafbanden

Continu testsignaal

Verouderd (gebruik STIPA)!

Page 35: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200835

STIPA (STI Public Address, 2001)

Evaluatie voor Public Address

Omvat: akoestische omgeving, bandbreedtebeperking, oversturingsvervorming

Zeven octaafbanden (125 Hz en 250 Hz samen)

Complex omhullende (2 simultane modulatie- frequenties per band)

zie: IEC 60268-16

Page 36: VPT 2008 1 Spraakverstaanbaarheid (criteria, normalisatie, subjectieve en objectieve verstaanbaarheidsmaten, toepassingen en voorspelkracht) Herman J.M.

VPT 200836

Conclusies

Criteria voor vele toepassingen volgens ISO-9921

Subjectieve methoden: representatief, niet diagnostisch

Objectieve methoden: voorspellen, snel, diagnostisch