Katholieke Universiteit Leuven - ESAT, BELGIUM

ATraNoS

Workshop 17 september 2004

Patrick Wambacq

ATraNoS workshop Antwerpen 17 september 2004

ATraNoS = Automatische Transcriptieen Normalisatie van Spraak

• Doelstellingen:– transcriptie van spontane spraak– conversie van deze transcripties volgens de

noden van de gebruikers, bv. ondertiteling

ATraNoS workshop Antwerpen 17 september 2004

Vocabulariumgrootte

Spraakherkenningsproblemen

10 100 1000 10000 100000

Spraakcommando’s

Namedialing

Directoryassistance

Dialoog-systemen

Natuurlijkeconversatie

Kantoor-toepassingen

Spreekstijl

geïsoleerd

verbonden

voorgelezen

vloeiend

spontaan

moeilijkheids-graad

ATraNoS workshop Antwerpen 17 september 2004

Benchmarks mens vs. computer

0

5

10

15

20

25

30

35

RM ATIS WSJ TV Broadcast Switchboard

Word Error (%)

Computer Mens

VOORGELEZEN VOORGELEZEN VOORGELEZEN VOORG+SPONT SPONTAAN

CLEAN CLEAN CLEAN RUIS RUIS

1k woorden 4k woorden 64k woorden 64k woorden 14k woorden

PP=60 PP=100 PP=120 PP=160 PP=200

ATraNoS workshop Antwerpen 17 september 2004

ATraNoS architectuur

akoestischmodel

lexiconmodule

samengesteldewoorden

audiosegmentatie

detectiehaperingen

spraakdecoder

taalmodel

P2Gconvertor

statistischeondertiteling

regel-gebaseerdeondertiteling

combinatie

audio spraakwoorden

fonemen

ondertitel

betrouwbaarheid

ATraNoS workshop Antwerpen 17 september 2004

Partners en Werkpakketten• WP1: segmentatie van audiostroom in

homogene segmenten: Universiteit Gent, ELIS

• WP2: behandeling van OOV woorden:– P2G converter: Universiteit Antwerpen,

Centrum voor Nederlandse Taal en Spraak (CNTS)

– samengestelde woorden: K.U.Leuven, Centrum voor Computerlinguïstiek (CCL)

– betrouwbaarheidsmaten: K.U.Leuven, ESAT

ATraNoS workshop Antwerpen 17 september 2004

Partners en Werkpakketten• WP3: spontane spraak problemen:

– detectie van haperingen (ELIS)– statistisch taalmodel (ESAT)

• WP4: ondertiteling:– statistische ondertitelingsmodule (CNTS)– linguïstische ondertitelingsmodule (CCL)

ATraNoS workshop Antwerpen 17 september 2004

Programma van vandaag9u30: onthaal10u: inleiding en overzicht: Patrick Wambacq10u30: segmentatie van audio en detectie van haperingen in

spraak: Jean-Pierre Martens, Frederik Stouten, An Vandecatseye

11u45: automatische transcriptie van spraak: Jacques Duchateau12u30: lunch14u: behandeling van spontane spraakfenomenen: Frederik

Stouten, Jacques Duchateau14u45: automatische generatie van ondertitels: Erik Tjong Kim

Sang, Vincent Vandeghinste15u45: conclusies en afsluiting: Patrick Wambacq16u15: borrel

ATraNoS workshop Antwerpen 17 september 2004

Conclusies• wetenschappelijke vooruitgang geboekt

• doelstellingen van het project zijn gehaald:– deliverables zijn er allemaal– disseminatie en valorisatie verlopen vlot

• goede samenwerking tussen partners leidt tot nieuwe gezamenlijke activiteiten

ATraNoS workshop Antwerpen 17 september 2004

Disseminatie• tot nog toe 25 artikels in CLIN(01, 02, 03),

ICSLP(02, 04), ROBUST04, ACL04, LREC(02, 04), ASRU(01, 03), EuroSpeech03, CoNLL(02, 03), ICASSP02, JMLR02

• artikels te vinden op website,http://atranos.esat.kuleuven.ac.be

ATraNoS workshop Antwerpen 17 september 2004

Valorisatie• resultaten of delen ervan worden gebruikt in

heel wat projecten van de projectpartners

• MUSA, CALL, FLaVoR, METIS II, ONTOBASIS, PASCAL network, SPACE (?), Stevin programma (??)

• specifiek voor ondertiteling: MUSA (EU 5e kader) met partners ILSP, Systran, BBC, LCC, CNTS, ESAT, zie http://sifnos.ilsp.gr/musa