De TST-Centrale is een initiatief van de Nederlandse Taalunie, wordt gefinancierd door de Nederlandse Taalunie en is ondergebracht bij het Instituut voor Nederlandse Lexicologie.

Klaar? In!

Kant-en-klare bouwstenen voor

de CLARIN-infrastructuur

Remco van Veenendaal, 26 mei 2009, kick-off CLARIN-NL

2

Infrastructuur

Data

Tools

Spelregels

3

Infrastructuur

4

Infrastructuur

• Bouwblokken uit DAM-LR– Metadata (IMDI)– Unieke ids (Handle)– Authenticatie (LDAP)– Autorisatie (Shibboleth)– Vertrouwd (PKI-certificaat)– IMDI-portal imdi.inl.nl

• Uitbreiding/aanpassing naar CLARIN• Bijv. OAI-PMH (workshop vanochtend)

5

Infrastructuur

• Verbeterde technische infrastructuur (2008)– Bare metal virtualisatie met behulp van VMware ESX – Servers

• Red Hat Enterprise Linux• Windows Server 2003, Exchange en ISA Server

– MySQL en Microsoft SQL server. • Telewerken via Windows Terminal Server 2008 en

RSA tokens• Cisco switches, HP NAS en NetApp SAN• Onsite en offsite backup• Procedures volgens ITIL

6

Data

7

Data

• Woordenboeken (online via GTB)– Oudnederlands woordenboek (500-1200)– Vroegmiddelnederlands woordenboek (13e eeuw)– Middelnederlands woordenboek (1200-1500; te

verschijnen)– Woordenboek der Nederlandsche Taal (1500-1976)

• Algemeen Nederlands Woordenboek (eigentijds Nederlands; te verschijnen)

8

Data

• Corpora– Corpus Gesproken Nederlands (900u spraak)– STEVIN

• JASMIN-CGN (115u spraak) • AUTONOMATA-namencorpus (5k uitgesproken namen)• D-Coi (54m woorden)• COREA-coreferentiecorpus (150k woorden)

– ANW-corpus (100m woorden; te verschijnen)– PAROLE distributable corpus (3m woorden)– CHOREC-spraakcorpus (130u spraak)– …

9

Data

• Lexica– e-Lex (200k lemma’s, 640k woordvormen)– Bilinguale bestanden (Ar, Dn, Ind)– RBN (45k trefwoorden; 90k verbindingen)– RBBN (4k woorden)– Woordenlijst Nederlandse Taal ’05 (100k lemma's

volgens spelling ’05)– STEVIN

• DuELME (5k mwe)

10

Data

• En…– Sofeer woordenboek– STEVIN

• Cornetto (lex-sem database met 92k lemma’s; 118k woordbetekenissen)

– Gedigitaliseerde Bijbelteksten • Statenvertaling, Leuvense Bijbel, Lutherse Bijbel,

Delftse Bijbel, …

– Modern Grammar of Dutch• Incl. tools voor conversie en internetschil

11

Tools

12

Tools

• Tagger-lemmatiser (online i.s.m. UvT)• Sofeer spellingcontrole• STEVIN

– COREA-coreferentiewebservice – DuELME-webapplicatie– AUTONOMATA-g2p-toolkit

• IMPACT– OCR & technologie t.b.v. digitalisering gedrukt cult. erfgoed

• GTB-software, ANW-software, etc.• Corex (voor CGN en D-Coi; offline en online)• …

13

Spelregels

14

Spelregels

• Kennisdeling IPR en licenties– Ook met Work Package 7 CLARIN (IPR and

Business Models)

15

Wat is er bijna klaar?

16

Bijna klaar

• STEVIN– DAESO (corpus en software voor semantiek)– DPC (parallelle corpora Nl-En en Nl-Fr)– Lassy (syntactisch geannoteerd tekstcorpus)– Midas (software voor robuuste spraakherkenning)– N-best (benchmark voor Nederlandstalige spraakherkenning) – Autonomata Too (demo POI spraakherkenningservice)– DAISY (software voor samenvattingen)– DISCO (spraakherkenning in CALL voor tweedetaalleerders)– DuOMAn (media analyse - opinie)– PaCo-MT (hybride machinevertaling Nl-En-Nl, Nl-Fr-Nl)– SoNaR (tekstcorpus 500m woorden)

• …

17

Maar …

18

Uitdaging

• Binnen CLARIN en CLARIN-NL zoveel mogelijk resources en tools integreren in de CLARIN-infrastructuur– Toegankelijk via single sign-on– Data zo uniform mogelijk raadpleegbaar en doorzoekbaar– Data uploadbaar en bewerkbaar– Tools zoveel mogelijk modulair en koppelbaar– Workflows zoveel mogelijk herhaalbaar

• Afschriften van bewerkingen

– Gebruikersvriendelijkheid (!)

19

Zoek binnen de resultaten

voorkomens van Poldernederlands (einde = aainde)

Vraag: onderzoek het

Poldernederlands

Voorkomens van Poldernederlands in

spraakcorpora

Zoek in metadata naar Nederlandse

spraakcorpora met

orthografische en fonologische transcriptie

20

Spraakcorpus

Corpus beschikbaar

binnen CLARIN

Unieke ids

Metadata

Validatie

Uploaden

21

Teksten

Tekstcorpus voorzien van

diverse automatische annotaties en frequentielijst beschikbaar

binnen CLARIN

Frequentietool

Tagger-lemmatiser

Parser

Validatie

Metadata

Samenvatter

Corefwebservice

Uploaden

Unieke ids

22

Waar droomt u van?

23

Conclusie

• Veel mooie bouwstenen beschikbaar– Resources, tools, infrastructuur, kennis– Juist ook voor het Nederlands

• Uitdaging is deze bruikbaar te integreren in de CLARIN-infrastructuur

24

Vragen?