Question Answering
description
Transcript of Question Answering
07-09-07 | 1/16
›Alfa-informatica / Jori Mur
Question Answering
Off-line antwoorden extraheren voor het beantwoorden van vragen
07-09-07 | 2/16
Overzicht› Joost, ons QA-systeem
› Mijn onderzoek• Met patronen antwoorden extraheren• Problemen• Oplossingen
› Onderzoek van Lonneke
07-09-07 | 3/16
Joost
07-09-07 | 4/16
Resultaten van Joost in Clef› 2005• Beste van 2 Nederlandse deelnemers
• Factoids 54.4% correct• Definition 50.0% correct• Temporally restricted 26.9% correct
› 2006• Beste van 3 Nederlandse deelnemers
• Factoids 27.4% correct• Definition 45.0% correct
07-09-07 | 5/16
Qatar: Off-line antwoorden extraheren met Patronen› /[Zelfstnmw] [Naam]/
... premier Balkenende ...› /[Naam], [Zelfstnmw]/
... Balkenende, premier ...› /[Naam] [WW] als [Zelfstnmw]/
... Balkende heeft als premier ...› /[Naam] [zijn] [Lidwrd] [Zelfstnmw]/
... Balkenende is de premier ...› ...
07-09-07 | 6/16
Hoge precisie, lage recall
› Sang, Bouma en de Rijke, Developing Offline Strategies for Answering Medical Questions, 2005
› Bernardi, Jijkoun, Mishne en de Rijke.Selectively Using Linguistic Resources Throughout the Question Answering Pipeline,2003
07-09-07 | 7/16
4 Problemen
› Feit volgt niet een simpel patroon
› Niet altijd een binary relatie
› Antwoord staat niet in één zin
› Niet makkelijk uit te breiden
07-09-07 | 8/16
1. Feit volgt niet een simpel patroon› /[Naam] [WW] als [Zelfstnmw]/
› ... George Bush heeft als president van Amerika...
› ... George Bush heeft vandaag als 43e president van Amerika...
› ... George Bush heeft vandaag als president van Amerika...
› ... George Bush, gisteren 61 geworden, heeft vandaag als 43e president van Amerika...
07-09-07 | 9/16
Oplossing
... George Bush, gisteren 61 geworden, heeft vandaag als 43e president van Amerika...
... George Bush heeft als president van Amerika...
PredmOndw ObjObj Mod
Ondw Predm Obj ObjMod
› <George Bush, Ondw, heeft>
› <heeft, Predm, als>
› <als, Obj, president>
› <president, Mod, van>
› <van, Obj, Amerika>
07-09-07 | 10/16
2. Niet altijd binary relaties› Wanneer stierf Jimi Hendrix?
Jimi Hendrix – 1942
› Wie is de president van Amerika?Bush – president – Amerika
› Wie was de president van Amerika in 1944?Roosevelt – president – Amerika – 1944
› Wie volgde president Roosevelt op als president van Amerika in de tweede wereldoorlog?Truman – president – Amerika – WO II Truman – opvolger – Roosevelt
07-09-07 | 11/16
Oplossing d-score : hoeveel komen de dependency
structuren van de vraag en antwoordzin overeen?
Q: Wie volgde president Roosevelt op als president van Amerika in de tweede wereldoorlog?A: Aan het eind van de tweede wereldoorlog volgde Harry S. Truman president Roosevelt op als president van Amerika
07-09-07 | 12/16
3. Antwoord niet in één zin
› Wie is de premier van Nederland sinds 2002?
› Jan Peter Balkenende (Biezelinge, 7 mei 1956) is een Nederlands CDA-politicus. Op 22 juli 2002 werd hij voor het eerst premier van Nederland.
07-09-07 | 13/16
Oplossing
Coreference resolutieJan Peter Balkenende is premier van Nederland. Dat werd hij in 2002. De CDA-politicus werd in het begin vaak vergeleken met Harry Potter.
Jan Peter Balkenende – premier - 2002
07-09-07 | 14/16
4. Niet makkelijk uit te breidenOplossing: leren
1. Een paar seeds: Mozart 1756, George Bush 19462. Zoektermen in zoekmachine3. Neem zinnen waarin beide termen voorkomen4. Deel ze op in substrings en neem de langste en meest frequente waarin beide termen voorkomen5. Verander substrings in patterns
07-09-07 | 15/16
Samenvatting› Joost
› QatarHoge precisie, maar lage recall• Grammaticale patronen• Score voor grammaticale overlap• Referenties oplossen• Leren van patronen
07-09-07 | 16/16
Bedankt voor uw aandacht