Transcript of Brain-Computer Interaction Bram van de Laar. 2 Brain-Computer Interaction?
- Dia 1
- Brain-Computer Interaction Bram van de Laar
- Dia 2
- 2 Brain-Computer Interaction?
- Dia 3
- 3 Input Zichtbaar maken van hersenactiviteit Neuronen vuren
elektrische impulsen af Meetbaar door het afvuren van groepen
Regelmaat in het afvuren: typische golfbewegingen Verschillende
technieken om te meten Elk met eigen voor- en nadelen Elk met eigen
toepassingsgebieden
- Dia 4
- 4 (f)MRI Meet bloeddoorvoer en geen echte hersenactiviteit
Redelijke spatile resolutie (~1 mm) Lage temporele resolutie 1 scan
per ~2 seconden: 2M Niet liegen Liegen Zichtbaar in fMRI
- Dia 5
- 5 MEG Magnetoencephalografie Meet magnetische velden als gevolg
van hersenactiviteit Matige spatile resolutie Goede temporele
resolutie Vereist magnetisch afgeschermde ruimte Duur: ~2M
- Dia 6
- 6 EMG Elektromyografie Geen Brain maar Muscle Computer
Interaction Meet direct op een spier Hoge temporele resolutie Geen
lokalisatie problemen Veel werk om op te zetten Veel draden die in
de weg zitten Plakkertjes laten makkelijk los
- Dia 7
- 7 EEG (1) Hoge temporele resolutie 4 KHz en hoger Niet invasief
Geen operaties of gezondheidsrisicos Relatief goedkoop Gemakkelijk
Draagbaar
- Dia 8
- 8 EEG (2) Vatbaar voor ruis afhankelijk van omgeving
Oppervlakte meting Slechte spatile resolutie Opzetten neemt tijd in
beslag
- Dia 9
- 9 ECoG Electrocorticografie: elektrische sensoren direct op de
cortices Hoge sensor dichtheid (100 sensoren op 16mm 2 en meer)
Invasief: (gevaarlijke) operatie nodig Beperkt toepasbaar Eigenlijk
(nu nog) enkel voor bv. ALS of Parkinson patinten
- Dia 10
- 10 Signalen (1) P300 Aandachtssignaal: 300ms na stimulus
zichtbaar Geen training nodig ERS/ERD: Event Related
(De)Synchronization Verandering in Band Power Te zien in
tijd/frequentie diagrammen
- Dia 11
- 11 Signalen (2) SSVEP: Steady State Visually Evoked Potentials
Laat heel snel twee verschillende plaatjes zien De frequentie
waarmee dit gebeurt zorgt voor verhoogde activiteit SSSEP: Steady
State Somatosensory Evoked Potentials Beweging (trilling) is in je
motorcortex te zien. Een Wiimote zou hiervoor gebruikt kunnen
worden
- Dia 12
- 12 Problemen Lokalisatie, waar komt een signaal vandaan? Elk
deel van de hersenen heeft een eigen functie Lastig vanwege slechte
spatile resolutie Cocktail party effect Ruis Invloeden van buitenaf
Mobiele telefoons, TL-verlichting, spierinvloeden Artefacten
Oogbewegingen (knipperen, draaien, dichthouden) Spieractiviteit
Hoge variabiliteit in performance Tussen mensen onderling maar ook
over tijd en ruimte
- Dia 13
- 13 Lokalisatie (1) Cocktail-party probleem: Midden in een
feestje hoor je van alle kanten stemmen komen. Een gesprek volgen
is voor mensen redelijk makkelijk Maar probeer een computer maar
eens zo ver te krijgen!
- Dia 14
- 14 Lokalisatie (2) Blind Source Separation Stel je hebt 4
verschillende signalen Je meet op 4 verschillende punten middels
EEG Aapo Hyvrinen, Helsinki University of Technology
- Dia 15
- 15 Lokalisatie (3) De bedoeling is zoveel mogelijk de originele
karakteristieken te kunnen zien. De schaal en het teken zijn
moeilijk te reconstrueren De karakteristieke vormen zijn echter
goed terug te zien ICA
- Dia 16
- 16 Ruis (1) Weinig signaal, heel veel ruis Bv: spierinvloed als
je bijt is 10-100 keer groter Invloeden van buitenaf GSM
TL-verlichting Netspanning Hoog inductieve apparaten
- Dia 17
- 17 Ruis (2) Actieve electroden Versterker in de sensor Hoog
signaal over de kabel, dus geen ruis versterken CAR: Common Average
Reference Trek het gemiddelde van alle kanalen van elk kanaal af
Effectief: enorme verbetering van het signaal
- Dia 18
- 18 Artefacten Oogbewegingen Filteren mbv extra sensoren? Slim
filteren met Machine Learning technieken Spieractiviteit Kaken,
nekspieren (bij spanning) en ledematen Invloed op signaal verschilt
erg
- Dia 19
- 19 Training en Classificatie Signalen zijn ontdaan van ruis en
artefacten (preprocessing) Tijdens de training worden verschillende
taken meerdere keren uitgevoerd Het classificatie algoritme
probeert een patroon te herkennen De classifier herkent na de
training de signalen en geeft via het systeem feedback
- Dia 20
- 20 Classificatie Classificatie is het indelen van EEG- data in
bepaalde groepen Bijvoorbeeld linker- of rechterhand bewegingen De
classifier is het stukje software dat bepaalt in welke klasse de
bekeken data hoort Soort classifier hangt af van het probleem en
van de data
- Dia 21
- 21 Machine Learning (1) Verschillende manieren om naar de
hersensignalen te kijken De rauwe signalen Tijd/frequentie
diagrammen Middelen over meerdere trials Per kanaal of per gebied
(meerdere kanalen) Afhankelijk van anatomie Etc. Afhankelijk van
het gebruikte paradigma zijn er verschillende Machine Learning
technieken toepasbaar
- Dia 22
- 22 Machine Learning (2) Voorbeeld van preprocessing &
classificatie voor (imagined) movement: Common Average Reference
(ruis filteren) Bandpass tussen 8 en 30Hz (nuttige informatie
filteren) Common Spatial Patterns over 32 kanalen (zoekt naar de
meest relevante kanalen) Een LDA classifier op variantie (Zoekt in
de relevante kanalen naar maximale verschillen tussen klassen) De
uitspraak van de classifier wordt teruggestuurd naar de gebruiker
middels een apparaat als feedback
- Dia 23
- 23 Feedback Feedback hangt sterk af van de toepassing Rolstoel
besturen of karakter in WoW besturen? Een speller-systeem voor
patinten of een woordspelletje voor 14 jarigen? Feedback is
belangrijk voor gebruikerservaring Benvloed direct de aandacht van
de gebruiker Kan helpen of juist tegenwerken Moet motiverend zijn
maar geen afleiding worden
- Dia 24
- 24 Toepassingen (1) Feedback moet realtime en continu zijn: Pas
na 10 minuten weten hoe je iets gedaan hebt is niet Inter-Actief
Continue feedback kan voor motivatie van gebruiker zorgen
Toepassingen moeten slim omgaan met huidige beperkingen van
BCI
- Dia 25
- 25 Toepassingen (2) Emotiv is bezig met betere headsets
P300-speller-systemen voor gehandicapten Aansturen van een rolstoel
mbv BCI
- Dia 26
- 26 Toepassingen (3) Echte bewegingen in combinatie met BCI (zie
afstudeerverslag) BCI Gaming mbv SSVEPs
- Dia 27
- 27 Toepassingen (4) BrainBasher Online en realtime Directe en
continue feedback Robuust Werkt ook buiten afgeschermde laboratoria
Breed toepasbaar: 2 of meer klassenparadigmas Werkt met allerlei
soorten ERD/ERS activiteit
- Dia 28
- 28 BCI @ HMI (1) BrainMedia BCI bij HMI richt zich op gamen
voor gezonde gebruikers Op dit moment 4 PhDs en 2 afstudeerders
Niet alleen preprocessing en classificatie: Adaptive User
Interfaces Multimodal games Affective computing
- Dia 29
- 29 BCI @ HMI (2) Mijn onderzoek: Actual and Imagined Movement
in BCI Gaming submitted voor AISB09 te Edinburgh Wat is het
verschil tussen echte en imaginaire beweging? Is het n beter
herkenbaar dan het ander? Is er verschil in user experience?
- Dia 30
- 30 BCI @ HMI (3) Veel mogelijkheden voor leuke opdrachten
Innovatieve games User experience en BCI Betere
classificatiemethoden Serious gaming Neurofeedback Multiplayer
Games? Zie handouts!
- Dia 31
- 31 Nu is het tijd om te bashen! :)