Dia 1

Brain-Computer Interaction Bram van de Laar

Dia 2

2 Brain-Computer Interaction?

Dia 3

3 Input Zichtbaar maken van hersenactiviteit Neuronen vuren elektrische impulsen af Meetbaar door het afvuren van groepen Regelmaat in het afvuren: typische golfbewegingen Verschillende technieken om te meten Elk met eigen voor- en nadelen Elk met eigen toepassingsgebieden

Dia 4

4 (f)MRI Meet bloeddoorvoer en geen echte hersenactiviteit Redelijke spatile resolutie (~1 mm) Lage temporele resolutie 1 scan per ~2 seconden: 2M Niet liegen Liegen Zichtbaar in fMRI

Dia 5

5 MEG Magnetoencephalografie Meet magnetische velden als gevolg van hersenactiviteit Matige spatile resolutie Goede temporele resolutie Vereist magnetisch afgeschermde ruimte Duur: ~2M

Dia 6

6 EMG Elektromyografie Geen Brain maar Muscle Computer Interaction Meet direct op een spier Hoge temporele resolutie Geen lokalisatie problemen Veel werk om op te zetten Veel draden die in de weg zitten Plakkertjes laten makkelijk los

Dia 7

7 EEG (1) Hoge temporele resolutie 4 KHz en hoger Niet invasief Geen operaties of gezondheidsrisicos Relatief goedkoop Gemakkelijk Draagbaar

Dia 8

8 EEG (2) Vatbaar voor ruis afhankelijk van omgeving Oppervlakte meting Slechte spatile resolutie Opzetten neemt tijd in beslag

Dia 9

9 ECoG Electrocorticografie: elektrische sensoren direct op de cortices Hoge sensor dichtheid (100 sensoren op 16mm 2 en meer) Invasief: (gevaarlijke) operatie nodig Beperkt toepasbaar Eigenlijk (nu nog) enkel voor bv. ALS of Parkinson patinten

Dia 10

10 Signalen (1) P300 Aandachtssignaal: 300ms na stimulus zichtbaar Geen training nodig ERS/ERD: Event Related (De)Synchronization Verandering in Band Power Te zien in tijd/frequentie diagrammen

Dia 11

11 Signalen (2) SSVEP: Steady State Visually Evoked Potentials Laat heel snel twee verschillende plaatjes zien De frequentie waarmee dit gebeurt zorgt voor verhoogde activiteit SSSEP: Steady State Somatosensory Evoked Potentials Beweging (trilling) is in je motorcortex te zien. Een Wiimote zou hiervoor gebruikt kunnen worden

Dia 12

12 Problemen Lokalisatie, waar komt een signaal vandaan? Elk deel van de hersenen heeft een eigen functie Lastig vanwege slechte spatile resolutie Cocktail party effect Ruis Invloeden van buitenaf Mobiele telefoons, TL-verlichting, spierinvloeden Artefacten Oogbewegingen (knipperen, draaien, dichthouden) Spieractiviteit Hoge variabiliteit in performance Tussen mensen onderling maar ook over tijd en ruimte

Dia 13

13 Lokalisatie (1) Cocktail-party probleem: Midden in een feestje hoor je van alle kanten stemmen komen. Een gesprek volgen is voor mensen redelijk makkelijk Maar probeer een computer maar eens zo ver te krijgen!

Dia 14

14 Lokalisatie (2) Blind Source Separation Stel je hebt 4 verschillende signalen Je meet op 4 verschillende punten middels EEG Aapo Hyvrinen, Helsinki University of Technology

Dia 15

15 Lokalisatie (3) De bedoeling is zoveel mogelijk de originele karakteristieken te kunnen zien. De schaal en het teken zijn moeilijk te reconstrueren De karakteristieke vormen zijn echter goed terug te zien ICA

Dia 16

16 Ruis (1) Weinig signaal, heel veel ruis Bv: spierinvloed als je bijt is 10-100 keer groter Invloeden van buitenaf GSM TL-verlichting Netspanning Hoog inductieve apparaten

Dia 17

17 Ruis (2) Actieve electroden Versterker in de sensor Hoog signaal over de kabel, dus geen ruis versterken CAR: Common Average Reference Trek het gemiddelde van alle kanalen van elk kanaal af Effectief: enorme verbetering van het signaal

Dia 18

18 Artefacten Oogbewegingen Filteren mbv extra sensoren? Slim filteren met Machine Learning technieken Spieractiviteit Kaken, nekspieren (bij spanning) en ledematen Invloed op signaal verschilt erg

Dia 19

19 Training en Classificatie Signalen zijn ontdaan van ruis en artefacten (preprocessing) Tijdens de training worden verschillende taken meerdere keren uitgevoerd Het classificatie algoritme probeert een patroon te herkennen De classifier herkent na de training de signalen en geeft via het systeem feedback

Dia 20

20 Classificatie Classificatie is het indelen van EEG- data in bepaalde groepen Bijvoorbeeld linker- of rechterhand bewegingen De classifier is het stukje software dat bepaalt in welke klasse de bekeken data hoort Soort classifier hangt af van het probleem en van de data

Dia 21

21 Machine Learning (1) Verschillende manieren om naar de hersensignalen te kijken De rauwe signalen Tijd/frequentie diagrammen Middelen over meerdere trials Per kanaal of per gebied (meerdere kanalen) Afhankelijk van anatomie Etc. Afhankelijk van het gebruikte paradigma zijn er verschillende Machine Learning technieken toepasbaar

Dia 22

22 Machine Learning (2) Voorbeeld van preprocessing & classificatie voor (imagined) movement: Common Average Reference (ruis filteren) Bandpass tussen 8 en 30Hz (nuttige informatie filteren) Common Spatial Patterns over 32 kanalen (zoekt naar de meest relevante kanalen) Een LDA classifier op variantie (Zoekt in de relevante kanalen naar maximale verschillen tussen klassen) De uitspraak van de classifier wordt teruggestuurd naar de gebruiker middels een apparaat als feedback

Dia 23

23 Feedback Feedback hangt sterk af van de toepassing Rolstoel besturen of karakter in WoW besturen? Een speller-systeem voor patinten of een woordspelletje voor 14 jarigen? Feedback is belangrijk voor gebruikerservaring Benvloed direct de aandacht van de gebruiker Kan helpen of juist tegenwerken Moet motiverend zijn maar geen afleiding worden

Dia 24

24 Toepassingen (1) Feedback moet realtime en continu zijn: Pas na 10 minuten weten hoe je iets gedaan hebt is niet Inter-Actief Continue feedback kan voor motivatie van gebruiker zorgen Toepassingen moeten slim omgaan met huidige beperkingen van BCI

Dia 25

25 Toepassingen (2) Emotiv is bezig met betere headsets P300-speller-systemen voor gehandicapten Aansturen van een rolstoel mbv BCI

Dia 26

26 Toepassingen (3) Echte bewegingen in combinatie met BCI (zie afstudeerverslag) BCI Gaming mbv SSVEPs

Dia 27

27 Toepassingen (4) BrainBasher Online en realtime Directe en continue feedback Robuust Werkt ook buiten afgeschermde laboratoria Breed toepasbaar: 2 of meer klassenparadigmas Werkt met allerlei soorten ERD/ERS activiteit

Dia 28

28 BCI @ HMI (1) BrainMedia BCI bij HMI richt zich op gamen voor gezonde gebruikers Op dit moment 4 PhDs en 2 afstudeerders Niet alleen preprocessing en classificatie: Adaptive User Interfaces Multimodal games Affective computing

Dia 29

29 BCI @ HMI (2) Mijn onderzoek: Actual and Imagined Movement in BCI Gaming submitted voor AISB09 te Edinburgh Wat is het verschil tussen echte en imaginaire beweging? Is het n beter herkenbaar dan het ander? Is er verschil in user experience?

Dia 30

30 BCI @ HMI (3) Veel mogelijkheden voor leuke opdrachten Innovatieve games User experience en BCI Betere classificatiemethoden Serious gaming Neurofeedback Multiplayer Games? Zie handouts!

Dia 31

31 Nu is het tijd om te bashen! :)