Doelgroepgerichte aansturing met brain computer interfaces

Jurypresentatie masterproef

Lester LievensLaurens Van de Perre

10/04/2023 Jurypresentatie masterproef 2

Inhoud• Situering• Uitdagingen • Werkwijze• Resultaten• Demo• Conclusie

Situering

10/04/2023Jurypresentatie masterproef 3

10/04/2023 Jurypresentatie masterproef 4

10/04/2023 Jurypresentatie masterproef 5

Brain Computer Interface (1)• Hersenactiviteit omzetten naar commando’s• Aansturen van computers en externe apparatuur

10/04/2023 Jurypresentatie masterproef 6

Brain Computer Interface (2)• BCIs kunnen geen gedachten lezen• Patronen in hersenactiviteit = commando• Patroon vs. referentiepunt commando aanroepen

10/04/2023 Jurypresentatie masterproef 7

Opdracht• Grote wetenschappelijke vooruitgang op vlak van BCIs• Nog geen commerciële producten op de markt• Kloof proberen dichten tussen wetenschap en consument• Focus op gebied van computerwetenschappen

• In opdracht van Negotica (Groningen)• Ontwikkeling van een praktisch product

10/04/2023 Jurypresentatie masterproef 8

Doelgroep• Personen met een fysieke of motorische beperking• Heel divers• Specifieke eisen

• Drie hoofdcategorieëno personen met aangeboren en niet-aangeboren

hersenafwijkingeno personen met verlamming door diverse oorzakeno personen met progressieve spierziektes

10/04/2023 Jurypresentatie masterproef 9

Secundaire doelgroep(en)• Verzorgers• Familie• …

Uitdagingen

10/04/2023Jurypresentatie masterproef 10

10/04/2023 Jurypresentatie masterproef 11

Kostprijs• Wetenschap vs. eindgebruiker• Meetapparatuur en signaalkwaliteit• Nood aan betaalbare oplossingen • Compromis nodig• Lagere signaalkwaliteit kunnen opvangen

10/04/2023 Jurypresentatie masterproef 12

Diversiteit doelgroep• Iedere persoon is anders• Noden afhankelijk van situatie• Bronnen van signaalruis• Nood aan een adaptief systeem

10/04/2023 Jurypresentatie masterproef 13

Variatie aan commando’s• Combinatie van verschillende commando’s nodig• Meer commando’s = moeilijker te onderscheiden• Gevolg: foutpercentage stijgt en nauwkeurigheid daalt

10/04/2023 Jurypresentatie masterproef 14

Kalibratieperiode• Huidige systemen hebben meestal kalibratieperiode nodig• Systeem wordt hierbij afgesteld op gebruiker• Langere training = hogere nauwkeurigheid• Deze trainingsperiode is omslachtig en vermoeiend

10/04/2023 Jurypresentatie masterproef 15

Real-timekarakter• Signalen moeten zo snel mogelijk worden verwerkt• Real-timefeedback nodig van systeem• Lange antwoordtijden nefast voor concentratie

Werkwijze

10/04/2023 Jurypresentatie masterproef 17

Meten van hersenactiviteit

10/04/2023 Jurypresentatie masterproef 18

Meten van hersenactiviteit• Reeks van technieken om hersenactiviteit te meten• Elk met hun eigen meetapparatuur

• Elke techniek heeft zijn voor- en nadelen• Selecteren van meest geschikte met oog op doelgroep

10/04/2023 Jurypresentatie masterproef 19

Invasief vs. niet-invasief

Invasief• Sensoren ingeplant• Signalen van hoge kwaliteit

• Kans op implicaties• Sensoren periodiek vervangen

• Grote bandbreedte• Hogere amplitude• Minder ruis

Niet-invasief• Sensoren extern aanwezig• Signalen van lagere kwaliteit

• Geen medische implicaties• Sensoren makkelijk plaatsen

en verwijderen• Kleine bandbreedte• Kleine amplitude• Ruisgevoelig

10/04/2023 Jurypresentatie masterproef 20

Niet-invasieve methoden

EEG• Elektrische activiteit

fNIRS • Zuurstofgehalte in het bloed

MEG fMRI • Magnetisch veld door

elektrische activiteit• Zuurstofgehalte in het bloed

10/04/2023 Jurypresentatie masterproef 21

Elektro-encefalografie• Meten van elektrische potentiaalverschillen • Afkomstig van neurale activiteit• Veel besproken in wetenschappelijke literatuur• Meetapparatuur is draagbaar• Relatief goedkoop• Moeilijk meten vanwege:

o Kleine amplitude (orde μV)o Beperkte bandbreedteo Lage ruimtelijke resolutieo Ruisgevoeligheid

10/04/2023 Jurypresentatie masterproef 22

Elektro-encefalografie• Frequentiebanden:

o Delta 0 – 4 Hzo Thèta 4 – 7 Hzo Alpha 8 – 15 Hzo Beta 12 – 30 Hzo Gamma 25 – 100 Hz

• Elk geassocieerd met verschillende staten van een persoon

10/04/2023

23

Jurypresentatie masterproef

Emotiv EPOC

EPOC als meetapparatuur:14 EEG-sensoreningebouwde gyroscoop

Meetapparatuur

10/04/2023

24

Jurypresentatie masterproef

MCN-systeem

De ingekleurde posities geven de elektroden van de Emotiv Epoc weer

10/04/2023 Jurypresentatie masterproef 25

BCI-paradigma’s

10/04/2023 Jurypresentatie masterproef 26

BCI-paradigma’s• Verschillende sets van theorieën om EEG-hersenactiviteit te

gebruiken als aansturing:o Selectieve aandacht (SSVEP, P300, …)o Ingebeelde bewegingen (SMR, mu-ritme, …)o Modulatie van ritmes o …

10/04/2023 Jurypresentatie masterproef 27

Selectie BCI-paradigma’s• Niet gekozen:

o Selectieve aandacht (epilepsiepatiënten)

• Gekozen:o Modulatie van het alpha-ritmeo Ingebeelde bewegingeno Oogbewegingen als uitbreiding

10/04/2023 Jurypresentatie masterproef 28

Samenvatting• Gekozen voor:

o Niet-invasieve technieken – EEGo Commerciële meetapparatuur – Emotiv EPOCo Paradigma – modulatie alpha-ritme, ingebeelde bewegingeno Hybride uitbreidingen – oogbewegingen, gyroscoop.

10/04/2023 Jurypresentatie masterproef 29

Experimenten

10/04/2023 Jurypresentatie masterproef 30

Experimenten• Bij 21 (gezonde) vrijwilligers

o Leeftijd tussen 14 en 54 jaaro 14 mannen en 7 vrouweno ~80% met leeftijd tussen 20-25 jaar

• Metingen rond:o Alpha-ritmeso Ingebeelde bewegingeno Oogbewegingen

10/04/2023 Jurypresentatie masterproef 31

Meetopstelling

10/04/2023 Jurypresentatie masterproef 32

Offline analyse• Offline analyse met 30 combinaties algoritme-classifier

o Classifiers: • lda, qda, gmm, logreg, sparse logreg, gaussbay

o Signaalverwerkingsalgoritmen:• CSP, SpecCSP, FBCSP, SPoC, logBP

Resultaten

10/04/2023 Jurypresentatie masterproef 34

Alpha-ritmes (1)

10/04/2023 Jurypresentatie masterproef 35

Alpha-ritmes (2)

10/04/2023 Jurypresentatie masterproef 36

Ingebeelde bewegingen (1)

10/04/2023 Jurypresentatie masterproef 37

Ingebeelde bewegingen (2)

10/04/2023 Jurypresentatie masterproef 38

Echte bewegingen (1)

10/04/2023 Jurypresentatie masterproef 39

Echte bewegingen (2)

10/04/2023 Jurypresentatie masterproef 40

Oogbewegingen (1)

10/04/2023 Jurypresentatie masterproef 41

Oogbewegingen (2)

10/04/2023 Jurypresentatie masterproef 42

Algemeen model (1)

10/04/2023 Jurypresentatie masterproef 43

Algemeen model (2)

10/04/2023 Jurypresentatie masterproef 44

Demo

Conclusie

10/04/2023 Jurypresentatie masterproef 46

Conclusie• Betaalbare basisoplossing• 4 commando’s (actief niet meegerekend)• Real-timeoplossing

• Kalibratieperiode op een leuke, ontspannende manier (gaming)• Flexibele en betaalbare headset

10/04/2023 Jurypresentatie masterproef 47

Vervolgtrajecten• Ander type headset• Gyroscoop om beweging te detecteren (stop classificatie)• Standalone modules creëren buiten MATLAB• Reinforcement learning toepassen• Hybride trajecten zoals EMG onderzoeken• Data verzamelen van personen uit doelgroep.

Vragen?