Learning  AnalyticsWat  werkt  wel  en  niet?

Wietse  van  Bruggen,  Stichting  Kennisnet  Email:  w.vanbruggen@kennisnet.nl  

Definitie

• Learning  Analytics  is  de  verzamelnaam  voor  het:

1. proberen  te  ontdekken  van  trends  en  patronen  

2. door  educatieve  data,  of  big  data  (grote  hoeveelheden  aan  data  over  studenten),  te  analyseren  

3. met  als  doel  om  een  doelmatiger  leersysteem  te  kunnen  ontwikkelen.  

• Learning  Analytics  komt  in  de  praktijk  neer  op  het  meten,  verzamelen,  analyseren  en  rapporteren  van  data  over  leerlingen  en  hun  context.

2

3

Learning  Analytics  cyclus

4

Leerlingen

Data

Analyses

Interventies

De

LearningAnalyticsCyclus

Clow, LAK12, 2012

5

Voorbeelden

6

Rekentuin

7

Rekentuin

8

Got  it

9

Got  it

10

Got  it

11

Bettermarks

12

Signals

13

14

15

http://evidence.laceproject.eu/

Onderzoek

• Vier  hypotheses:  

1. Learning  Analytics  heeft  een  positief  effect  op  het  leren.

2. Learning  Analytics  heeft  een  positief  effect  op  ondersteuning  en  het  geven  van  onderwijs.

3. Learning  Analytics  is  veel  in  gebruik,  ook  grote  implementaties.

4. Learning  Analytics  is  op  een  ethische  manier  toegepast.  

16

17

Tijd  als  voorspellende  factor?

• Leerlingen  maakten  multiple  choice  vragen  

• Als  een  leerling  meer  tijd  besteed  om  een  vraag  te  beantwoorden  dan  is  dan  kans  groter  dat  ze  hoger  scoren.

• Als  een  leerling  meer  tijd  nodig  heeft  en  daarbij  vragen  fout  beantwoorden  dan  is  de  kans  groter  dat  ze  lager  zullen  scoren.

• Zoeken  naar  bewijzen  dat  gegevens  een  voorspellende  waarde  hebben. Papamitsiou,  Z.K.,  Terzis,  V.  and  Economides,  A.A.  (2014)  Temporal  Learning  Analytics  for  Computer  Based  Testing.  The  4th  International  Conference  on  Learning  Analytics  and  Knowledge.  March  24-­‐28,  2014.  Indianapolis,  USA.  http://lak14indy.wordpress.com/lak-­‐2014-­‐conference-­‐program-­‐schedule/

18

Heeft  de  interventie  effect?

• Course  Signals:  kijkt  naar  resultaten,  demografische  gegevens,  gegevens  uit  het  verleden,  interactie  van  studenten  met  de  ELO/LVS.

• De  leerling  krijgt  een  gepersonaliseerde  email  van  een  docent  naar  elke  student,  en  een  kleur  op  een  stoplicht  als  indicatie  hoe  de  student  het  doet.  

• Studenten  die  in  de  jaren  2007,  2008  of  2009  een  vak  hebben  gedaan  waarbij  het  Signals  systeem  is  gebruikt  significant  minder  uitvielen  dan  studenten  die  tijdens  deze  periode  geen  vak  hebben  gedaan  waarbij  Signals  is  gebruikt  maar  in  dezelfde  periode  zijn  begonnen.Arnold,  Kimberley  E,  &  Pistilli,  Matthew.  (2012).  Course  Signals  at  Purdue:  Using  Learning  Analytics  To  Increase  Student  Success.  Paper  presented  at  the  LAK12:  2nd  International  Conference  on  Learning  Analytics  and  Knowledge  (30  April  -­‐  2  May),  Vancouver,  Canada. 19

Samenwerkend  leren  in  een  online  omgeving  verbeteren?• Participation  Tool:  verzamelt  informatie  over  (1)  de  hoeveelheid  

berichten  en  de  lengte  van  de  berichten  die  groepsleden  versturen  tijdens  het  communiceren  en  (2)  het  aantal  toetsaanslagen  per  groepslid  bij  het  schrijven  van  een  groepsverslag  in  een  online  omgeving.  

• Hypothese:  betere  samenwerking,  betere  samenwerking  zal  ook  voor  betere  resultaten  zorgen.

20

Samenwerkend  leren  in  een  online  omgeving  verbeteren?

21

Samenwerkend  leren  in  een  online  omgeving  verbeteren?• Helpt  leerlingen  bewust  te  worden  van  het  belang  van  gelijkwaardige  

participatie  tijdens  samenwerking,  actievere  bijdrage  van  leerlingen  aan  het  overleggen  en  discussiëren  en  een  gelijkwaardiger  participatie..  

• Sommige  leerlingen  de  visualisatie  te  manipuleren  door  onzinberichten  te  versturen.  De  groepsleden  spraken  hen  hier  echter  op  aan,  waardoor  de  kwaliteit  van  de  discussie  niet  verslechterde.  

• Leraren,  dankzij  informatie  over  de  individuele  inbreng  van  groepsleden,  scheve  verhoudingen  in  de  groepen  beter  opsporen  en  er  actie  op  ondernemen.    

• Relatief  meer  berichten  sturen  naar  groepen  waarin  de  participatie  problematisch  is  dan  naar  groepen  waarin  dat  niet  het  geval  is.   22

Onderzoek

• Meer  dan  100  verschillende  bronnen  onderzocht.  • 27  bronnen  gaven  echt  sterk,  significant  bewijs.  • Meer  onderzoek  is  nodig  voor  een  sterk  bewijs.

23

“Learning  Analytics  -­‐  Wat  werkt  wel  en  niet?”  by  Wietse  van  Bruggen,  Stichting  Kennisnet  was  presented  at  Onderwijsfestival  2032  on  21st  of  May,  2015.  

<author  email,  twitter,  web  –  as  you  wish>

This  work  was  undertaken  as  part  of  the  LACE  Project,  supported  by  the  European  Commission  Seventh  Framework  Programme,  grant  619424.

These  slides  are  provided  under  the  Creative  Commons  Attribution  Licence:  http://creativecommons.org/licenses/by/4.0/.    Some  images  used  may    have  different  licence  terms.

www.laceproject.eu  @laceproject

24