Download - Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Transcript
Page 1: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Bron: http://sylviamoessinger.wordpress.com/2012/06/18/learning-analytics-wordle/

Page 2: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Sessie titel

Studiesucces voorspellen met Blackboard Learn

Zaal: Diamond I

Tijd: 15:30 – 16:15 uur

Spreker:

Bob Schoonbeek, Hanzehogeschool Groningen

E-mail: [email protected]

Page 3: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Page 4: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Hanzehogeschool Groningen (2013): 26.233; 2.947; € 2,3 x108

Page 5: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Bob Schoonbeek: functioneel beheerder digitale leeromgeving: LMS en digitaal toetsen.

(& docent &

onderwijskundig

adviseur)

Page 6: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Doel innovatieproject

Onderzoeken of het studiegedrag in het LMS van de HG (Blackboard Learn)

in de eerste vier weken van de opleiding een voorspellende waarde heeft voor

het studiesucces in het eerste propedeutische jaar.

Page 7: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Hypothese

80% van de studenten die ≤ 50% van het gemiddelde aantal klikken in een

Blackboard course als studiegedrag vertoont, valt uit in de propedeutische fase

van de opleiding.

Uitval: gestopt bij de opleiding waar de student gestart is. Mogelijk studeert student nog bij de HG of

elders in het HO, dat is niet meegenomen.

Page 8: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Aanleiding

• Pas laat (in de 2e periode) indicatie over studiegedrag op basis van

studiesucces.

• (Te) laat mogelijkheden om te sturen op studiegedrag: lijkt meest

doelmatig in eerste periode, met oog op BSA grens = 48 ECTS.

Page 9: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Beoogd resultaat

Betrouwbare werkwijze om na vier weken op eenvoudige en

eenduidige wijze een doelgroep te isoleren, die een groot aandeel van de

uitval in de propedeutische fase lijkt te vormen.

Page 10: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Gebruik Blackboard Learn

Al het onderwijs van de HG wordt door Blackboard Learn

ondersteund:

• 28.109 unieke gebruikers (september 2014);

• 5.923.278 page views/maand ( 12.000/uur)

• 197.798 actieve uren totaal = 20,5 mensjaren;

• 12 minuten per gebruiker/dag ofwel 7 uren per maand; 0,5 page views/minuut per

gebruiker.

Page 11: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Werkwijze (I)

• 6 courses geselecteerd op basis van criteria m.b.t. mate van interactie en omvang

(blokcourses van 15 ECTS);

• 3 sectoren (economie, techniek, gezondheid);

• In totaal 1.385 studenten gevolgd (betrouwbaarheid);

• 285 standaard metingen in BbL gedaan

(6 zouden volstaan; onderzoekende houding…).

Page 12: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Werkwijze (II)

Studiegedrag:

Blackboard Learn, standaard reports, beheer LMS bij HG & na juni Blackboard

managed hosting;

(data 180 dagen bewaard; >100.000.000 records)

Studiesucces:

ProgRESS & na maart Osiris;

Analyses:

SPSS, MS Excel & MS Access.

Page 13: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Vindplaats

Course Reports

(standaard)

Report no. 1:

Hits per menu-item.

Report no. 2:

Sessie tijd per gebruiker, gemiddeld & totaal.

Report no. 4:

Hits per gebruikte BbL tool.

1

2

4

Report 4 is voornamelijk gebruikt voor het

project.

Page 14: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Bevindingen (I): gebruik BbL

Content

itemAnnouncements

Discussion Board

Page 15: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bevindingen

(IIa):

gebruik BbL

Uren van de dag

Dagen van de dag

Page 16: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bevindingen

(IIb):

gebruik BbL

Dit was een nacht in de

tentamenweek periode 1

….

Procrastinatie

Page 17: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bevindingen (III):

gebruik BbL

1 course & 1 week

7.497 uren;

13,02 uren / user

Let op: BbL geeft sessietijd

weer!

(Report 2)

Page 18: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Page 19: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Page 20: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Page 21: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Voorbeeld SPSS analyse aantallen klikken

(horizontaal) uitgezet tegen het aantal

users (verticaal) met bepaling gemiddelde

(= mean) en spreiding (Std Dev).

?

24 std tussen 0-33x

geklikt

Page 22: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Grenzen en groepen

Op basis van gemiddeld aantal klikken over de meetperiode zijn twee grenzen gedefinieerd:

• Grens A: 0-50% van gemiddelde;

• Grens B: 51-75% van gemiddelde.

Prognose (opgesteld voor studiesucces periode 1)

80% van de studenten tot grens A zal op 1 oktober 2014 uitgeschreven zijn voor de opleiding.

50% van de studenten tussen grens A en grens B zal op 1 oktober 2014 uitgeschreven zijn voor

de opleiding.

Page 23: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Bepaling grenzen en

groepen users.

Grens A: 499 studenten = 36%

Grens B: 132 studenten = 10%

Rest C: 754 studenten = 54%

Page 24: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Uitkomsten studiesucces

Alle 4 perioden gecategoriseerd voor de drie doelgroepen A, B en C:

I. Uitgeschreven;

II. 0 - 33,3% van de ECTS;

III. 33,4 – 66,6% van de ECTS;

IV. 66,7 – 100% van de ECTS;

V. > 100% van de ECTS (VR, keuzeruimte).

ECTS / periode:

1: 15 ECTS

2: 30 ECTS

3: 45 ECTS

4: 60 ECTS

BSA: 48 ECTS

Page 25: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Uit

kom

sten

(per

iod

e 1)

… waarvan 59% uit groep A

27% = uitval…Periode 1

Page 26: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Uit

kom

sten

(per

iod

e 2)

Periode 2

Page 27: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Uit

kom

sten

(per

iod

e 3)

Periode 3

Page 28: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Uit

kom

sten

(per

iod

e 4)

Periode 4

… waarvan 77% uit groep A

40% = uitval…

Page 29: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

CODE PROGNOSE Per. 1 Per. 2 Per. 3 Per. 4A 80% 59% 74% 77% 77%B 50% 14% 20% 30% 31%C 9% 12% 16% 17%

Uitval: prognose vs gerealiseerde lastUitkomsten

Conclusie: de hypothese groep A komt (vrijwel) uit; groep B daarentegen niet.

Page 30: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Foutendiscussie

• Courses (= leeg) gestart, studenten self enroll;

• Medewerkers zijn er handmatig uit gehaald;

• Gewisseld van studieresultaten programma;

• Blackboard Learn naar cloud gemigreerd;

• Werkinstructie analyse gemaakt;

• Herkansers & foutieve aanmelding niet bekend;

• Geen interventies gepleegd.

Page 31: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Wat kun je met deze kennis (course niveau)?

• Doelgroep met hoge kans op uitval isoleren, interventies op groepsniveau

(privacy!);

• Onderwijskundige veranderingen monitoren / kwantificeren (b.v. onderwijs

blenden);

• Feedback geven op gebruik coursecontent aan verantwoordelijke docent(en) /

MT’s;

• Gebruik door studenten van de leeromgeving demonstreren aan docenten.

Page 32: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Aanbevelingen (eindrapport SURF)

I. Interventies groep A op basis van het gevonden verband tussen studiegedrag en studiesucces;

II. Het project toont aan dat met learning analytics tal van aspecten geanalyseerd kunnen worden

die zowel met de gebruikers van het onderwijs als met de ontwerpers van het onderwijs te

maken hebben.

LA kan een belangrijke rol vervullen in het optimaliseren van inzetten van ICT in onderwijs &

onderzoek.

Page 33: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

De analyse kan zich richten op zaken als:

• Ondersteunt de course de onderwijsvisie van de instelling;

• Haalt de docent / opleiding uit het onderwijs / course wat wenselijk en mogelijk is (deskundigheid professional);

• Spreekt de course de verschillende leerstijlen optimaal aan;

• Ondersteunt de course afstandsonderwijs / deeltijdonderwijs;

• Sluit de opzet van het onderwijs optimaal aan bij verschillende doelgroepen (jonge voltijdstudenten,

internationale studenten, oudere deeltijdstudenten en werkende professionals);

• Wordt Blackboard Learn optimaal ingezet om de werkdruk van docenten te verlagen.

Page 34: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Wat heeft dit project u opgeleverd?

• Een interessante sessie (hoop ik ☺).

• Uitgewerkte werkinstructie hoe je zo’n meting zelf kunt doen in de eigen Blackboard Learn

omgeving;

• Voorbereide Excel spreadsheet om de gegevens te verwerken tot informatie:

http://icto.hanze.nl/SURF/LearningAnalytics.zip

• Inspiratie om zelf met de reports uit BbL aan de slag te gaan, om een bijdrage te leveren om de

kwaliteit van het onderwijs te verbeteren.

Page 35: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

SURF Special Interest Group (SIG) Learning Analytics

Wat doet de SIG Learning Analytics?

• Kennis delen: het uitwisselen van informatie, nieuws en best practices.

• Kennis bundelen: bij elkaar brengen van experts, docenten, studenten en andere belangstellenden.

• Kennis genereren: samen nieuwe inzichten ontwikkelen op bijeenkomsten en in focusgroepen.

 

• Waar vindt u de SIG Learning Analytics?

• SURFspace: een online platform met nieuws, blogs en literatuur over learning analytics:

www.surfspace.nl/learninganalytics

• Bijeenkomsten: de SIG Learning Analytics organiseert regelmatig bijeenkomsten, bijvoorbeeld

bij SURFacademy, het professionaliseringsprogramma van SURF.

Page 36: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

E-mail: [email protected]

Page 37: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Wat kun je met LA kennis doen (next level)?

Met Eesysoft Adoption Reports kun je het BbL gebruik van studenten monitoren op

niveau van:

• Instelling;

• Afdeling (School, faculteit);

• Course (Reports in ontwikkeling);

• Blackboard Learn tools.

Ook: signaleren van trends in het gebruik en mate van adoptie.

Page 38: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Wat kun je monitoren?

• Aantal active users per periode;

• Active uren periode (geen sessietijd);

• Active minuten per gebruiker en per dag;

• Aantal pageviews per periode.

Met Messaging kun je ook berichten sturen op basis van het gebruik; individuele

gebruikers wijzen op niet gebruiken van discussion board bijvoorbeeld.

Page 39: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Eesysoft: Trend Active Users HG

28.109 in

september

Page 40: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Eesysoft: Trend Active Hours HG

179.798

(= 20,5 mensjaar…)

Page 41: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Eesysoft: Trend Active Minutes (dag/user) HG

12 minuten / dag

2 page views / minuut

Page 42: Studiesucces voorspellen met Blackboard Learn - Bob Schoonbeek - OWD14

Bob Schoonbeek, innovatieproject learning analytics:

Studiesucces voorspellen met Blackboard Learn.

Eesysoft: Trend Page views HG

5.923.278

= 5,923287 x106