Een MOOC als onderzoeksinstrument ervaringen na 1 jaar

Thieme Hennishttp://hennis.nl

thieme@hennis.nl

Eerst een (klein) beetje context..

Wie staat er voor u?

• Thieme Hennis. PhD student @ TUD, sectie Systeemkunde / Participatory Systems• Verantwoordelijk voor de evaluatie DelftX• Member research group Open & Online Education (O2E)

• Colleagues: • Pieter de Vries• Sasha Skrypnyk (Univ. of Southern Australia)

DelftX = TUD + edX

‘TU Delft aims to have a distance

& online education programme

operational within 4 years’

(policy report 2011).

Next Generation Infrastructures 2

Drinking Water Treatment

Functional Programming

Delft DesignApproach

Technology for Bioproducts

Solving Complex Problems

ResponsibleInnovation

Treatment of Urban Sewage

Introduction to

Water & Climate

Introduction to

Solar Energy

Aeronautical Engineering

Credit Risk Management

OP DIT MOMENT…

Nieuwe MOOCs (2015)

Economics of Information Security

Transport Phenomena: mass, heat and momentum

Topology for Condensed Matter: Untying Quantum Knots

Framing. Communicating your message in the world of politics

Take your Data Analysis to the MAX with Excel

UPCOMING…

“Geregistreerde” studenten voor de MOOCs

Total > 250.000

Nov’14

Ook nog…

• ProfEd → professional education• Economics of Cybersecurity

• edX Highschool initiative• Pre-University Calculus

• Blended and online education• Aeronautical Engineering, Architecture, Technology

Policy and Management, Industrial Design, EWI, Library, …

Pre-University Calculus Economics of Cybersecurity

Waarom Open & Online onderwijs?

• MIT doet het ook..• Betere wereld• Nieuwe ‘productie’- en

verdienmodellen• Internationaal publiek• Grotere vraag / opschalen

• Onderwijsverbetering online <> campuscapacity buildingresearch

Online <> campus

MOOCs on-campus?

• Solar EnergyFlipped: MOOC materiaal als voorbereiding van ‘teaching sessions’ (geen lectures!) en lab experiments

• Water TreatmentBlended: MOOC materiaal vervangt deel lectures

• Solving Complex ProblemsReverse ontwikkeling: 1. On-campus, 2. Blended, 3. MOOC

• Fundamentals of water treatmentMOOC als ‘gateway’ to online course (alleen voor beste studenten op edX)

on-campus MOOCs?

• Water & Climate Blended (via Bb): on-campus + MOOC materiaal (via Bb)

• Functional Programming Blended (via edX)

• Aeronautical Engineering MOOC materiaal is optioneel / extra voor campus cursus

• Credit Risk Management Blended

Evaluatie + Research

1. Evaluatie• Betere beslissingen alle

DelftX stakeholders

2. Research• Theorie-ontwikkeling• Onderzoeksnetwerken +

capaciteit om vragen te beantwoorden

• Wetenschappelijke bijdrage aan edX en lokaal

• OnderwijsinnovatieWill it

blend?

Yes it will

Level Topics of interest and stakeholders

Strategic University role into the future, open en online education, business models, ROIDeans, DelftX, MT

Organizational Efficient workflows and procedures, support structure, documentationCourse teams, course teachers/owners, NMC, DelftX, marketing

Course Course design, pedagogical approach, use of media, methods and tools, student support, interventions and experiments, interactionCourse teachers/owners

Technology/edX Design of tools for learning, teaching, and data analysis/visualizationedX consortium, NMC

Students Learner demographics, background, performance, engagement, etc.Students

Management: wat is de ROI?

• Wat is de juiste MIX• Wat krijg je er voor terug?

• Nieuwe studenten• Branding• Onderwijskwaliteit• Onderwijsaanbod• HR

Support / design teams: hoe ondersteun je docenten?

• Lessons learned• Guidelines• Schaalbaar maar zelfde

kwaliteit• Nieuwe tools• Betere workflow• Docent-tevredenheid

Teacher/department: MOOC als marketing-instrument?

• Nieuwe studenten• Cherry picking• Selectie aan de “MOOC”

poort• Promotie online cursus

• Boek promotieDo MOOCx and

qualify for our

Online MSc

Teacher: interesse in MOOC-gerelateerde onderwerpen

• Solar Energy: • Wat voor soorten solar plants

wereldwijd (>100 videos)

• NGI: • Belangrijkste redenen voor

infrastructuur failures per land (>150 essays + survey)

• Pre-university calculus:• Wereldwijde niveau-

verschillen middelbaar onderwijs?

Teacher: Inzicht in studentenpopulatie en ervaringen

• Wie zijn de studenten?• Wat is hun niveau?• Verwachtingen• Ervaringen

• Wel of geen auto-cue?• Moeilijkheidsgraad cursus• Snelheid• Kwaliteit• Structuur• Interactie• Etc.

Studenten: hoe leer ik het best? Hoe verbeter ik mezelf?

• Wel analyse, nog beperkte feedback & begeleiding• Moet schaalbaar zijn

(edX)

• Learning analytics• Personalisatie,

recommendations• Badges• Etc.

2a. Van exploratief naar specifiek

Disclaimer

… dit zijn

voorlopig

e resultat

en.

Gender gap

• Lijkt groter te worden gedurende cursus

• Vrouwelijke studenten vallen uit

• Relevante theory: stereotype threat?

→ ism Universiteit van München (Gender & Diversity in

Engineering Education group)

Dropout rate

• Grootste gedeelte vóórdat de cursus begint (non-starters ~ 80%!)

• Daarna: cijfer HWA.01!!• Cijfer groep dat niet doorgaat naar HWA.02: 3.58• Cijfer groep dat wel doorgaat: 8.89

• Meer dan 80% van studenten die tenminste 20% van de graded assignments goed doen, slaagt.• Hiervan gedeelte ‘explorers’

• “Geen tijd” belangrijkste factor

→ O2E-onderzoek: Learning analytics, prediction, performance metrics

Achtergrond studenten

• Veel professionals → behoefte vanuit de markt

• Belangrijke voorspeller• Relevante achtergrond ~ cijfer• Opleidingsniveau ~ cijfer

• Interessant voor docenten: • Is mijn cursus op aanbevolen

niveau?• Wie doen er mee met mijn

cursus?• etc

Forum (1): performance en structuur

• Correlatie forum activiteit en cijfer• Forum activiteit → cijfer?• Goede/actieve student → meer

forum activiteit + beter cijfer?

• Facebook groups vs forum• Socialer• Meer ondersteuning• Niet anoniem: meer community→ betere prestaties!

• edX forum• paar ‘superposters’ – weinig

‘communities’

Skrypnyk, O., Hennis, T. A., & Vries, P. de. (2014). Understanding social learning behaviours of xMOOC completers Conference Topic : Technology in Learning. In SEFI 42th Annual Conference. Birmingham, UK.

Forum (2): linguistiek & social capital + Community of Inquiry

• Community of Inquiry onderzoek • Effecten van sociale en teacher

presence op activiteit op forum en sociale netwerken

• Linguistic analysis• Geautomatiseerde textanalyse

om conversatievormen te onderscheiden + invloed op ontwikkeling sociaal kapitaal

→ ism Memphis Univ & Univ of Southern Australia

Forum (3): cultural group

• Voorkeur cultureel bepaald?• EUR / Anglo > alleen• Asia / African /Latin >

samen

→ voorkeur niet zichtbaar op edX forum!

(vooral EUR/Anglo)

6-jes cultuur?

• Verdeling cijfers• Oudere studenten >

gelijkmatig• Jongere studenten > piek

rond de 6 en hoger

• Relevante theorie (Dweck)?• performance orientation (i.e.

certificaat halen) vs learning orientation (i.e. zoveel mogelijk leren)

Andere onderwerpen: privacy

• Toepassing ‘spheres of justice’ op data-sharing en gebruik

• Trend-analyse

• Prof Jeroen vd Hoven: “impressive”

• Vervolgonderzoek met MOOC studenten geïnteresseerd in vervolgonderzoek

→ MSc student Leon Hassing

2b. Experimenteel onderzoek

SA experiment (1): intro

Self-Affirmation Theory (Steele, 1988): • Mensen proberen ‘integer’ te zijn: een positief zelfbeeld te

hebben en dat te behouden• Onderwijs kan bedreigend zijn voor je zelfbeeld:

• Een moeilijke cursus of een slecht cijfer

• In zulke omstandigheden, zijn mensen die hun zelfbeeld willen behouden, zijn dan geneigd afstand te nemen• Bv. “Ik heb toch geen wiskunde-knobbel” of “Ik vind deze cursus

toch niks”

SA experiment (2): partners

Omid FotuhiPost-doctoral FellowDepartment of Psychology and Graduate School of

EducationStanford University

Phillip EhretGraduate StudentPsychological & Brain SciencesUniversity of California, Santa Barbara

SA experiment (3): research setup

student begint cursus

Interventie: 3 verschillende

condities (reflectievragen

)

NA

SA

CA

Pre-surve

y

Pre-survey invullen

Course

Post-surve

y

Performance: grades,

engagement, forum

participatie, etc.

ervaringen.

(6 MOOCs)

SA experiment (4): interventie

• Studenten doen een korte reflectie opdracht over ‘een waarde’ die belangrijk is in hun leven (politiek, sport, vriendschap, etc.)

Theorie:● Maakt studenten meer weerbaar in ‘bedreigende’ situaties● Minder stress (Creswell et al., 2005; Sherman et al., 2009)● Betere performance op school (e.g., Cohen et al., 2006,

2009; Miyake et al., 2011; Harackiewicz et al. in press; Sherman et al., 2013)

student begint cursus

Interventie: 3 verschillende

condities (reflectievragen

)

NA

SA

CA

Pre-surve

y

Pre-survey invullen

Course

Post-surve

y

Performance: grades,

engagement, forum

participatie, etc.

ervaringen.

effect op zelf-vertrouwen

geen effect: waarom?

N = 3,060; F(1635) = 6.721; p < .001

Publicaties

• Course reports eerste 5 MOOCs • Course: pedagogische benadering, structuur, onderwerpen• Student: demografie, attitudes, achtergrond• Performance: grades, forum deelname, uitval• Student feedback

• Comparative Analysis working paper (in progress)• Wetenschappelijke papers

• Understanding Social Learning Behaviors (Skrypnyk, De Vries, Hennis, 2014)

• .. and more to come

Hoe dan?

1. Huidige evaluatie procedure

Self-assessment teachers & developers

Voorbereiden

surveys (pre/post)

Data verzamelen

(edX, surveys)

Self-assessment II teachers

& developers

Analyseren data &

rapportage

Evaluation procedure (future?) → realtime data, learning analytics dashboard

Interview I teachers & developers

Preparing surveys (pre/post)

Collecting/requesting data (edX, surveys)

Interview II teachers & developers

Analyzing data & Report outcomes

2. Open research

Nodig:1. Samenwerkingstructuur2. Onderzoeksinstrumenten (inhoudelijk

+ technisch)3. Analyse capaciteiten en code om edX

data op te schonen4. Backing/input van docenten5. Backing/input van organisatie

Open research toolbox (voor interne en externe partners)

1. Documentatie voor partners• Overzicht: alle data, instrumenten, MOOCs• Additionele services (bv. Data science, teacher interviews,

etc.) • Overeenkomst mbt datagebruik en publicatie• Ethical clearance documents

2. Instrumentatie & infrastructuur• Samenwerkingstools• Research tools• Code

3. Invullen door partner:• Samenvatting onderzoek, uitkomsten, praktische en

wetenschappelijke relevantie• Gedetailleerde beschrijving methodologie + planning

Nog veel te doen

• Institutionele inbedding• Gebruik door docenten• Staff development

• Capaciteit vergroten• Data analyse• Tool development / dashboards

• Verbeteren toolbox• Meer code• Betere instrumenten• Stroomlijnen samenwerking• Stroomlijnen onderzoek• Standaardiseren rapportage

Questions

Why monitoring/evaluation and/or research?

Why monitoring & evaluation?

• Purpose: aimed at helping stakeholders make better (design) decisions• DelftX: strategy, organizational workflow, ROI + financial

decisions• Teachers: student satisfaction, demographics, facilitation

strategies etc.• NMC: content production and media• Evaluation team: evaluation instruments

Why research?

Potential to do research• Lots of data + instruments (including controlled

experiments)• Lots of participants (MOOC as a research instrument to

study any topic)

Need to do research to answer practical questions and improve practice and our understanding of online learning

• Why do students (dis)engage?• What is the effect of pedagogical format X on

learning?• What is/should be the role of collaboration in online

courses?• Etc.

Make a research impact

Open research projects

Last year• Self Affirmation Experiment (Stanford)• Pedagogical format (Univ. South Australia)• Concerns over privacy (TUD)

Upcoming• Gender and diversity in online courses (Munich)• Student personality profiles (Tokyo)

O2E Research• Learning analytics, Scaled assessment, Gamification

• Instrument ontwerp• Surveys: pre & post• Interviews• Experimental design

• Collaboration platform• Google Drive• Surfdrive• Email

• Data: clean & combine• Combine data• edX data (profile, log data, performance,

forum, etc.)• R / SPSS

• Analyse• R / SPSS

• Publiceren• Rapportage, wetenschappelijke

publicaties• Presentaties• Datasets • Research toolbox en raamwerk

• Inbedding• Guidelines• How to make a MOOC• Stafondersteuning en ontwikkeling

CourseX Ontwerp & Productie

Cursus Evaluatie

Management en support

Describe the strategy and organizational framework for O2E:- MOOC tender criteria / choice for courses- Success metrics- Longterm goals

Describe the MOOC production process, all interactions between different divisions (media, communication, marketing, research) and course teams

Evaluate the organizational design: effective? Efficient? Benchmarking (internal/external)Staff development

Course teams Describe the course:- Course design/pedagogy- Course objectives / success metrics

Facilitation Interaction with contentInterventions

Are goals met?Was everything executed as intended?

Studenten Describe the student:- Student demographics, attitudes, goals, etc.

Collecting data on student/learning behavior, engagement, interaction, communication, etc.

Preparing datasetsDoing analyses: Performance metrics, grade, behaviorQualityLearning and retentionDropout(Social) interaction patterns

List of data and instrumentsData sources Research & evaluation

edX subscription data Number of participants, dropouts, location, age, gender, schooling

edX student data, learning analytics

Progress, tests results, quizzes, exams, etc.Forum participationVideo clicks, navigation

External data, other media (i.e. Facebook groups, discussions)

Social networks, content and discourse analysis

Surveys (pre, mid, post) Information about demographics, intention, expectations, satisfaction, media use, etc.Interventions embedded in surveys

Interviews / self-assessment: teachers, NMC, DelftX

Experiences with workflow and organizationQuestions and expectations for evaluation