Onderzoek een MOOC - Thieme Hennis - OWD14
-
Upload
de-onderwijsdagen -
Category
Education
-
view
206 -
download
3
description
Transcript of Onderzoek een MOOC - Thieme Hennis - OWD14
Een MOOC als onderzoeksinstrument ervaringen na 1 jaar
Thieme Hennishttp://hennis.nl
Eerst een (klein) beetje context..
Wie staat er voor u?
• Thieme Hennis. PhD student @ TUD, sectie Systeemkunde / Participatory Systems• Verantwoordelijk voor de evaluatie DelftX• Member research group Open & Online Education (O2E)
• Colleagues: • Pieter de Vries• Sasha Skrypnyk (Univ. of Southern Australia)
DelftX = TUD + edX
‘TU Delft aims to have a distance
& online education programme
operational within 4 years’
(policy report 2011).
Next Generation Infrastructures 2
Drinking Water Treatment
Functional Programming
Delft DesignApproach
Technology for Bioproducts
Solving Complex Problems
ResponsibleInnovation
Treatment of Urban Sewage
Introduction to
Water & Climate
Introduction to
Solar Energy
Aeronautical Engineering
Credit Risk Management
OP DIT MOMENT…
Nieuwe MOOCs (2015)
Economics of Information Security
Transport Phenomena: mass, heat and momentum
Topology for Condensed Matter: Untying Quantum Knots
Framing. Communicating your message in the world of politics
Take your Data Analysis to the MAX with Excel
UPCOMING…
“Geregistreerde” studenten voor de MOOCs
Total > 250.000
Nov’14
Ook nog…
• ProfEd → professional education• Economics of Cybersecurity
• edX Highschool initiative• Pre-University Calculus
• Blended and online education• Aeronautical Engineering, Architecture, Technology
Policy and Management, Industrial Design, EWI, Library, …
Pre-University Calculus Economics of Cybersecurity
Waarom Open & Online onderwijs?
• MIT doet het ook..• Betere wereld• Nieuwe ‘productie’- en
verdienmodellen• Internationaal publiek• Grotere vraag / opschalen
• Onderwijsverbetering online <> campuscapacity buildingresearch
Online <> campus
MOOCs on-campus?
• Solar EnergyFlipped: MOOC materiaal als voorbereiding van ‘teaching sessions’ (geen lectures!) en lab experiments
• Water TreatmentBlended: MOOC materiaal vervangt deel lectures
• Solving Complex ProblemsReverse ontwikkeling: 1. On-campus, 2. Blended, 3. MOOC
• Fundamentals of water treatmentMOOC als ‘gateway’ to online course (alleen voor beste studenten op edX)
on-campus MOOCs?
• Water & Climate Blended (via Bb): on-campus + MOOC materiaal (via Bb)
• Functional Programming Blended (via edX)
• Aeronautical Engineering MOOC materiaal is optioneel / extra voor campus cursus
• Credit Risk Management Blended
Evaluatie + Research
1. Evaluatie• Betere beslissingen alle
DelftX stakeholders
2. Research• Theorie-ontwikkeling• Onderzoeksnetwerken +
capaciteit om vragen te beantwoorden
• Wetenschappelijke bijdrage aan edX en lokaal
• OnderwijsinnovatieWill it
blend?
Yes it will
Level Topics of interest and stakeholders
Strategic University role into the future, open en online education, business models, ROIDeans, DelftX, MT
Organizational Efficient workflows and procedures, support structure, documentationCourse teams, course teachers/owners, NMC, DelftX, marketing
Course Course design, pedagogical approach, use of media, methods and tools, student support, interventions and experiments, interactionCourse teachers/owners
Technology/edX Design of tools for learning, teaching, and data analysis/visualizationedX consortium, NMC
Students Learner demographics, background, performance, engagement, etc.Students
Management: wat is de ROI?
• Wat is de juiste MIX• Wat krijg je er voor terug?
• Nieuwe studenten• Branding• Onderwijskwaliteit• Onderwijsaanbod• HR
Support / design teams: hoe ondersteun je docenten?
• Lessons learned• Guidelines• Schaalbaar maar zelfde
kwaliteit• Nieuwe tools• Betere workflow• Docent-tevredenheid
Teacher/department: MOOC als marketing-instrument?
• Nieuwe studenten• Cherry picking• Selectie aan de “MOOC”
poort• Promotie online cursus
• Boek promotieDo MOOCx and
qualify for our
Online MSc
Teacher: interesse in MOOC-gerelateerde onderwerpen
• Solar Energy: • Wat voor soorten solar plants
wereldwijd (>100 videos)
• NGI: • Belangrijkste redenen voor
infrastructuur failures per land (>150 essays + survey)
• Pre-university calculus:• Wereldwijde niveau-
verschillen middelbaar onderwijs?
Teacher: Inzicht in studentenpopulatie en ervaringen
• Wie zijn de studenten?• Wat is hun niveau?• Verwachtingen• Ervaringen
• Wel of geen auto-cue?• Moeilijkheidsgraad cursus• Snelheid• Kwaliteit• Structuur• Interactie• Etc.
Studenten: hoe leer ik het best? Hoe verbeter ik mezelf?
• Wel analyse, nog beperkte feedback & begeleiding• Moet schaalbaar zijn
(edX)
• Learning analytics• Personalisatie,
recommendations• Badges• Etc.
2a. Van exploratief naar specifiek
Disclaimer
… dit zijn
voorlopig
e resultat
en.
Gender gap
• Lijkt groter te worden gedurende cursus
• Vrouwelijke studenten vallen uit
• Relevante theory: stereotype threat?
→ ism Universiteit van München (Gender & Diversity in
Engineering Education group)
Dropout rate
• Grootste gedeelte vóórdat de cursus begint (non-starters ~ 80%!)
• Daarna: cijfer HWA.01!!• Cijfer groep dat niet doorgaat naar HWA.02: 3.58• Cijfer groep dat wel doorgaat: 8.89
• Meer dan 80% van studenten die tenminste 20% van de graded assignments goed doen, slaagt.• Hiervan gedeelte ‘explorers’
• “Geen tijd” belangrijkste factor
→ O2E-onderzoek: Learning analytics, prediction, performance metrics
Achtergrond studenten
• Veel professionals → behoefte vanuit de markt
• Belangrijke voorspeller• Relevante achtergrond ~ cijfer• Opleidingsniveau ~ cijfer
• Interessant voor docenten: • Is mijn cursus op aanbevolen
niveau?• Wie doen er mee met mijn
cursus?• etc
Forum (1): performance en structuur
• Correlatie forum activiteit en cijfer• Forum activiteit → cijfer?• Goede/actieve student → meer
forum activiteit + beter cijfer?
• Facebook groups vs forum• Socialer• Meer ondersteuning• Niet anoniem: meer community→ betere prestaties!
• edX forum• paar ‘superposters’ – weinig
‘communities’
Skrypnyk, O., Hennis, T. A., & Vries, P. de. (2014). Understanding social learning behaviours of xMOOC completers Conference Topic : Technology in Learning. In SEFI 42th Annual Conference. Birmingham, UK.
Forum (2): linguistiek & social capital + Community of Inquiry
• Community of Inquiry onderzoek • Effecten van sociale en teacher
presence op activiteit op forum en sociale netwerken
• Linguistic analysis• Geautomatiseerde textanalyse
om conversatievormen te onderscheiden + invloed op ontwikkeling sociaal kapitaal
→ ism Memphis Univ & Univ of Southern Australia
Forum (3): cultural group
• Voorkeur cultureel bepaald?• EUR / Anglo > alleen• Asia / African /Latin >
samen
→ voorkeur niet zichtbaar op edX forum!
(vooral EUR/Anglo)
6-jes cultuur?
• Verdeling cijfers• Oudere studenten >
gelijkmatig• Jongere studenten > piek
rond de 6 en hoger
• Relevante theorie (Dweck)?• performance orientation (i.e.
certificaat halen) vs learning orientation (i.e. zoveel mogelijk leren)
Andere onderwerpen: privacy
• Toepassing ‘spheres of justice’ op data-sharing en gebruik
• Trend-analyse
• Prof Jeroen vd Hoven: “impressive”
• Vervolgonderzoek met MOOC studenten geïnteresseerd in vervolgonderzoek
→ MSc student Leon Hassing
2b. Experimenteel onderzoek
SA experiment (1): intro
Self-Affirmation Theory (Steele, 1988): • Mensen proberen ‘integer’ te zijn: een positief zelfbeeld te
hebben en dat te behouden• Onderwijs kan bedreigend zijn voor je zelfbeeld:
• Een moeilijke cursus of een slecht cijfer
• In zulke omstandigheden, zijn mensen die hun zelfbeeld willen behouden, zijn dan geneigd afstand te nemen• Bv. “Ik heb toch geen wiskunde-knobbel” of “Ik vind deze cursus
toch niks”
SA experiment (2): partners
Omid FotuhiPost-doctoral FellowDepartment of Psychology and Graduate School of
EducationStanford University
Phillip EhretGraduate StudentPsychological & Brain SciencesUniversity of California, Santa Barbara
SA experiment (3): research setup
student begint cursus
Interventie: 3 verschillende
condities (reflectievragen
)
NA
SA
CA
Pre-surve
y
Pre-survey invullen
Course
Post-surve
y
Performance: grades,
engagement, forum
participatie, etc.
ervaringen.
(6 MOOCs)
SA experiment (4): interventie
• Studenten doen een korte reflectie opdracht over ‘een waarde’ die belangrijk is in hun leven (politiek, sport, vriendschap, etc.)
Theorie:● Maakt studenten meer weerbaar in ‘bedreigende’ situaties● Minder stress (Creswell et al., 2005; Sherman et al., 2009)● Betere performance op school (e.g., Cohen et al., 2006,
2009; Miyake et al., 2011; Harackiewicz et al. in press; Sherman et al., 2013)
student begint cursus
Interventie: 3 verschillende
condities (reflectievragen
)
NA
SA
CA
Pre-surve
y
Pre-survey invullen
Course
Post-surve
y
Performance: grades,
engagement, forum
participatie, etc.
ervaringen.
effect op zelf-vertrouwen
geen effect: waarom?
N = 3,060; F(1635) = 6.721; p < .001
Publicaties
• Course reports eerste 5 MOOCs • Course: pedagogische benadering, structuur, onderwerpen• Student: demografie, attitudes, achtergrond• Performance: grades, forum deelname, uitval• Student feedback
• Comparative Analysis working paper (in progress)• Wetenschappelijke papers
• Understanding Social Learning Behaviors (Skrypnyk, De Vries, Hennis, 2014)
• .. and more to come
Hoe dan?
1. Huidige evaluatie procedure
Self-assessment teachers & developers
Voorbereiden
surveys (pre/post)
Data verzamelen
(edX, surveys)
Self-assessment II teachers
& developers
Analyseren data &
rapportage
Evaluation procedure (future?) → realtime data, learning analytics dashboard
Interview I teachers & developers
Preparing surveys (pre/post)
Collecting/requesting data (edX, surveys)
Interview II teachers & developers
Analyzing data & Report outcomes
2. Open research
Nodig:1. Samenwerkingstructuur2. Onderzoeksinstrumenten (inhoudelijk
+ technisch)3. Analyse capaciteiten en code om edX
data op te schonen4. Backing/input van docenten5. Backing/input van organisatie
Open research toolbox (voor interne en externe partners)
1. Documentatie voor partners• Overzicht: alle data, instrumenten, MOOCs• Additionele services (bv. Data science, teacher interviews,
etc.) • Overeenkomst mbt datagebruik en publicatie• Ethical clearance documents
2. Instrumentatie & infrastructuur• Samenwerkingstools• Research tools• Code
3. Invullen door partner:• Samenvatting onderzoek, uitkomsten, praktische en
wetenschappelijke relevantie• Gedetailleerde beschrijving methodologie + planning
Nog veel te doen
• Institutionele inbedding• Gebruik door docenten• Staff development
• Capaciteit vergroten• Data analyse• Tool development / dashboards
• Verbeteren toolbox• Meer code• Betere instrumenten• Stroomlijnen samenwerking• Stroomlijnen onderzoek• Standaardiseren rapportage
Questions
Why monitoring/evaluation and/or research?
Why monitoring & evaluation?
• Purpose: aimed at helping stakeholders make better (design) decisions• DelftX: strategy, organizational workflow, ROI + financial
decisions• Teachers: student satisfaction, demographics, facilitation
strategies etc.• NMC: content production and media• Evaluation team: evaluation instruments
Why research?
Potential to do research• Lots of data + instruments (including controlled
experiments)• Lots of participants (MOOC as a research instrument to
study any topic)
Need to do research to answer practical questions and improve practice and our understanding of online learning
• Why do students (dis)engage?• What is the effect of pedagogical format X on
learning?• What is/should be the role of collaboration in online
courses?• Etc.
Make a research impact
Open research projects
Last year• Self Affirmation Experiment (Stanford)• Pedagogical format (Univ. South Australia)• Concerns over privacy (TUD)
Upcoming• Gender and diversity in online courses (Munich)• Student personality profiles (Tokyo)
O2E Research• Learning analytics, Scaled assessment, Gamification
• Instrument ontwerp• Surveys: pre & post• Interviews• Experimental design
• Collaboration platform• Google Drive• Surfdrive• Email
• Data: clean & combine• Combine data• edX data (profile, log data, performance,
forum, etc.)• R / SPSS
• Analyse• R / SPSS
• Publiceren• Rapportage, wetenschappelijke
publicaties• Presentaties• Datasets • Research toolbox en raamwerk
• Inbedding• Guidelines• How to make a MOOC• Stafondersteuning en ontwikkeling
CourseX Ontwerp & Productie
Cursus Evaluatie
Management en support
Describe the strategy and organizational framework for O2E:- MOOC tender criteria / choice for courses- Success metrics- Longterm goals
Describe the MOOC production process, all interactions between different divisions (media, communication, marketing, research) and course teams
Evaluate the organizational design: effective? Efficient? Benchmarking (internal/external)Staff development
Course teams Describe the course:- Course design/pedagogy- Course objectives / success metrics
Facilitation Interaction with contentInterventions
Are goals met?Was everything executed as intended?
Studenten Describe the student:- Student demographics, attitudes, goals, etc.
Collecting data on student/learning behavior, engagement, interaction, communication, etc.
Preparing datasetsDoing analyses: Performance metrics, grade, behaviorQualityLearning and retentionDropout(Social) interaction patterns
List of data and instrumentsData sources Research & evaluation
edX subscription data Number of participants, dropouts, location, age, gender, schooling
edX student data, learning analytics
Progress, tests results, quizzes, exams, etc.Forum participationVideo clicks, navigation
External data, other media (i.e. Facebook groups, discussions)
Social networks, content and discourse analysis
Surveys (pre, mid, post) Information about demographics, intention, expectations, satisfaction, media use, etc.Interventions embedded in surveys
Interviews / self-assessment: teachers, NMC, DelftX
Experiences with workflow and organizationQuestions and expectations for evaluation