PISA 2018. Technischer Bericht - BIFIE · 2019-12-03 · 27 3.2 Das Testdesign von PISA 2018 30 3.4...

20 .18

Technischer Bericht

PISAHerausgegeben von Birgit Suchań

Suchań, B. (Hrsg.)

PISA 2018Technischer Bericht

Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens Alpenstraße 121, 5020 Salzburg

www.bifie.at

PISA 2018. Technischer Bericht. Suchan, B. (Hrsg.) Salzburg: 2019 DOI: http://doi.org/10.17888/pisa2018-tb

Coverfoto: lightpoet/shutterstock.com Einbandgestaltung: Die Fliegenden Fische, Salzburg & Hannes Kaschnig-Löbel, Bundesinstitut BIFIE Layout & Satz: Hannes Kaschnig-Löbel Lektorat: Martin Schreiner

https://www.bifie.at

http://doi.org/10.17888/pisa2018-tb

Inhalt

5 1 PISA 2018 – eine Einführung in die aktuelle Studie

5 1.1 Ziele und Konzeption der PISA-Studie6 1.2 Die Einbettung von PISA in das österreichische Bildungsmonitoring7 1.3 Merkmale von PISA 20187 1.4 Die Teilnehmerländer von PISA 20189 1.5 Die internationale Organisation von PISA 201810 1.6 Die Organisation von PISA 2018 in Österreich10 1.7 Produkte von PISA

13 2 Die getesteten Kompetenzbereiche

13 2.1 Die Rahmenkonzeption von PISA – die Frameworks13 2.2 Lesen18 2.3 Mathematik19 2.4 Naturwissenschaft

25 3 Die Testinstrumente

25 3.1 Die kognitiven Testitems und ihre Entwicklung27 3.2 Das Testdesign von PISA 201830 3.4 Übersetzung und Verifikation der Test- und Fragebogenitems32 3.5 Qualitätssicherung im Bereich Testinstrumente

35 4 Sampling-Design und Stichproben

35 4.1 Die Zielgruppe von PISA36 4.2 Von der allgemeinen Definition zum konkreten Stichprobenplan37 4.3 Das allgemeine internationale Sampling-Design40 4.4 Vorgaben der OECD bezüglich der zu erzielenden Rücklaufquoten41 4.5 Die österreichische Stichprobe im Feldtest44 4.6 Die österreichische Stichprobe im Haupttest 201847 4.7 Maßnahmen zur Qualitätssicherung

49 5 Testorganisation und -durchführung

49 5.1 Chronologischer Überblick49 5.2 Kooperation mit Schulbehörden und Schulleitungen 50 5.3 Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK)53 5.4 Vorbereitung der Erhebungsmaterialien55 5.5 Testadministration durch Testleiter/innen (TL)61 5.6 Maßnahmen zur Qualitätssicherung

65 6 Rücklauf, Stichprobenausfälle und Stichproben größen bei PISA 2018

65 6.1 Rücklauf im Feldtest zu PISA 201868 6.2 Rücklauf im PISA-Haupttest 2018

79 7 Coding

79 7.1 Die Grundlagen des Codings80 7.2 Das Coder-Training 80 7.3 Der Coding-Prozess in Österreich82 7.4 Das automatisierte Coding83 7.5 Qualitätssicherung

85 8 Datenverarbeitung

85 8.1 Überblick über den zeitlichen und organisatorischen Ablauf der Daten verarbeitung85 8.2 Workflow und Softwareanwendungen der Datenverarbeitung87 8.3 Datenchecks und Datenübermittlung88 8.4 Internationales File-Cleaning und internationale Datenbasis89 8.5 Qualitätssicherung

PISA 2018. Technischer Bericht 5

1 PISA 2018 – eine Einführung in die aktuelle Studie Birgit Suchań

Dieses Kapitel beschreibt die Zielsetzungen der internationalen Schülerleistungsstudie PISA, erläutert wesentliche Neue-rungen bei PISA 2018 und gibt einen Überblick über die Teilnehmerländer sowie über die Organisation der Studie auf internationaler und nationaler Ebene.1

1 Dieser Text ist eine Aktualisierung des entsprechenden Kapitels 1 (PISA 2015 – eine Einführung in die aktuelle Studie) im nationalen technischen Bericht zu PISA 2015 (Suchań & Breit, 2016).

2 Im Großteil der OECD-Länder endet die Schulpflicht im Alter von 15 bzw. 16 Jahren.

Die internationale Schülerleistungsstudie PISA (Programme for International Student Assessment) wurde 1997 von der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) und ihren Mitgliedsstaaten ins Leben ge-rufen. Vorrangiges Ziel der OECD ist es, „eine nachhaltige Wirtschaftsentwicklung und Beschäftigung sowie einen steigenden Lebensstandard in den Mitgliedsländern unter Wahrung der finanziellen Stabilität zu erreichen, um zur Ent-wicklung der Weltwirtschaft beizutragen“ (OECD, 1960). Da die wirtschaftliche Entwicklung eines Landes sehr eng mit dem Bildungsstand der Bevölkerung verknüpft ist, ist es ein wichtiges Anliegen der OECD, regelmäßig internationale Bildungsstudien durchzuführen.

1.1 Ziele und Konzeption der PISA-Studie

PISA, als eine dieser regelmäßig stattfindenden Studien, er-fasst die Kompetenzen 15-/16-jähriger Schülerinnen und Schüler in Lesen, Mathematik und Naturwissenschaft im Ab-stand von drei Jahren. Es wurden gezielt solche Kompetenz-bereiche für eine kontinuierliche Leistungsmessung festgelegt, die für den individuellen Erfolg in beruflichen, gesellschaft-lichen, sozialen und privaten Kontexten eine wesentliche Voraussetzung darstellen.

Das Hauptziel von PISA ist es festzustellen, inwieweit das Schulsystem eines Landes die Schüler/innen auf die Heraus-forderungen für das Leben nach der Schule vorbereitet und die notwendigen Voraussetzungen für ein lebenslanges Lernen schafft. Die Daten von PISA sollen beispielsweise Antworten auf folgende Fragen liefern: Können Schüler/innen Texte sinnerfassend lesen und beispielsweise die Relevanz einer geschriebenen Information in einem bestimmten Kontext bewerten? Sind die Schüler/innen in der Lage, ihre in der Schule erworbenen mathematischen Fähigkeiten in alltäg-lichen Situationen umzusetzen und anzuwenden? Können sie beispielsweise Preisrabatte berechnen oder in einem Dia-gramm dargestellte Daten richtig interpretieren? Verfügen die Schüler/innen über ausreichende naturwissenschaftliche

Kenntnisse, um in einer durch Wissenschaft und Technik im Wandel begriffenen Welt handeln und entscheiden zu können? Können sie beispielsweise die Auswirkungen der weltweiten großflächigen Abholzung von Wäldern einschätzen?

Zielgruppe von PISA sind Schüler/innen im Alter von 15 bzw. 16 Jahren. Eine Erfassung von Kompetenzen in dieser Alters-gruppe liefert Informationen über den kumulativen Lernertrag gegen Ende der Pflichtschulzeit2. Durch den internationalen Vergleich werden die nationalen Ergebnisse in einen breiteren Kontext gestellt und liefern einen wichtigen Rahmen zur Interpretation der Ergebnisse des eigenen Landes.

Da der Kompetenzerwerb von verschiedensten Rahmen-bedingungen abhängig ist bzw. beeinflusst wird, werden bei PISA neben den inhaltlichen Fähigkeiten auch Kontext-merkmale erhoben, die mit der Leistung im Zusammenhang stehen. Dazu zählen beispielsweise Merkmale von Bildungs-einrichtungen, die die Schüler/innen im Laufe ihrer Schulzeit besuchen (z. B. Schulart, Unterrichtsqualität, Unterrichts-gestaltung der Lehrer/innen, soziales Klima in der Klasse), aber auch demografische, sozial-ökonomische, familiäre und individuelle Faktoren (z. B. Bildung und Beruf der Eltern, Migrationshintergrund, Lern- und Leistungsmotivation).

Durch die regelmäßige Datenerfassung im Abstand von drei Jahren können die Entwicklungen der Kompetenzen und deren Zusammenhänge mit unterschiedlichen Rahmen-bedingungen über die Zeit analysiert werden.

PISA liefert somit insgesamt drei Indikatorenbündel, um die Qualität und Effektivität der Bildungssysteme in den teilnehmenden Ländern zu beschreiben:

1. Die Leistungen der Schüler/innen (die PISA-Testergeb-nisse) in den Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft bilden die Basis- oder Leistungs-indikatoren. Der direkte Vergleich mit den Leistungen anderer Teilnehmerländer ermöglicht die Identifizierung von Stärken und Schwächen in den nationalen Bildungs-systemen.

6 1 – PISA 2018 – eine Einführung in die aktuelle Studie

2. Die mittels Fragebögen für Schüler/innen und Schul-leiter/innen erhobenen Kontextindikatoren geben Ein-sicht in Zusammenhänge von demografischen, sozioöko-nomischen oder allgemein-pädagogischen Faktoren mit der Leistung.

3. Die regelmäßige standardisierte Erfassung der Kompe-tenzen und Kontextmerkmale ermöglicht einen Vergleich der Ergebnisse über die Zeit und somit die Bildung von Trendindikatoren. Dadurch kann die Dynamik der Ent-wicklung erfasst werden. Zugleich können Konsequenzen zwischenzeitlich eingeleiteter Maßnahmen im System sichtbar gemacht werden.

Die gewonnenen Daten und die daraus abgeleiteten In-dikatoren zur Effektivität, Gerechtigkeit und Wirksamkeit von Schulsystemen dienen den politischen Entscheidungs-trägerinnen und -trägern eines Landes dazu, die Stärken und Schwächen des jeweiligen Systems im internationalen Ver-gleich zu erkennen und zu analysieren. Die OECD hat seit der ersten PISA-Erhebung im Jahr 2000 eine umfassende Datenbasis aufgebaut, die Vergleiche von Schülerleistungen sowie Analysen der Zusammenhänge mit ökonomischen und sozialen Merkmalen und die Beobachtung von Entwicklungs-trends ermöglicht.

Bei jedem Erhebungsdurchgang (im Abstand von drei Jahren) wird einer der drei Kompetenzbereiche – Lesen, Mathematik und Naturwissenschaft – schwerpunktmäßig erfasst. „Schwerpunktmäßige Erfassung“ bedeutet, dasss aus diesem Bereich deutlich mehr Aufgaben eingesetzt werden, um die Kompetenzen der Schüler/innen differenzierter er-fassen zu können. Dieses Untersuchungsdesign ermöglicht es, in jedem Kompetenzbereich sowohl alle drei Jahre ein Leistungsprofil zu erstellen als auch im 9-Jahres-Abstand eine detaillierte Analyse der Leistungsentwicklung vorzunehmen (siehe Abbildung 1.1).

Mit PISA 2018 hat der insgesamt dritte PISA-Zyklus be-gonnen. Lesen stand dabei nach 2000 sowie 2009 zum dritten Mal als Schwerpunkt im Vordergrund. 2021 folgt Mathematik (nach 2003 und 2012) und 2024 Naturwissen-schaft (nach 2006 und 2015).

Seit PISA 2000 wird jede Erhebung jeweils um einen „innovativen Bereich“ – entweder in Form eines Frage-bogens oder in Form einer neuen Testdomäne – ergänzt. Eine Teilnahme der Länder an diesen Zusätzen ist optional. Österreich nahm bei PISA 2000 an der internationalen Zu-satzbefragung zu fächerübergreifenden Fähigkeiten (Cross-Curricular-Competencies) teil, bei der die Schüler/innen u. a. zu Strategien des selbstregulierenden Lernens und der Hand-lungskontrolle, zu kooperativem Lernen, ihrer Motivation und Zielorientierung befragt wurden. Bei PISA 2003 und

2012 wurden die Testdomänen Lesen, Mathematik und Naturwissenschaft um die fächerübergreifende Kompetenz „Problemlösen“ erweitert, wobei diese 2003 mit einem herkömmlichen Papier-Bleistift-Test und 2012 computer-basiert erfasst wurde. 2009 beteiligte sich Österreich an der Zusatzbefragung „Lesen elektronischer Medien“, die bei PISA 2012 fortgeführt wurde. Zudem wurde bei PISA 2012 (mit Beteiligung Österreichs) die Mathematikkompetenz zu-sätzlich zum gewohnten „Papiertest“ auch computerbasiert sowie die Domäne „Lesen elektronischer Medien“ erfasst. Bei PISA 2015 wurde als innovativer Bereich zusätzlich zu den drei Kernbereichen Lesen, Mathematik und Naturwissen-schaft das „kollaborative Problemlösen“ (gemeinschaftliches Problemlösen) mit österreichischer Beteiligung erfasst; 2018 folgte der Testbereich „Global Competence“, an dem sich Österreich nicht beteiligte. Seit 2012 wird darüber hinaus ein eigener Test zum Thema „Financial Literacy“ eingesetzt, der in Österreich bisher bei keinem Erhebungsdurchgang verwendet wurde.

1.2 Die Einbettung von PISA in das österreichische Bildungsmonitoring

Österreich nimmt als Gründungsmitglied der OECD seit dem Beginn im Jahr 2000 an PISA teil und beteiligte sich 2018 bereits zum siebten Mal. Gemeinsam mit den IEA-Studien (International Association for the Evaluation of Educational Achievement) PIRLS (Progress in International Reading Literacy Study) und TIMSS (Trends in International Mathematics and Science Study) ist PISA ein wesentlicher Bestandteil des österreichischen Bildungsmonitorings, das seit dem Jahr 2008 zu den Kernaufgaben des BIFIE (Bundes-institut für Bildungsforschung, Innovation und Entwicklung

2018LESEN

MathematikNaturwissenschaft

2021MATHEMATIK

NaturwissenschaftLesen

2024NATUR-

WISSENSCHAFT

LesenMathematik

Abbildung 1.1: Der PISA-Erhebungszyklus


des österreichischen Schulsystems) zählt. PIRLS3 erfasst im 5-Jahres-Rhythmus die Lesekompetenz und TIMSS4 im 4-Jahres-Rhythmus die Mathematik- und Naturwissen-schaftskompetenz in der 4. Klasse Volksschule.

Gemeinsam liefern die internationalen Assessments in Öster-reich regelmäßig wesentliche Daten zur Qualität, Effizienz und zu Entwicklungsfeldern des Schulsystems, die u. a. im österreichischen Bildungsbericht (vgl. z. B. Oberwimmer, Vogtenhuber, Lassnigg & Schreiner, 2019; Breit, Eder, Krainer, Schreiner, Seel & Spiel, 2019) für Bildungsver-antwortliche aufbereitet sowie der breiten Öffentlichkeit zugänglich gemacht werden.

1.3 Merkmale von PISA 2018

1.3.1 Computerbasierte Erhebung

Eine wesentliche Neuerung, die bereits bei PISA 2015 ein-geführt und 2018 fortgeführt wurde, ist die computer-basierte Erhebung der Leistungs- und Hintergrunddaten. Es gab somit im Vergleich zur Testdurchführung bis inklusive PISA 2012 keine gedruckten Testhefte und Fragebögen mehr, sondern ein Testsystem, das auf USB-Sticks für die Schüler/innen vervielfältigt wurde.

Da digitale Medien und Geräte aus dem Alltag nicht mehr wegzudenken sind und sich mit digitalen Medien neue und vielfältige Lernwege eröffnen, sind computerbasierte Tests bereits bei früheren Durchgängen von PISA ein wichtiger Bestandteil gewesen (vgl. Abschnitt 1.1). Die mit PISA 2015 erfolgte vollständige Umstellung auf einen computerbasierten Test entspricht zweifelsohne einem zeitgemäßen Vorgehen und stellt eine sinnvolle Weiterentwicklung dar. Dies ermög-licht beispielsweise den Einsatz neuer Aufgabenformate (z. B. interaktive Aufgaben zur Simulation von Experimenten). Ein solcher Wechsel in der Durchführungsmodalität (von papier-basiert auf computerbasiert) bringt darüber hinaus eine Reihe von Implikationen mit sich, die beispielsweise die Organisation der Testdurchführung (vgl. Kapitel 5) betreffen, aber auch die Interpretation der Daten – vor allem im Hinblick auf die Trendanalysen mit früheren Erhebungszeitpunkten.

1.3.2 Adaptives Testen

Der Umstieg auf eine computerbasierte Testung ermöglicht die Einführung eines so genannten adaptiven Testdesigns. Dabei erhalten die Schüler/innen nicht wie bisher je ein Testheft oder eine Testform mit „fixen“ Testaufgaben, die für alle Schüler/innen ident sind. Beim adaptiven Testansatz

3 Österreich beteiligt sich seit 2006 ohne Unterbrechung an dieser Studie.4 Österreich beteiligte sich an folgenden Erhebungen: 1995, 2007, 2011 sowie 2019.

bekommen die Schüler/innen, je nachdem wie gut sie bei einem bestimmten Aufgabenset abgeschnitten haben, in weiterer Folge ein Aufgabenset, das höhere oder niedrigere Kompetenzen verlangt. Mit einer an die Leistungen der Schüler/innen angepassten „Auswahl“ an Testaufgaben kann die Effizienz, Validität und Genauigkeit der Leistungsmessung verbessert werden. Für PISA wurde entschieden, das Design Multistage Adaptive Tests (MAT) mit drei Phasen einzusetzen: (1) Core, (2) Stage 1 und (3) Stage 2. Je nach Leistung in der Phase Core erhalten die Schüler/innen in Stage 1 unterschied-liche Aufgaben und je nach Leistung in Stage 1 entscheidet sich, mit welchen Aufgaben die Schüler/innen bei Stage 2 fortfahren. Dieses adaptive Testverfahren wurde nur in der Hauptdomäne Lesen eingesetzt. Weitere Informationen zum Testdesign finden sich in Abschnitt 3.2 in Kapitel 3.

1.3.3 Leseflüssigkeit

Um die Lesekompetenz der 15-/16-Jährigen – vor allem im unteren Leistungsbereich – detaillierter messen und be-schreiben zu können, wurde bei PISA 2018 erstmals auch die Leseflüssigkeit (Reading Fluency) erfasst. Bei PISA wird unter Leseflüssigkeit die Leichtigkeit und Effizienz verstanden, mit der Schüler/innen einfache Texte lesen und deren Sinn dabei begreifen (OECD, 2019a, S. 33 und S. 49). Erhoben wurde dieser Aspekt der Lesekompetenz, indem die Schüler/innen zu Beginn des Testblocks mit den Leseaufgaben unter Vorgabe eines Zeitlimits zunächst kurze Sätze lesen mussten und jeden Satz dahingehend beurteilten, ob dieser inhaltlich richtig ist oder nicht (weitere Informationen dazu finden sich in Ab-schnitt 3.2 in Kapitel 3).

1.3.4 Länderauswertung Oberösterreich

Das Land Oberösterreich hat im Rahmen von PISA 2018 beim BIFIE erneut (wie bereits im Jahr 2015) eine Länderaus-wertung in Auftrag gegeben, um die Ergebnisse des Bundes-landes Oberösterreich im internationalen Vergleich verorten zu können. Dazu war eine Erweiterung der Stichprobe für Oberösterreich (vgl. Abschnitt 4.6 in Kapitel 4) nötig.

1.4 Die Teilnehmerländer von PISA 2018

Bei PISA 2018 beteiligten sich insgesamt 79 Länder (siehe Abbildung 1.2), darunter alle 37 OECD-Mitgliedsstaaten sowie 42 OECD-Partnerländer.

Länder, für die ein Umstieg auf eine computerbasierte Testung beispielsweise aus technischen oder finanziellen Gründen nicht möglich war, konnten PISA wie gewohnt als „Papier-


Abbildung 1.2: Teilnehmerländer an der computerbasierten Erhebung bei PISA 2018

OECD-Länder PISA 2018

Australien (AUS)

Griechenland (GRC)

Vereinigte Staaten von Amerika (USA)Portugal (PRT)

Polen (POL)

Österreich (AUT)

Norwegen (NOR)

Niederlande (NLD)

Neuseeland (NZL)

Mexiko (MEX)

Luxemburg (LUX)

Korea (KOR)

Kanada (CAN)

Japan (JPN)

Italien (ITA)

Irland (IRL)

Island (ISL)

Frankreich (FRA)

Finnland (FIN)

Deutschland (DEU)

Dänemark (DNK)

Chile (CHL)

Belgien (BEL)

Ungarn (HUN)

Tschechische Republik (CZE)

Spanien (ESP)

Slowakei (SVK)

Schweiz (CHE)

Schweden (SWE)

Vereinigtes Königreich (GBR)

OECD-Partnerländer PISA 2018

Indonesien (IDN)

Lettland (LVA)

Kroatien (HRV)

Katar (QAT)

Kolumbien¹ (COL)

Kasachstan (KAZ)

Nordmazedonien (MKD)

Moldawien (MDA)Jordanien (JOR)

Israel (ISR)

Albanien (ALB)

Argentinien (ARG)

Estland (EST)

Hongkong4 (HKG)

Bulgarien (BGR)

Brasilien (BRA)

Russische Föderation (RUS)

Rumänien (ROU)

Peru (PER)

Macau4 (MAC)

Litauen (LTU)

Uruguay (URY)

Thailand (THA)

Taiwan (ChinesischesTaipei) (TWN)

Slowenien (SVN)

Singapur (SGP)

Georgien (GEO)

Chin. Provinzen³ (BSJZ)

¹ Kolumbien war zum Zeitpunkt der PISA-Erhebung im Frühjahr 2018 kein Mitglieder der OECD. Aufgrund der laufenden Mitgliedsverhand-lungen zwischen Kolumbien und der OECD (Stand September 2019) wird Kolumbien von der OECD im Internationalen Ergebnisbericht zu PISA 2018 als OECD-Land geführt. Im vorliegenden Nationalen Ergebnisbericht wird diese Entscheidung der OECD übernommen.

² Baku wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.

³ Provinzen Chinas (Beijing, Schanghai, Jiangsu, Zhejiang): werden bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.4 Sonderverwaltungszone Chinas: wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.5 In der vorliegenden Publikation werden keine Daten zu Zypern berichtet, da diese im internationalen Datensatz nicht verfügbar sind.

DominikanischeRepublik (DOM)

Zypern5 (CYP)

Costa Rica (CRI)

Malaysia (MYS)

Montenegro (MNE)

Vietnam (VNM)

Vereinigte Arabische Emirate (ARE)

Malta (MLT)

Kosovo (XKX)

Libanon (LBN)

Ukraine (UKR)

Türkei (TUR)

Baku² (Aserbaidschan) (AZE)

Bosnien und Herzegowina (BIH)

Belarus (BLR)

Brunei Darussalam (BRN)

Marokko (MAR)

Panama (PAN)

Philippinen (PHL)

Serbien (SRB)

Saudi-Arabien (SAU)

EU-Länder fett hervorgehoben


und-Bleistift-Test“ durchführen. Dies war in insgesamt neun OECD-Partnerländern5 der Fall (im Vergleich dazu führten bei PISA 2015 insgesamt 15 Länder den Test papierbasiert durch). In diesen Ländern wurden allerdings nur Aufgaben aus den Erhebungen bis inklusive 2012 eingesetzt, da sämt-liche neu entwickelten Aufgaben ausschließlich für einen Computertest konzipiert wurden.

Für den Test wurde in jedem Teilnehmerland eine Zufalls-stichprobe gezogen (vgl. Kapitel 4), wobei jeweils so viele Jugendliche getestet werden mussten, dass auswertbare Daten von mindestens 6.300 Schülerinnen und Schülern vorlagen. In Österreich nahmen 6.802 Jugendliche aus 291 Schulen an PISA 2018 teil.

1.5 Die internationale Organisation von PISA 2018

Für die internationale Projektorganisation und die Sicher-stellung der Qualität der Studie sind mehrere Einrichtungen zuständig. Die übergeordnete Projektverantwortung trägt die OECD, die zugleich Initiator von PISA ist.

1.5.1 Das OECD-Sekretariat und das PISA Governing Board

Das OECD-Sekretariat unter der Leitung von OECD- Bildungsdirektor Prof. Dr. Andreas Schleicher trägt die übergreifende Managementverantwortung für PISA und verfolgt deren praktische Umsetzung. Die OECD muss in Absprache mit dem PISA Governing Board (PGB) die Vertragsbedingungen für jede Erhebung vorbereiten und internationale Vertragspartner für die praktische Um-setzung von PISA verpflichten. Das Sekretariat ist für die Konsensbildung zwischen den teilnehmenden Ländern verantwortlich, ist Ansprechpartner auf politischer Ebene und fungiert als Schnittstelle zwischen dem PGB und den internationalen Vertragspartnern. Darüber hinaus erstellt das OECD-Sekretariat die Liste jener Indikatoren, die bei PISA erfasst werden sollen, analysiert die Daten und arbeitet die internationalen Berichte und Veröffentlichungen in Ko-operation mit den internationalen Vertragspartnern und den Teilnehmerländern aus.

Die wichtigsten Entscheidungen fallen im PGB, in dem alle PISA-Teilnehmerländer auf politischer Ebene vertreten sind. Österreich wird im PGB durch Dr. Mark Német vom Bundesministerium für Bildung und Wissenschaft vertreten. Das PGB legt im Rahmen der Zielsetzung der OECD die politischen Prioritäten für PISA sowie die Eckdaten der Er-

5 In folgenden Ländern wurde PISA 2018 papierbasiert durchgeführt: Argentinien, Nordmazedonien, Libanon, Moldawien, Rumänien, Saudi-Arabien, Ukraine, Jordanien und Vietnam.

hebung fest und überwacht deren Einhaltung im Verlauf der Implementierung. Dies betrifft die Auswahl von Indikatoren aus der vom Sekretariat erstellten Liste, die Entwicklung von Messinstrumenten und die Berichterstattung über die Er-gebnisse.

1.5.2 Die internationalen Vertragspartner für PISA 2018

Für das Design und die Implementierung von innerhalb des vom PGB gesteckten Rahmens waren bei PISA 2018 vier internationale Vertragspartner der OECD für unterschied-liche Aufgaben im Projekt verantwortlich:

� Educational Testing Service (ETS): Projekt-Management, Erstellung des Testdesigns, Entwicklung der Test-instrumente und der elektronischen Testplattform, Auf-bereitung der Daten für die Analysen, Skalierung der Daten und Durchführung von Datenanalysen; ge-meinsam mit dem Deutschen Institut für Internationale Pädagogische Forschung (DIPF): Entwicklung der Items für die Fragebögen� Pearson: Erstellung der Frameworks � WESTAT: Stichprobenziehung und Erstellung der

Sampling-Richtlinien für die Durchführung der Testungen an den Schulen� cApStAn: linguistische Qualitätskontrolle

1.5.3 Internationale Expertengruppen

Um die wissenschaftliche Expertise und das praktische Know-how aus allen PISA-Teilnehmerstaaten und den nationalen Projektzentren zu nutzen, werden für jeden Kompetenzbereich sowie für die Fragebögen internationale Expertengruppen gebildet. Bei PISA 2018 gab es für Lesen, Mathematik, Naturwissenschaft und Global Competence sowie für die Fragebögen je eine so genannte Subject Matter Expert Group (SMEG). Aufgabe der SMEGs ist es, die inter-nationalen Vertragspartner bei der Erstellung/Entwicklung der Testinstrumente (Testaufgaben und Fragebögen) zu unterstützen und dabei sicherzustellen, dass

� die Instrumente international valide sind und den kultu-rellen und curricularen Kontext der OECD-Mitglieds-staaten berücksichtigen,� die Testmaterialien sehr gute messtechnische Eigen-

schaften aufweisen und � die Instrumente sowohl authentisch als auch bildungs-

politisch relevant sind.

Die Technical Advisory Group (TAG), der renommierte inter-nationale Sozialwissenschafter/innen und Methodiker/innen


angehören, gewährleistet höchste technische Qualität des Projekts (z. B. beim Design der Studie, bei der Umsetzung der technischen Standards oder bei Analysen).

1.6 Die Organisation von PISA 2018 in Österreich

In Österreich wird die Durchführung der Studie vom Bundes-ministerium für Bildung und Wissenschaft (BMBWF) in Auf-trag gegeben und finanziert. Die wissenschaftliche Planung und praktische Umsetzung internationaler Schülerleistungs-studien gehört zu den Kernaufgaben des BIFIE (Bundes-institut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens). Das Referat 1/2 „Inter-nationale Assessments und Erhebungen“ zeichnet für die Durchführung von PISA 2018 verantwortlich.

In Zusammenarbeit mit den internationalen Vertrags-partnern und anderen nationalen PISA-Projektzentren – ins-besondere in Kooperation mit den deutschsprachigen Teil-nehmerländern Deutschland, der Schweiz und Luxemburg – wird von den BIFIE-Mitarbeiterinnen und -Mitarbeitern die PISA-Studie in Österreich umgesetzt. Dazu wurden das Untersuchungsdesign auf die nationalen Gegebenheiten ab-gestimmt, die Testaufgaben und Fragebögen mitentwickelt, übersetzt und angepasst, die Erhebungen durchgeführt, die Daten verarbeitet, analysiert und berichtet.

Um den PISA-Test bestmöglich an die Gegebenheiten in Österreich anzupassen, kooperiert das BIFIE bei der Begut-achtung der Frameworks und der Testaufgaben mit nationa-len Fachexpertinnen und -experten.

Bei Tätigkeiten im Rahmen der Datenerhebung und Daten-verarbeitung, die mit einem hohen Ressourcenaufwand ver-bunden sind, werden die Mitarbeiter/innen des BIFIE von externen, speziell geschulten Personen unterstützt (z. B. Test-leiter/innen zur Durchführung der Testsitzungen, Coder/innen zur Bewertung der offenen Schülerantworten).

1.7 Produkte von PISA

1.7.1 Veröffentlichung der internationalen Daten-basis durch die OECD

Ein zentrales Produkt von PISA ist die umfassende inter-nationale Datenbasis, anhand derer die Leistungsdaten und die damit verbundenen Kontextinformationen analysiert und international verglichen werden können. Die Daten-basis enthält für jeden Kompetenzbereich die Leistungswerte der Schüler/innen, die Antworten der Schüler/innen und

Schulleiter/innen aus den Kontextfragebögen sowie die ent-sprechenden Gewichtungsvariablen.

Diese Datenbasis wird nach der Publikation der ersten Er-gebnisse im Dezember 2019 durch die OECD öffentlich zu-gänglich gemacht und ist weltweit für interessierte Personen unter http://www.oecd.org/pisa verfügbar. Die OECD ver-öffentlicht die Datenbasis in zwei Formen:

� Als interaktive Webseite, auf der man (ohne selbst die um-fangreiche Datenbasis technisch und statistisch hand-haben zu müssen) verschiedenartige Abfragen durch-führen und Abbildungen bzw. Ergebnistabellen erstellen lassen kann.� Als vollständige Datenmatrix für die Statistikpakete SPSS

und SAS für umfassendere eigenständige Analysen.

1.7.2 Internationale und nationale Publikation von Ergebnissen und technischen Dokumentationen

Ein wesentliches Ziel von PISA ist es, die Ergebnisse der Analysen zu den Forschungsfragen so aufzubereiten, dass sie möglichst vielen Personen zugänglich sind und Maß-nahmen für die Schul- und Systemebene abgeleitet werden können. Sowohl die OECD als auch das BIFIE legen daher besonderes Augenmerk auf die Publikation von verständ-lichen und praxisrelevanten Forschungsberichten.

Die Berichterstattung der OECD umfasst mehrere Publi-kationen, die zeitlich versetzt erscheinen. Sämtliche Publi-kationen der OECD zu PISA 2018 werden auf http://www.oecd.org/pisa/ zur Verfügung stehen.

Die ersten drei Ergebnisbände, die am 3. Dezember 2019 veröffentlicht wurden, widmen sich den zentralen Ergeb-nissen der aktuellen Studie:

� OECD (2019b). PISA 2018 Results (Volume I). What Students Know and Can Do. Paris: OECD Publishing.

� OECD (2019c). PISA 2018 Results (Volume II). Where All Students Can Succeed. Paris: OECD Publishing.

� OECD (2019d). PISA 2018 Results (Volume III). What School Life Means for Student’s Lives. Paris: OECD Publishing.

2020 wird die OECD weitere drei Ergebnisberichte zu folgenden Themen publizieren:

� PISA 2018 Results (Volume IV): School Organisation� PISA 2018 Results (Volume V): Financial Literacy� PISA 2018 Results (Volume VI): Global Competence

Zudem werden umfangreiche Dokumentationen erstellt (u. a. zur Unterstützung bei der Datenanalyse bzw. bei der Interpretation von Ergebnissen), die ebenfalls bereits auf

http://www.oecd.org/pisa

http://www.oecd.org/pisa/

http://www.oecd.org/pisa/


der OECD-Homepage verfügbar sind bzw. 2020 publiziert werden:

� Das Framework beinhaltet die Definitionen und Beschrei-bungen der Kompetenzbereiche sowie eine Auflistung von Themenbereichen, die mit den Fragebögen abgedeckt werden. Das Framework zu PISA 2018 (OECD, 2019a) ist bereits unter http://www.oecd.org/education/pisa-2018-assessment-and-analytical-framework-b25efab8-en.htm verfügbar.� Das Data Analysis Manual liefert eine Beschreibung der

Skalierungsmethode, der Gewichtung der Daten und An-leitungen zur Verwendung der Datenmatrix. Derzeit ist die 2. Edition (OECD, 2009) unter http://www.oecd-ilibrary.org/education/pisa-data-analysis-manual-spss-second-edition_9789264056275-en verfügbar. � Der Technische Bericht beinhaltet eine Dokumentation

aller internationalen Prozesse und Abläufe von PISA

2018. Diese Publikation (OECD, in preparation) wird ebenfalls 2020 folgen.

In Österreich wurde neben der vorliegenden technischen Dokumentation ein Bericht mit ersten Analysen zu den Ergebnissen Österreichs im internationalen Kontext ver-öffentlicht (Suchan, Höller & Wallner-Paschon, 2019). Dieser Bericht ist unter https://www.bifie.at/material/inter-nationale-studien/pisa/pisa-2018 downloadbar.

Mit den Daten aus PISA 2018 werden auch in Österreich noch weitere Analysen folgen, um vertiefenden und komplexeren Fragestellungen nachgehen zu können. Dabei sollen v. a. auch die Kontextdaten auf Schul-, Unterrichts- und Schülerebene – auch in Zusammenhang mit den Schülerkompetenzen – näher beleuchtet werden. Detaillierte Analysen werden vor allem bezüglich der Lesekompetenz möglich sein.

Literatur

Breit, S., Eder, F., Krainer, K., Schreiner, C., Seel, A. & Spiel, C. (Hrsg.). (2019). Nationaler Bildungsbericht Österreich 2018. Band 2. Fokussierte Analysen und Zukunftsperspektiven für das Bildungswesen. Graz: Leykam. http://doi.org/10.17888/ nbb2018-2

Oberwimmer, K., Vogtenhuber, S., Lassnigg, L. & Schreiner, C. (Hrsg.). (2019). Nationaler Bildungsbericht Österreich 2018. Band 1. Das Schulsystem im Spiegel von Daten und Indikatoren. Graz: Leykam. http://doi.org/10.17888/nbb2018-1.4

OECD (1960). Convention on the Organisation for Economic Co-operation and Development. Verfügbar unter http://www.oecd.org/general/conventionontheorganisationforeconomicco-operationanddevelopment.htm

OECD (2009). PISA Data Analysis Manual: SPSS, 2nd Edition. Paris: OECD Publishing.

OECD (2019a). PISA 2018. Assessment and Analytical Framework. Paris: OECD Publishing. http://doi.org/10.1787/ b25efab8-en

OECD (2019b). PISA 2018 Results (Volume I). What Students Know and Can Do. Paris: OECD Publishing.

OECD (2019c). PISA 2018 Results (Volume II). Where All Students Can Succeed. Paris: OECD Publishing.

OECD (2019d). PISA 2018 Results (Volume III). What School Life Means for Student’s Lives. Paris: OECD Publishing.

OECD (in preparation). PISA 2018. Technical Report. Paris: OECD Publishing.

Suchań, B. & Breit, S. (2016). PISA 2015 – eine Einführung in die aktuelle Studie. In B. Suchan & S. Breit (Hrsg.). PISA 2015. Grundkompetenzen am Ende der Pflichtschulzeit im internationalen Vergleich. Verfügbar unter https://www.bifie.at/wp-content/ uploads/2017/04/01_TB_Kapitel1_PISA15_final.pdf

Suchań, B., Höller, I. & Wallner-Paschon, C. (2019). PISA 2018. Grundkompetenzen am Ende der Pflichtschulzeit im interna-tionalen Vergleich. Verfügbar unter https://www.bifie.at/material/internationale-studien/pisa/pisa-2018/

http://www.oecd.org/education/pisa-2018-assessment-and-analytical-framework-b25efab8-en.htm



https://www.oecd-ilibrary.org/education/pisa-data-analysis-manual-spss-second-edition_9789264056275-en



https://www.bifie.at/material/internationale-studien/pisa/pisa-2018

https://www.bifie.at/material/internationale-studien/pisa/pisa-2018

http://doi.org/10.17888/nbb2018-2

http://doi.org/10.17888/nbb2018-2

http://www.oecd.org/general/conventionontheorganisationforeconomicco-operationanddevelopment.htm

http://doi.org/10.1787/b25efab8-en

http://doi.org/10.1787/b25efab8-en

https://www.bifie.at/wp-content/uploads/2017/04/01_TB_Kapitel1_PISA15_final.pdf


https://www.bifie.at/material/internationale-studien/pisa/pisa-2018/


2 Die getesteten Kompetenzbereiche Iris Höller & Bettina Toferer

Bei PISA wird für jeden Kompetenzbereich eine Rahmenkonzeption (Framework) entwickelt. Diese stellen die Basis für die Entwicklung der PISA-Aufgaben dar und beinhalten eine Definition des jeweiligen Kompetenzbereichs sowie eine ausführliche Beschreibung aller Facetten, die im Rahmen von PISA getestet werden. Abgerundet werden die theoretischen Ausführungen durch einige Beispielaufgaben. Auf Basis dieser Frameworks werden die PISA-Aufgaben entwickelt.1

1 Dieser Text ist eine Aktualisierung des entsprechenden Kapitels 2 (Die getesteten Kompetenzbereiche) im nationalen technischen Bericht zu PISA 2015 (Toferer & Höller, 2016).

2 Für eine Beschreibung der Frameworks für den Schüler- und Schulleiterfragebogen siehe Kapitel 3.

2.1 Die Rahmenkonzeption von PISA – die Frameworks

Bei PISA wird für jeden Kompetenzbereich sowie für alle eingesetzten Fragebögen2 eine Rahmenkonzeption ent-wickelt, die so genannten Frameworks. Maßgebend für die Inhalte der Frameworks ist das zugrundeliegende Ziel von PISA: das Ausmaß jener Fähigkeiten und Fertigkeiten von Schülerinnen und Schülern am Ende ihrer Pflichtschulzeit zu erfassen, die für eine volle Teilhabe und Mitwirkung in der modernen Gesellschaft erforderlich sind. Bei der Testung dieser Kompetenzen geht es nicht nur darum zu erkennen, ob Schüler/innen ihr erworbenes Wissen reproduzieren können, es wird auch gemessen, wie gut Schüler/innen im Stande sind, Ableitungen von dem gelernten Wissen zu machen und ihr Wissen damit auch in unbekannten Situationen anwenden können. Dieser Ansatz spiegelt einen wesentlichen Aspekt der modernen Wirtschaft wider: es wird nicht das Wissen an sich honoriert; wesentlich ist, wie gut man das erworbene Wissen anwenden kann.

Internationale Expertinnen und Experten entwickeln die Frameworks zu Beginn jedes Erhebungsdurchgangs von PISA als theoretische Basis für den jeweiligen Kompetenz-bereich. Anschließend werden diese Rahmenkonzeptionen an die nationalen Zentren zur Begutachtung gesendet. Die Validierung durch die Teilnehmerländer ist ein wichtiges Element bei der Frameworkentwicklung, da die Inhalte nicht auf einzelnen Lehrplänen der Teilnehmerländer be-ruhen, sondern auf grundlegenden Konzepten der einzelnen Kompetenzbereiche. Die Frameworks beschreiben die der Erhebung zugrundeliegende Theorie und skizzieren (1) die inhaltlichen Wissensbereiche, die die Schüler/innen am Ende der Pflichtschule erworben haben sollten, (2) die Prozesse, die die Schüler/innen zu leisten imstande sein müssen sowie (3) die Kontexte, in denen das Wissen und die Fertigkeiten im Rahmen von PISA angewendet werden müssen. Die theoretische Begründung und genaue Festlegung der Test-inhalte in den PISA-Frameworks ermöglicht eine präzise und valide Messung der einzelnen Kompetenzbereiche. Auf Basis

der Vorgaben im Framework werden in weiterer Folge die Testaufgaben entwickelt (siehe Kapitel 3).

Im Folgenden werden auf Grundlage der internationalen Frameworks zu PISA 2018 (OECD, 2019) die Kompetenz-bereiche Lesen, Mathematik und Naturwissenschaft dar-gestellt.

2.2 Lesen

2.2.1 Veränderungen im Verständnis von Lese-kompetenz

Nach PISA 2000 und 2009 war Lesen bei PISA 2018 zum dritten Mal Hauptdomäne. Wie schon 2009 wurde das Leseframework für PISA 2018 zum zweiten Mal grundlegend überarbeitet. Eine solche Überarbeitung muss sowohl die sich ändernde Definition von Lesekompetenz als auch die sich ändernden Zusammenhänge, in denen Lesen im täg-lichen Leben der Menschen angewendet wird, widerspiegeln. Die Lesekompetenz, die vor 20 Jahren für individuelles Wachstum, Bildungserfolg und wirtschaftliche Teilhabe be-nötigt wurde, ist anders als jene, die heute benötigt wird, und es ist wahrscheinlich, dass sie sich in den nächsten 20 Jahren noch weiter verändern wird. Neue Technologien haben die Art und Weise, wie Menschen lesen und Informationen austauschen, rasant verändert, sowohl zu Hause als auch am Arbeitsplatz. Die Menschen müssen sich immer mehr an schnell ändernde Kontexte anpassen und verschiedene Informationsquellen finden und von ihnen lernen können. Persönliche und berufliche Entwicklung ist ein lebens-langer Prozess und die Schüler/innen von morgen müssen mit digitalen Werkzeugen vertraut sein, um die erhöhte Komplexität und Menge von verfügbaren Informationen erfolgreich verarbeiten zu können. In der Vergangenheit war das Hauptinteresse bei der Bewertung der Lesekompetenz die Fähigkeit, einzelne Texte zu verstehen, zu interpretieren und zu reflektieren. Obwohl diese Fähigkeiten wichtig bleiben,

14 2 – Die getesteten Kompetenzbereiche

erfordert das stärkere Augenmerk auf die Integration von Informationstechnologien in das Sozial- und Arbeitsleben der Bürger/innen, dass die Definition der Lesekompetenz aktualisiert und erweitert wird. Sie muss das breite Spektrum neuer Fähigkeiten widerspiegeln, die für Lesekompetenz im 21. Jahrhundert erforderlich sind.

So wie sich das Medium, über das wir auf Textinformationen zugreifen, vom gedruckten Text auf Computerbildschirm und Smartphone erweitert hat, haben sich auch Struktur und Format von Texten geändert. Dies erfordert wiederum, dass die Leser/innen neue kognitive Strategien und klarere Ziele für ein zielgerichtetes Lesen entwickeln. Daher sollte Lese-kompetenz nicht mehr nur dahingehend definiert werden, einen einzelnen Text lesen und nachvollziehen zu können. Obwohl die Fähigkeit, kontinuierliche Texte – einschließlich literarischer Texte – zu verstehen und zu interpretieren, nach wie vor wertvoll ist, erfordert Lesekompetenz nunmehr auch den Einsatz komplexer Informationsverarbeitungsstrategien einschließlich der Analyse, Synthese, Integration und Inter-pretation relevanter Informationen aus mehreren Text- oder Informationsquellen.

2.2.2 Änderungen im Lese-Framework von 2000 bis 2018

Mit den oben beschriebenen Veränderungen im Verständnis von Lesekompetenz hat sich auch das Lese-Framework von PISA verändert. Eine bemerkenswerte Folge der zunehmenden Verbreitung der Informations- und Kommunikationstechno-logien (IKT) ist die Verlagerung des Lesens von gedruckten zu digitalen Texten. Dies hat auch wichtige Konsequenzen für die Definition von Lesekompetenz, da die Menschen heute in dem, was sie lesen, selektiv sein müssen, während

sie gleichzeitig mehr, öfter und für vielfältigere Zwecke lesen. Darüber hinaus müssen Leser/innen im digitalen Zeitalter auch einige neue Fähigkeiten beherrschen. So müssen sie zu-mindest minimale IKT-Kenntnisse haben, um Geräte und Anwendungen zu verstehen und zu bedienen. In vielen Teilen der Welt ist daher die digitale Lesekompetenz der Schlüssel dazu, die eigenen Ziele zu erreichen und an der Gesellschaft teilzunehmen. Das Leseframework für PISA 2018 wurde überarbeitet und erweitert, um diese Fähigkeiten, die für das Lesen von und das Interagieren mit digitalen Texten von wesentlicher Bedeutung sind, zu erfassen.

Das ursprüngliche Lese-Framework wurde für den PISA-2000- Zyklus entwickelt. Das Wesentliche dieses Frameworks wurde für PISA 2009 beibehalten, um einem der zentralen Ziele von PISA, dem Erfassen und Berichten von Trends über Leistungen in Lesen, Mathematik und Naturwissenschaft, Rechnung zu tragen. Die PISA-Frameworks sind jedoch darauf ausgelegt, Dokumente zu entwickeln, die sich an neue Entwicklungen in Theorie und Praxis anpassen und diese integrieren. In Tabelle 2.1 sind die wichtigsten Änderungen im Lese-Framework von 2000 bis 2015 im Überblick dar-gestellt.

Für PISA 2018 wurde das Framework in Bezug auf die folgenden Aspekte erweitert bzw. überarbeitet:

� Das Framework integriert das Lesen im traditionellen Sinne in die neuen Formen des Lesens, die in den letzten Jahrzehnten durch die Verbreitung digitaler Geräte und digitaler Texte entstanden sind.� Das Framework enthält Konstrukte, die an grund-

legenden Leseprozessen beteiligt sind. Diese Konstrukte, wie etwa fließendes Lesen, wörtliche Interpretation, Satz-

Tabelle 2.1: Änderungen im Lese-Framework von 2000–2015

2000 2009 2015

TEXT

Formatkontinuierliche Texte, nichtkontinuierliche Texte, gemischte Texte

Wie 2000, zusätzlich multiple Texte Wie 2009

TypBegründungen, Beschreibungen, Darstellungen, Erzählungen, Anleitungen

Wie 2000, zusätzlich „Transaktionen“ Wie 2009

Textumfeld –* autorenbestimmt, mitteilungsbasiert –

Medium – Gedruckt, elektronisch –

Raum – – Fest, dynamisch

SITUATIONENBildungsbezogen, Persönlich, Beruflich, Öffentlich

Wie 2000 Wie 2000

LESEPROZESSEInformationen ermitteln, Kombinieren und Interpretieren, Reflektieren und Bewerten

Wie 2000, zusätzlich „komplexe Leseprozesse“

Wie 2000

* War in diesem Zyklus nicht Teil des Frameworks


integration, Extraktion der zentralen Themen und das Ziehen von Schlussfolgerungen sind entscheidende Fähig-keiten für die Bearbeitung komplexer Texte. � Die Organisation der Domäne wurde überarbeitet, um

Lesevorgänge wie die Bewertung des Wahrheitsgehalts von Texten, die Suche nach Informationen, das Lesen aus mehreren Quellen und das Integrieren/Synthetisieren von Informationen aus mehreren Quellen miteinzubeziehen. � Die Überarbeitung berücksichtigt, wie neue Technologien

und die Verwendung von Szenarien in gedruckten und digitalen Texten genutzt werden können, um eine zuver-lässigere Erfassung der Lesekompetenz zu erzielen.

2.2.2 Die Definition von Lesekompetenz

Die Definitionen von Lesen und Lesekompetenz haben sich parallel zu Veränderungen in Gesellschaft, Wirtschaft, Kultur und Technik ebenfalls gewandelt. Lesekompetenz wird nicht mehr als eine Fähigkeit gesehen, die man ausschließlich in der Kindheit während der ersten Schuljahre erwirbt. Viel-mehr beinhaltet Lesekompetenz Kenntnisse, Fertigkeiten und Strategien, die lebenslang und in verschiedenen Kontexten durch Interaktion mit verschiedenen Gruppen erweitert werden. Die Lesekompetenz („reading literacy“) wird bei PISA 2018 wie folgt definiert:

„Lesekompetenz bedeutet, Texte zu verstehen, zu nutzen, zu be-werten, über sie zu reflektieren und sich mit ihnen auseinander-zusetzen, um eigene Ziele zu erreichen, das eigene Wissen und Potenzial weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen“ (OECD, 2019, S. 28; Übersetzung: BIFIE).

Der Begriff „reading literacy“, hier mit dem Begriff Lese-kompetenz übersetzt, wurde deshalb gewählt, weil der Begriff „reading“ häufig als einfaches Dekodieren von Texten ver-standen wird, während es das Ziel von PISA ist, viel breitere und umfassendere Konstrukte zu messen. Im Framework wird Lesekompetenz als eine aktive, zielgerichtete und funktionale Anwendung des Lesens in einer Reihe von Situationen und für verschiedene Zwecke und Ziele verstanden. Der letzte Teil der Definition soll das volle Spektrum an Situationen erfassen, in denen Lesekompetenz eine Rolle für junge Er-wachsene spielt – vom Privatleben bis zur Öffentlichkeit, von der Schule bis zum Beruf, von der Schulbildung zum lebens-langen Lernen und zur aktiven Beteiligung am gesellschaft-lichen Leben.

Im Vergleich zur früheren Definition wurde bei PISA 2018 das Bewerten der Texte hinzugefügt und geschriebene Texte in Texte geändert. Bewerten wurde deshalb ergänzt, weil Lesen häufig zielgerichtet ist und die Leser/innen daher Faktoren wie die Richtigkeit der Argumente im Text, die Sichtweise der Autorin/des Autors oder die Relevanz eines Texts für die Ziele der Leserin/des Lesers berücksichtigen müssen. Der Begriff Texte umfasst die gesamte Sprache in ihrer grafischen Form: handschriftlich, gedruckt oder am Bildschirm. Zu den Texten

gehören auch visuelle Darstellungen wie Diagramme, Bilder, Karten, Tabellen, Grafiken und Comics, die eine geschriebene Sprache enthalten (z. B. Bildunterschriften). Diese visuellen Texte können entweder unabhängig voneinander vorhanden sein oder in größere Texte eingebettet werden.

2.2.3 Gliederung der Domäne

Die Domäne wird zunächst anhand von drei Dimensionen organisiert: Leserfaktoren (z. B. Motivation, kognitive Fähig-keiten), Textfaktoren (z. B. Format oder Komplexität der ver-wendeten Sprache eines Texts) und Aufgabenfaktoren (z. B. Zeit und andere praktische Einschränkungen, die Ziele der Aufgabe, die Komplexität oder Anzahl der zu erledigenden Aufgaben). Basierend auf ihren individuellen Merkmalen und ihrer Wahrnehmung von Text- und Aufgabenfaktoren wenden die Leser/innen eine Reihe von Leseprozessen an, um Informationen zu finden und zu extrahieren und Be-deutungen zu erfassen. Diese werden dazu benötigt, um die Aufgaben lösen zu können.

Darüber hinaus basiert die Erfassung der Lesekompetenz bei PISA auf drei Hauptmerkmalen: Texte, Prozesse und Szenarien. Innerhalb von Szenarien gibt es Aufgaben. Im Folgenden werden diese drei Merkmale näher beschrieben.

Prozesse

Für den PISA-2018-Lese-Framework wurde die frühere Typologie der Leseprozesse überarbeitet und erweitert, um den vollen Umfang von Prozessen darzustellen, die erfahrene Leser/innen in Abhängigkeit vom jeweiligen Aufgabenkontext anwenden. Insbesondere werden für PISA 2018 zwei große Kategorien von Leseprozessen definiert: Texte verarbeiten und Aufgabenmanagement (siehe Abbildung 2.1).

Texte verarbeitenIm Bereich Texte verarbeiten werden die folgenden Prozesse unterschieden:

� Flüssiges LesenFlüssiges Lesen ist die Fähigkeit, Wörter und Texte richtig und automatisch zu lesen und diese entsprechend zu ver-arbeiten, um die allgemeine Bedeutung des Texts zu ver-stehen. � Informationen finden

Das Finden von Informationen bezieht sich auf das Ver-ständnis der Leser/innen über die Anforderungen einer Aufgabe, ihr Wissen über den Aufbau der Texte (z. B. Überschriften, Absätze) und ihre Fähigkeit, die Relevanz eines Texts zu beurteilen. Die Fähigkeit zum Finden von Informationen hängt dabei vom strategischen Bewusst-sein der Leser/innen über den eigenen Informationsbedarf und ihrer Fähigkeit ab, sich schnell von irrelevanten Passagen zu lösen. Im Framework werden hier zwei Prozesse unterschieden:


� Durchsuchen und Informationen finden: Bei diesen Aufgaben müssen die Leser/innen einzelne Textab-schnitte durchsuchen, um Informationen, die aus wenigen Wörtern, Phrasen oder Zahlenwerten be-stehen, zu finden.

� Relevante Textstellen suchen und auswählen: Wenn mehrere Texte gelesen werden, insbesondere in elektronischen Medien, müssen die Leser/innen ent-scheiden, welcher der verfügbaren Textteile der wichtigste oder relevanteste bzw. welcher richtig oder wahrheitsgemäß ist. Diese Aufgaben beinhalten die Verwendung von Textdeskriptoren wie Überschriften, Quelleninformationen (z. B. Autor, Medium, Datum) und eingebettete oder explizite Links wie Such-maschinen-Ergebnisseiten.

� VerstehenBei einer Vielzahl von Leseaktivitäten geht es um die Analyse und die Integration von längeren Textpassagen, um die Bedeutung dieser Passagen zu erfassen. Auch hier wird zwischen zwei Prozessen unterschieden:� Wörtliche Bedeutung wiedergeben: Um die wörtliche

Bedeutung eines Texts zu erfassen, müssen die Leser/innen Sätze oder kurze Passagen verstehen. Aufgaben zum wörtlichen Verstehen beinhalten eine direkte oder umschriebene Übereinstimmung zwischen der Frage und der Zielinformation innerhalb einer Passage.

� Schlussfolgerungen ziehen und berücksichtigen: Die Leser/innen müssen verschiedene Arten von Schluss-folgerungen ziehen können, die von einfachen ver-bindenden Schlussfolgerungen (wie der Auflösung von Anaphern) zu komplexeren Zusammenhängen

reichen (z. B. räumliche, zeitliche oder kausale Ver-knüpfungen). Wenn Leser/innen mit mehr als einem Text konfrontiert sind, müssen Schlussfolgerungen auf der Grundlage von Informationen gezogen und berücksichtigt werden, die sich in verschiedenen Texten befinden.

� Bewerten und ReflektierenKompetente Leser/innen können über die wörtliche Be-deutung eines Texts hinaus argumentieren. Sie können über Inhalt und Form des Texts reflektieren und die Quali-tät und Richtigkeit der darin enthaltenen Informationen kritisch bewerten. Hier werden drei Prozesse unter-schieden:� Qualität und Glaubwürdigkeit bewerten: Kompetente

Leser/innen können bewerten, ob die Informationen in einem Text gültig, aktuell, genau und/oder unvor-eingenommen sind. Manchmal ist es dazu nötig, dass die Leser/innen die Informationsquelle beurteilen und sich mit ihr identifizieren, etwa ob die Autorin/der Autor sachkundig und gut informiert ist.

� Über Inhalt und Textform reflektieren: Kompetente Leser/innen müssen auch über Qualität und Stil des Geschriebenen reflektieren. Dies beinhaltet die Be-wertung der Form des Geschriebenen und wie Form und Inhalt in Beziehung zu Zweck und Absicht der Autorin/des Autors stehen.

� Widersprüche erkennen und damit umgehen: Wenn Leser/innen mit mehreren Texten, die sich wider-sprechen, konfrontiert werden, müssen sie sich des Konflikts bewusst sein und Wege finden, damit um-zugehen. Dies verlangt in der Regel, abweichende

Texte verarbeiten

Aufgaben-management

Informationen finden– Durchsuchen und Informationen finden – Relevante Textstellen suchen und auswählen

Verstehen– Wörtliche Bedeutung wiedergeben – Schlussfolgerungen ziehen und berücksichtigen

Bewerten und Reflektieren – Qualität und Glaubwürdigkeit bewerten– Über Inhalt und Textform reflektieren – Widersprüche erkennen und damit umgehen

flüss

ig le

sen

Ziele undPläne

entwickeln

Beobachten,steuern

Abbildung 2.1: Die Leseprozesse bei PISA 2018 (OECD, 2019, S. 33)


Aussagen ihren jeweiligen Quellen zuzuordnen und die Richtigkeit der Angaben und/oder die Glaub-würdigkeit der Quellen zu bewerten.

AufgabenmanagementIm Kontext eines Lesetests, aber auch in vielen alltäglichen Lesesituationen, befassen sich die Leser/innen mit Texten, weil sie eine Aufgabe gestellt bekommen oder eine Aufforderung erhalten. Lesekompetenz beinhaltet die Fähigkeit, den Lese-bedarf einer bestimmten Situation genau anzupassen, sich aufgabenrelevante Leseziele zu setzen und den Fortschritt zur Erreichung dieser Ziele laufend zu beobachten. Auf-gabenorientierte Ziele verstärken die Suche der Leser/innen nach aufgabenrelevanten Texten und/oder Textpassagen. Das Aufgabenmanagement ist in Abbildung 2.1 im Hintergrund des Prozesses Texte verarbeiten dargestellt, um die Tatsache hervorzuheben, dass es sich um eine andere, metakognitive Verarbeitungsebene handelt.

Texte

Im Framework zu PISA 2018 werden vier Dimensionen von Texten definiert.

� QuelleHier wird unterschieden zwischen Texten aus einer Quelle und Texten aus multiplen Quellen. Texte aus einer Quelle charakterisieren sich durch die Angabe einer bestimmten Autorin/eines bestimmten Autors (oder einer Gruppe von Autorinnen und Autoren), eines Veröffentlichungsdatums oder einer Referenz/Titelnummer. Texte aus multiplen Quellen werden durch unterschiedliche Autorinnen und Autoren definiert oder durch Veröffentlichung zu unter-schiedlichen Zeitpunkten oder indem sie unterschiedliche Titel oder Referenznummern haben.� Organisations- und Navigationsstruktur

Digitale Texte bringen eine Reihe von Werkzeugen mit sich, mit denen die Nutzer/innen auf bestimmte Passagen zugreifen und diese anzeigen können. Diese Werkzeuge beinhalten etwa Bildlaufleisten und Registerkarten, Werkzeuge zum Ändern der Größe oder Position des Texts auf dem Bildschirm bis hin zu Menüs, Inhaltsver-zeichnissen und eingebetteten Hyperlinks, um zwischen Textsegmenten wechseln zu können. Das PISA-2018-Framework unterscheidet zwischen statischen Texten mit einer einfachen Organisations- und Navigationsstruktur (normalerweise eine oder mehrere Bildschirmseiten, die linear angeordnet sind) und dynamischen Texten, die eine komplexere, nichtlineare Organisations- und Naviga-tionsstruktur haben.� Format

Es werden drei Textformate unterschieden: kontinuierliche Texte, nichtkontinuierliche Texte und gemischte Texte. Die in den früheren Versionen des Frameworks definierten multiplen Texte sind im aktuellen Framework unter der neuen Dimension Quelle (siehe oben) dargestellt.

� Kontinuierliche Texte bestehen aus Sätzen, die in Ab-sätzen organisiert sind. Beispiele für kontinuierliche Texte sind Zeitungsartikel, Essays, Romane, Kurz-geschichten, Rezensionen und Briefe.

� Nichtkontinuierliche Texte sind anders organisiert als kontinuierliche Texte und verlangen daher auch eine andere Herangehensweise. Zu den nichtkontinuier-lichen Texten zählen z. B. Listen, Tabellen, Grafiken oder Diagramme, Werbungen, Fahrpläne, Kataloge, Indizes und Formulare.

� Gemischte Texte enthalten sowohl kontinuierliche als auch nichtkontinuierliche Textteile und sind häufig in Magazinen oder auf Webseiten zu finden.

� TypIn der Praxis sind Texte meist mehreren Texttypen zu-ordenbar, weshalb eine exakte Kategorisierung oft schwierig ist. Trotzdem ist es bei PISA wichtig, Texte nach Texttypen, basierend auf den vorherrschenden Merkmalen eines Texts, zu kategorisieren, um sicher-zustellen, dass die unterschiedlichen Texttypen in aus-reichendem Maße enthalten sind. Es werden sechs Text-typen unterschieden: � Beschreibungen: z. B.: die Darstellung eines bestim-

mten Orts in einem Reisebericht oder Tagebuch, ein Katalog, eine geografische Karte, ein Online-Flug-plan oder eine Beschreibung einer Funktion oder eines Prozesses in einer technischen Bedienungs-anleitung.

� Erzählungen: z. B. Romane, Kurzgeschichten, Theater-stücke, Biografien, Comics und Zeitungsberichte.

� Darstellungen: z. B. wissenschaftliche Aufsätze, Dia-gramme, die ein Modell über die Funktionen des bio-logischen Systems (z. B. des Herzens) zeigen, Dia-gramme zur Bevölkerungsentwicklung oder Einträge in einer Online-Enzyklopädie.

� Begründungen: z. B. Leserbriefe, Plakatwerbung, Bei-träge in einem Online-Forum und webbasierte Rezensionen von Büchern oder Filmen.

� Anleitungen: z. B. Rezepte oder eine Reihe von Dia-grammen, die ein Erste-Hilfe-Verfahren oder Richt-linien für den Betrieb von digitaler Software zeigen.

� Transaktionen: z. B. Austausch von E-Mails und Text-nachrichten zwischen Kolleginnen und Kollegen oder Freunden, um Vereinbarungen zu treffen.

Szenarien und Aufgaben

In PISA 2018 werden Szenarien eingesetzt, in denen den Schüler/innen für das Lesen mehrerer thematisch verwandter Texte ein übergreifendes Ziel präsentiert wird, damit sie eine übergeordnete Aufgabe lösen können. Die verwendeten Texte können dabei vielfältig sein und eine Auswahl aus der Literatur, Lehrbüchern, E-Mails, Blogs, Websites, Richt-liniendokumenten oder historischen Dokumenten umfassen. Daneben werden weiterhin voneinander unabhängige Lese-einheiten eingesetzt.


Jedes Szenario besteht aus einer oder mehreren Aufgaben. Jede Aufgabe dient dazu, einen oder mehrere der im Framework definierten Prozesse (siehe oben) zu testen. In diesem Sinne entsprechen die Szenarien und Aufgaben in PISA 2018 den units und items in früheren PISA-Erhebungen.

2.3 Mathematik

Mathematische Grundbildung ist für junge Menschen wesentlich für ein Leben in der modernen Gesellschaft. Sie begegnen häufig Situationen und Problemen, die mathematisches Verständnis voraussetzen. Sei es der Umgang mit Finanzen, der tägliche Einkauf oder das Interpretieren von Daten – all diese Situationen verlangen (mathematisches) Wissen, um angemessene Entscheidungen treffen zu können. Auch wenn das Mathematikframework für die Umstellung auf die computerbasierte Testung bei PISA 2015 aktualisiert wurde, um den Änderungen im Bearbeitungsmodus gerecht zu werden, beruhen die Definition und das Konstrukt der Mathematikkompetenz auch bei PISA 2018 nach wie vor auf dem Framework von PISA 2012. Damals wurde Mathematik zum zweiten Mal schwerpunktmäßig erhoben.

„Mathematikkompetenz ist die Fähigkeit einer Person, Mathe-matik in einer Vielzahl von Kontexten zu formulieren, anzu-wenden und zu interpretieren. Dazu gehört mathematisches Schlussfolgern sowie die Anwendung mathematischer Konzepte, Verfahren, Fakten und Werkzeuge, um Phänomene zu be-schreiben, zu erklären und vorherzusagen. Mathematikkompe-tenz hilft jeder/jedem Einzelnen, die Rolle zu erkennen, die Mathematik in der Welt spielt, sowie fundierte Urteile abzu-geben und gut begründete Entscheidungen zu treffen, wie sie von konstruktiven, engagierten und reflektierenden Bürgerinnen und Bürgern benötigt werden“ (OECD, 2019, S. 75; Über-setzung: BIFIE).

Aus der Definition wird deutlich, dass es bei der Mathematik-kompetenz um die funktionelle Anwendung mathematischen Wissens in unterschiedlichen Situationen geht, wie z. B. Probleme formulieren, mithilfe der Mathematik lösen und das Ergebnis interpretieren. Dies setzt sowohl grundlegendes Wissen über mathematische Konzepte, Verfahren, Fakten und Prozeduren voraus als auch die Fähigkeit, bestimmte Operationen durchführen und adäquate Methoden an-wenden zu können.

2.3.1 Das Modell der Mathematikkompetenz

Das Modell der Mathematikkompetenz in Abbildung 2.2 stellt die wichtigsten Dimensionen des Mathematikframeworks dar und beschreibt, wie sich diese aufeinander beziehen.

Den äußeren Rahmen des Modells bilden die situations-bezogenen Kontexte sowie die mathematischen Inhalts-bereiche, in denen eine Problemstellung angesiedelt ist. Deren Lösung erfordert von den Schülerinnen und Schülern mathematisches Denken und Handeln. Dabei stützen sich die Jugendlichen auf mathematische Konzepte, Kenntnisse und Fertigkeiten und kombinieren ihr mathematisches Handeln mit sieben grundlegenden mathematischen Fähigkeiten. Zur Auseinandersetzung mit dem Problem selbst sind drei mathematische Prozesse gefordert: Formulieren, Anwenden sowie Interpretieren und Bewerten. Diese bilden die Kern-elemente des Kreislaufs des mathematischen Modellierens, der im Inneren des Modells von Abbildung 2.2 verein-facht dargestellt ist. Beim Kreislauf des mathematischen Modellierens müssen die Schüler/innen ein reales Problem mathematisch formulieren und damit in ein mathematisches Problem transformieren. Mithilfe des Anwendens mathe-matischer Konzepte, Prozeduren und Denkweisen wird eine mathematische Lösung gefunden, die anschließend in eine reale Lösung rückübersetzt wird. Abschließend wird das Ergebnis interpretiert und die Sinnhaftigkeit der realen Lösung in Bezug zum anfänglichen Problem bewertet. Auf Basis dieses Modells lassen sich die Mathematikaufgaben bei PISA 2018 grundsätzlich drei relevanten Dimensionen zuordnen: mathematische Inhaltsbereiche, situationsbezogene Kontexte sowie mathematische Prozesse.

Abbildung 2.2: Das Modell der Mathematikkompetenz bei PISA 2018

Reale Situationen

Kontexte: persönlich, beruflich, gesellschaftlich, wissenschaftlich

Mathematische Inhaltsbereiche: Größen, Raum & Form, Veränderung & Zusammenhänge, Unsicherheit & Daten

Problem in einer realen Situation

mathematisches Problem

mathematische Lösung

realeLösung

Formulieren

Anwenden

Interpretieren

Bewerten

Mathematische Prozesse: Formulieren, Anwenden, Interpretieren und Bewerten

Mathematisches Denken und Handeln

Mathematische Konzepte, Kenntnisse und Fertigkeiten

Grundlegende mathematische Fähigkeiten: Kommunizieren und Repräsentieren; Strategien entwickeln; Mathematisieren; Begründen und Argumentieren; Darstellen; symbolische, formale, technische Sprache und Operationen anwenden; mathematische Werkzeuge verwenden


2.3.2 Mathematische Inhaltsbereiche

Um eine Aufgabe oder ein Problem mathematisch lösen zu können, muss man mathematische Inhalte kennen und in verschiedenen Situationen anwenden können. Jede PISA-Auf-gabe kann einem der folgenden vier Inhaltsbereiche zugeteilt werden:

� Größen: In diesem Inhaltsbereich sollen Schüler/innen numerische Muster erkennen, Zahlen in unterschied-lichen Kontexten anwenden, Zahlen darstellen und ver-arbeiten und mit mathematischen Operationen umgehen können.� Raum und Form: Um Aufgaben dieses Inhaltsbereichs

lösen zu können, benötigen die Schüler/innen Kenntnisse über Proportionen von Objekten, sie müssen ein Ver-ständnis für die Zusammenhänge zwischen geometrischen und räumlichen Formen und Bildern oder visuellen Dar-stellungen entwickeln und Perspektiven verstehen.� Veränderung und Zusammenhänge: Dieser Inhaltsbereich

untersucht, ob die Schüler/innen Veränderungsprozesse sowie funktionale Zusammenhänge und Abhängigkeiten von Variablen in unterschiedlichsten Darstellungsformen (z. B. Funktionen und Gleichungen) verwenden können. � Unsicherheit und Daten: Zum Lösen dieser Aufgaben be-

nötigen die Schüler/innen Kenntnisse über das Sammeln, Interpretieren und Darstellen von Daten. Messunsicher-heiten und Messfehler sollen ebenso bekannt sein wie Kenntnisse über Wahrscheinlichkeiten und Schluss-folgerungen.

2.3.3 Situationsbezogene Kontexte

Die zu lösenden Aufgabenstellungen sind in einem spezi-fischen Kontext angesiedelt. Bei PISA 2018 sind die Kon-texte sehr breit gestreut, um die verschiedenen situations-bezogenen Interessen der Schüler/innen abzudecken. Im Mathematikframework werden vier Situationstypen fest-gelegt:

� Persönliches Umfeld: Alle Fragestellungen, die sich auf einen selbst, auf die Familie oder den Freundeskreis be-ziehen.� Berufliches Umfeld: Obwohl die Schüler/innen selbst noch

keinen Beruf ausüben, treffen sie täglich auf unterschied-liche Berufsfelder, sodass in einigen Fragen auch die beruf-liche Perspektive abgedeckt wird.� Öffentliches Umfeld: Themen, die die Allgemeinheit be-

treffen wie z. B. öffentlicher Verkehr oder Werbung.� Wissenschaftliches Umfeld: Aufgabenstellungen, die sich

auf die Anwendung der Mathematik in Naturwissen-schaften oder Technologien beziehen (z. B. Klima oder Weltraumforschung).

2.3.4 Mathematische Prozesse

Für PISA sind Aufgaben relevant, die reale Problemstellungen mit der Mathematik verknüpfen und die den Aspekt der Anwendung und Nutzung des mathematischen Wissens beinhalten. Die Lösung solcher Aufgaben involviert drei zentrale Prozesse.

� Situationen mathematisch formulierenDer Prozess des Formulierens erfordert von den Jugend-lichen, dass der mathematische Teil des Problems erkannt und so umformuliert wird, dass die Problemstellung an-schließend mit mathematischen Werkzeugen analysiert und gelöst werden kann. � Mathematische Konzepte, Fakten, Prozeduren und Denk-

weisen anwendenUm mathematisch formulierte Probleme zu lösen und so ein mathematisches Ergebnis zu erhalten, benötigen Jugendliche die Fähigkeit, mathematische Konzepte, Fakten, Prozeduren und Denkweisen zu verwenden und Strategien zu entwickeln oder auch, sich Zahlen oder algebraischer Gleichungen sowie geometrischer Dar-stellungen zu bedienen.� Mathematische Ergebnisse interpretieren, verwenden und

bewertenDer Prozess des Interpretierens und Bewertens erfordert von den Jugendlichen die Fähigkeit, mathematische Lösungen eines Problems abzuschätzen, die Lösung in Bezug auf die Problemstellung zu reflektieren und die Sinnhaftigkeit der mathematischen Lösungen in Bezug auf den realen Kontext zu interpretieren.

2.4 Naturwissenschaft

Naturwissenschaftskompetenz wird im 21. Jahrhundert als Schlüsselkompetenz gesehen. In der Schule werden Jugend-liche darauf vorbereitet, in alltäglichen Situationen ent-sprechend entscheiden und handeln zu können. Im Fokus der Ausbildung junger Erwachsener stehen eine umfassende Auseinandersetzung mit naturwissenschaftlichen Inhalten und die Grundidee, Zusammenhänge zu erkennen und naturwissenschaftliche Erkenntnisse und deren Folgen und Auswirkungen kritisch zu reflektieren. Bei PISA 2018 basiert die Beschreibung und Definition der Naturwissen-schaftskompetenz auf dem Framework von 2015, wo dieser Kompetenzbereich zum zweiten Mal im Fokus von PISA stand. Aufgrund der Tatsache, dass die Naturwissenschafts-kompetenz 2015 die Hauptdomäne war und aufgrund der Umstellung auf eine computerbasierte Testung wurde das Framework für diesen Kompetenzbereich für PISA 2015 grundlegend überarbeitet.


Naturwissenschaftskompetenz ist die Fähigkeit, sich als reflek-tierende Bürgerin/reflektierender Bürger mit naturwissenschaft-lichen Themen und mit den Grundideen der Naturwissenschaft auseinanderzusetzen. Dabei ist es wichtig, sich auf einen gut begründeten Diskurs über Naturwissenschaft und Technologie einzulassen, wozu folgende Kompetenzen erforderlich sind:

� Phänomene naturwissenschaftlich erklären: Erkennen, An-bieten und Bewerten von Erklärungen für eine Reihe unter-schiedlicher naturwissenschaftlicher und technologischer Ereignisse.� Naturwissenschaftliche Untersuchungen planen und evalu-

ieren: Beschreiben und Einschätzen von naturwissenschaft-lichen Untersuchungen und Möglichkeiten finden, um naturwissenschaftliche Fragen zu klären.� Daten und Belege naturwissenschaftlich interpretieren: Ana-

lysieren und Evaluieren von Daten, Aussagen und Argu-mentationen in einer Vielzahl von unterschiedlichen Dar-stellungsarten und Ziehen von angemessenen naturwissen-schaftlichen Schlussfolgerungen.

(OECD, 2019, S. 100 f.; Übersetzung: BIFIE).

In dieser Definition von Naturwissenschaftskompetenz wird deutlich, dass es um drei domänenspezifische Fähigkeiten geht, die unterschiedliches „Wissen“ verlangen. Phänomene naturwissenschaftlich erklären erfordert ein Wissen auf inhalt-licher Ebene, das auf grundlegenden naturwissenschaftlichen Ideen basiert und begründete Beschreibungen über natürliche Phänomene, technische Artefakte und Technologien liefert. Die beiden anderen Kompetenzen Naturwissenschaftliche Untersuchungen planen und evaluieren und Daten und Belege naturwissenschaftlich interpretieren erfordern mehr als reines Faktenwissen. Sie basieren auf einem Verständnis grund-legender naturwissenschaftlicher Konzepte und Theorien sowie darauf, diese kritisch betrachten und naturwissenschaft-liche Ergebnisse und Erkenntnisse interpretieren zu können.

Grundlage für die Naturwissenschaftskompetenz bei PISA 2018 ist ein multidimensionales Modell, das in die drei Ko-mponenten Kontexte, Fähigkeiten sowie Wissensarten in Bezug auf Naturwissenschaft gegliedert ist. Abbildung 2.3 zeigt die drei naturwissenschaftlichen Komponenten bei PISA 2018.

2.4.1 Naturwissenschaftliche Kontexte

Bei PISA werden die Naturwissenschaftsaufgaben in Situationen eingebettet, die sich auf persönliche Kontexte (man selbst, die Familie und Peergroups), lokale/nationale Kontexte (Gesellschaft) und globale Kontexte (Leben auf der ganzen Welt) beziehen. Diese drei Kontexte stellen den Bezugs-rahmen dar, in dem die Jugendlichen ihre naturwissenschaft-lichen Fähigkeiten und ihr naturwissenschaftliches Wissen zeigen müssen. Innerhalb der Kontexte gibt es fünf Themen-bereiche, die als Basis für die Naturwissenschaftsaufgaben dienen und in Tabelle 2.2 aufgelistet werden.

2.4.2 Naturwissenschaftliche Fähigkeiten

Phänomene naturwissenschaftlich erklärenDie Fähigkeit, Phänomene naturwissenschaftlich erklären zu können, verlangt von den Schülerinnen und Schülern, dass sie ihr Wissen in einer vorgegebenen Situation anwenden, indem sie Phänomene erklären oder beschreiben und Veränderungen vorhersagen. Dazu müssen die Jugendlichen ihr Faktenwissen abrufen und es mit dem interessierenden Phänomen in Bezug setzen. Dieses Faktenwissen muss genutzt werden, um vorläufige erklärende Hypothesen zu formulieren. Personen müssen in der Lage sein, auf wissenschaftliche Erklärungen zurückzugreifen und diese Erklärungen für Vorhersagen zu nutzen. Dieser Aspekt der Naturwissenschaftskompetenz umfasst:

� naturwissenschaftliche Konzepte abrufen und anwenden.� erklärende Modelle und Darstellungen erkennen, ver-

wenden und bilden.� angemessene Vorhersagen treffen und begründen.� erklärende Hypothesen formulieren.� mögliche Auswirkungen naturwissenschaftlicher Er-

kenntnisse auf die Gesellschaft erklären.

Planen und Evaluieren von naturwissenschaftlichen Unter-suchungenBeim Planen und Evaluieren von naturwissenschaftlichen Untersuchungen sollen Schüler/innen naturwissenschaftliche Fragestellungen formulieren und von anderen Fragestellungen unterscheiden und kritisch betrachten können. Es geht unter

■ Phänomene naturwissenschaftlich erklären

■ Naturwissenschaftliche Untersuchungen planen und

evaluieren

■ Daten und Belege naturwissen-schaftlich interpretieren

Fähigkeiten

Kontexte■ persönlich

■ lokal/national

■ global

erfordern beeinflussen■ Deklaratives Wissen:

physikalische Systeme, lebende (biologische) Systeme sowie Erd- und Weltraumsysteme

■ Prozedurales Wissen

■ Epistemisches Wissen

Wissensarten

Abbildung 2.3: Die drei Komponenten der Naturwissenschaftskompetenz bei PISA 2018


anderem darum, jene Belege zu erkennen oder herauszu-finden, welche für eine naturwissenschaftliche Untersuchung relevant sind. Außerdem ist es für die Auseinandersetzung mit naturwissenschaftlichen Themen wichtig, die Qualität der Daten und Ergebnisse zu hinterfragen und diese auch mit früheren Ergebnissen abzugleichen. Dieser Aspekt der Naturwissenschaftskompetenz umfasst:

� Fragestellungen erkennen, die in einer naturwissenschaft-lichen Untersuchung erforscht werden.� Fragestellungen formulieren, die naturwissenschaftlich

untersucht werden können.� Möglichkeiten vorschlagen und bewerten, wie gegebene

Fragen naturwissenschaftlich erforscht werden können.� Beschreiben und einschätzen, wie Naturwissenschaftler/

innen die Reliabilität von Daten gewährleisten und die Objektivität und Generierbarkeit von Begründungen sicherstellen.

Daten und Belege naturwissenschaftlich interpretieren Beim Daten und Belege naturwissenschaftlich interpretieren sollen Schüler/innen die naturwissenschaftlichen Ergeb-nisse und Erkenntnisse in eigenen Worten formulieren und angemessene Schlussfolgerungen kommunizieren können sowie diese in geeigneten Darstellungsformen darstellen können. Dieser Aspekt der Naturwissenschaftskompetenz umfasst:

� Daten von einer Darstellungsform in eine andere trans-formieren.� Daten analysieren und interpretieren sowie angemessene

Schlussfolgerungen ziehen.� Annahmen, Beweise und Begründungen in naturwissen-

schaftsbezogenen Texten erkennen.� Zwischen Argumenten unterscheiden, die auf natur-

wissenschaftlichen Beweisen und Theorien basieren oder auf anderen Überlegungen beruhen.� Naturwissenschaftliche Argumente und Beweise unter-

schiedlicher Quellen bewerten (z. B. Zeitungen und Fach-zeitschriften, Internet).

2.4.3 Naturwissenschaftliche Wissensarten

Im Framework werden drei Wissensarten unterschieden: dekla ratives, prozedurales und epistemisches Wissen.

Deklaratives WissenDas deklarative Wissen stützt sich bei PISA auf reale Lebens-situationen und umfasst folgende bedeutende naturwissen-schaftliche Konzepte und Theorien.

Physikalische Systeme:� Struktur und Eigenschaft von Materie (z. B. Verbindun-

gen, Aggregatzustände, thermische und elektrische Leit-fähigkeit)

Tabelle 2.2: Die naturwissenschaftlichen Kontexte bei PISA 2018

Kontexte

Themenbereiche Persönlicher Kontext Lokaler/Nationaler Kontext Globaler Kontext

Gesundheit und KrankheitErhaltung der Gesundheit, Unfälle, Ernährung

Kontrolle von Krankheiten, Lebensmittelwahl, Gesundheit der Gesellschaft

Epidemien, Ausbreitung von Infektionskrankheiten

Natürliche RessourcenPersönlicher Material- und Energieverbrauch

Erhaltung der menschlichen Population, Lebensqualität, Sicherheit, Produktion und Verteilung von Nahrung, Energieversorgung

Erneuerbare und nichterneuer-bare Ressourcen, natürliche Systeme, Bevölkerungswachs-tum, Artenschutz

UmweltschutzUmweltfreundliches Handeln, Nutzung und Entsorgung von Materialien und Geräten

Bevölkerungsverteilung, Müllentsorgung, Auswirkungen auf die Umwelt

Biodiversität, ökologische Nachhaltigkeit, Kontrolle der Umweltverschmutzung und des Umweltschutzes

GefahrenRisikoabschätzung der Lebensweise

Schnelle Veränderungen (z. B. Erdbeben, Unwetter), langsame und fortschreitende Veränderungen (z. B. Erosion, Ablagerung), Risikoabschätzung

Klimawandel, Auswirkung der modernen Kommunikation

Grenzen von Naturwissen-schaft und Technologie

Naturwissenschaftsbezogene Hobbies, personenbezogene Technologien, Musik und Freizeitaktivitäten

Neue Materialien, Geräte und Prozesse, genetische Modifika-tion, Gesundheitstechnologien, Transport

Artensterben, Erforschung des Weltraums, Entstehung und Aufbau des Universums


� Chemische Veränderung von Materie (z. B. chemische Reaktionen, Säuren/Basen)� Bewegung und Kraft (z. B. Geschwindigkeit) sowie Fern-

wirkung von Kräften (z. B. Magnetismus) � Energie und ihre Umwandlung (z. B. Erhaltung, Verlust) � Wechselwirkung zwischen Energie und Materie (z. B.

Licht- und Radiowellen, Schall- und seismische Wellen)

Lebende (biologische) Systeme:� Zellen (z. B. Strukturen und Funktionen, DNA, Pflanzen

und Tiere)� Konzept eines Organismus (z. B. Ein- und Mehrzeller)� Humanbiologie (z. B. Gesundheit, Krankheit, Verdauung,

Atmung)� Populationen (z. B. Arten, Evolution, Biodiversität, gene-

tische Variationen) � Ökosysteme (z. B. Nahrungsketten, Material- und

Energiefluss)� Biosphäre (z. B. Ökosysteme, Nachhaltigkeit)

Erd- und Weltraumsysteme:� Struktur der Erdsysteme (z. B. Lithosphäre, Atmosphäre,

Hydrosphäre)� Energie der Erdsysteme (z. B. Herkunft, globales Klima)� Veränderung in den Erdsystemen (z. B. Plattentektonik,

geochemische Zyklen, konstruktive und destruktive Kräfte)� Erdgeschichte (z. B. Fossilien, Ursprung und Evolution)� Erde im Weltraum (z. B. Schwerkraft, Sonnensysteme,

Galaxien)� Geschichte und Umfang des Universums (z. B. Lichtjahr,

Urknalltheorie)

Prozedurales WissenEin Ziel der Naturwissenschaften ist es, Lösungsansätze für die reale Welt zu finden. Diese werden zuerst mithilfe empirischer Forschungsmethoden entwickelt und dann getestet. Die empirische Forschung baut auf bewährten Konzepten, u. a. auf der Verwendung von abhängigen und unabhängigen Variablen, Kontrollvariablen, unterschiedlichen Messarten und -fehlern, und auf Methoden, um Fehler zu minimieren, sowie auf Methoden der Datenpräsentation auf.

Das Wissen über diese Konzepte und Prozeduren ist wesent-lich für naturwissenschaftliche Untersuchungen und wird als Grundbaustein des prozeduralen Wissens gesehen. Das prozedurale Wissen beinhaltet Praktiken und Konzepte, auf denen empirische Untersuchungen basieren, um zuverlässige und gültige Daten zu erheben, die anschließend kritisch reflektiert werden.

� Konzepte von Variablen, einschließlich abhängiger und unabhängiger Variablen sowie Kontrollvariablen.

� Untersuchungsmethoden, z. B. quantitative (Messungen) oder qualitative (Beobachtungen) Methoden, die Ver-wendung von Skalen sowie von kategorialen und konti-nuierlichen Variablen.� Möglichkeiten, um Unsicherheiten zu beurteilen und zu

reduzieren, wie z. B. Messwiederholungen und das Mitteln von Messergebnissen.� Mechanismen, um die Wiederholbarkeit (Grad der

Übereinstimmung zwischen Messwiederholungen mit derselben Quantität) und Genauigkeit der Daten (Grad der Übereinstimmung zwischen gemessener Quantität und dem tatsächlichen Wert der Messung) zu sichern.� Gebräuchliche Verfahren, um Daten mithilfe von

Tabellen, Grafiken sowie Diagrammen zu abstrahieren, zu repräsentieren und deren angemessene Verwendung.� Kontrolle von Variablen und die Wichtigkeit dieser

Kontrolle im experimentellen Design.� Verwendung von randomisierten, kontrollierten Test-

durchgängen, um konfundierte Ergebnisse zu vermeiden und um mögliche Kausalmechanismen zu identifizieren.� Wahl eines angemessenen Designs für eine vorgegebene

naturwissenschaftliche Fragestellung, z. B. experimentales Design, Feldforschung.

Epistemisches WissenEpistemisches Wissen bezeichnet das Wissen über die Strukturen und Grundmerkmale, die für den Prozess der Wissensbildung in Naturwissenschaft notwendig sind. Personen, die über epistemisches Wissen verfügen, können etwa anhand von Beispielen erklären, wie sich naturwissenschaftliche Theorien und Hypothesen oder naturwissenschaftliche Tatsachen und Beobachtungen unterscheiden. Epistemisches Wissen umfasst:

� Verständnis der Grundlagen von naturwissenschaftlichen Beobachtungen, Fakten, Hypothesen, Modellen und Theorien.� Unterscheidung zwischen dem Zweck und Ziel von

Natur wissenschaft und Technologie und Begründung von naturwissenschaftlichen oder technologischen Fragen sowie Daten.� Nutzen von Naturwissenschaft, z. B. Verpflichtung zur

Publikation, Objektivität und Eliminierung von Vor-urteilen.� Unterstützung wissenschaftlicher Behauptungen durch

Daten und Argumentation. � Gewinnung von Kenntnissen, Zielen und Modellen durch

unterschiedliche Formen der empirischen Untersuchung.� Beeinflussung von Messfehlern auf den Grad der Zuver-

lässigkeit.� Verwendung und Rolle von physischen Modellen, System-

modellen und abstrakten Modellen und deren Limits.� Rolle des naturwissenschaftlichen Wissens, gemeinsam

mit anderen Formen des Wissens, um soziale und techno-logische Probleme zu identifizieren und anzusprechen.


Bibliografie

OECD (2019). PISA 2018 Assessment and Analytical Framework. Paris: OECD Publishing. https://doi.org/10.1787/ b25efab8-en

Toferer, B. & Höller, I. (2016). Die getesteten Kompetenzbereiche. In B. Suchan & S. Breit (Hrsg.). PISA 2015. Grund-kompetenzen am Ende der Pflichtschulzeit im internationalen Vergleich. Verfügbar unter https://www.bifie.at/wp-content/ uploads/2017/09/02_TB_Kapitel2_PISA15_final.pdf

https://doi.org/10.1787/b25efab8-en





3 Die Testinstrumente Birgit Suchań

Die Testinstrumente von PISA 2018 bestehen einerseits aus den kognitiven Testitems, um die Kompetenzen der Jugendlichen in Lesen, Mathematik und Naturwissenschaft zu erfassen. Andererseits werden leistungsrelevante Hintergrundinformatio-nen mithilfe von Fragebögen auf Schüler- und Schulleiterebene erhoben. Im Folgenden werden die Abläufe rund um die Entwicklung sowie der Aufbau der Testinstrumente (Test- und Fragebogenitems) beschrieben.1

1 Dieser Text ist eine Aktualisierung des Kapitels 3 (Die Testinstrumente; Suchań & Toferer, 2016) im nationalen technischen Bericht zu PISA 2015.

3.1 Die kognitiven Testitems und ihre Entwicklung

Bei PISA 2018 wurde die Lesekompetenz nach den Erhebun-gen im Jahr 2000 und 2009 zum dritten Mal schwerpunkt-mäßig erfasst. Der Großteil der Testaufgaben fokussiert somit auf die Lesekompetenz und ein vergleichsweise geringerer An-teil umfasst die Bereiche Mathematik und Naturwissenschaft. Sämtliche Aufgaben sind in Form von Units organisiert, die jeweils einen thematischen Rahmen bilden. Jede Unit be-inhaltet einen oder mehrere Stimuli (Texte, Bilder, Dia-gramme oder bei Naturwissenschaftsaufgaben auch experi-mentelle Simulationen), gefolgt von mehreren inhaltlichen Fragen (Items).

Die Frameworks (Rahmenkonzeption, in der die Testinhalte festgelegt werden; vgl. Kapitel 2) der einzelnen Kompetenz-bereiche dienen als Basis für die Testentwicklung und -zu-sammenstellung. Zu Beginn jedes Erhebungsdurch gangs von PISA wird das Framework des jeweiligen Schwerpunktbereichs (bei PISA 2018 Lesen) überarbeitet und weiter entwickelt, um die Kompetenzen der Schüler/innen so differenziert und zeitgemäß wie möglich erfassen zu können. Im Fokus steht dabei die Anpassung an die neuesten wissenschaftlichen Er-kenntnisse. Auf Basis des überarbeiteten Frameworks werden in weiterer Folge ausschließlich für den Schwerpunktbereich neue Aufgaben entwickelt. Darüber hinaus werden für die Hauptdomäne aber auch stets Aufgaben aus früheren PISA-Tests eingesetzt. Diese Trend- bzw. Linkaufgaben ermöglichen einen Vergleich der Schülerleis tungen über die Erhebungs-zeitpunkte hinweg.

Für die Nebendomänen (Mathematik und Naturwissenschaft bei PISA 2018) werden die Frameworks in Vorbereitung auf einen neuen Erhebungsdurchgang bestenfalls geringfügig angepasst. Zur Erhebung der Schülerkompetenzen werden für diese beiden Domänen ausschließlich Trendaufgaben aus vorangegangenen PISA-Studien eingesetzt.

Die innovative – und damit vierte – Domäne bei PISA 2018 ist „Global Competence“. Dafür wurden ein gänzlich neues Framework entwickelt und neue Aufgaben kreiert. Da sich

Österreich an der Testung dieses Kompetenzbereichs nicht beteiligt hat, wird in weiterer Folge nicht mehr darauf ein-gegangen. Das Framework und die Ergebnisse zu Global Competence werden von der OECD im Laufe des Jahres 2020 publiziert.

Die Vorlaufzeit von der Überarbeitung der Frameworks bis hin zur Auswahl jener Items, die im Haupttest eingesetzt werden, beträgt etwa zwei Jahre und umfasst neben der Generierung neuer Items auch deren Erprobung im Feld-test sowie die endgültige Auswahl der Aufgaben für den Haupttest anhand von Itemstatistiken. Diese Vorgehensweise impliziert, dass bei der Itementwicklung zunächst wesentlich mehr Aufgaben erstellt werden müssen, als für den Haupttest tatsächlich notwendig sind. Dadurch können letztlich jene Aufgaben ausgewählt werden, die in allen Teilnehmerländern entsprechend gute Testgütekriterien aufweisen.

Eine Sammlung freigegebener Aufgaben (im Papierformat) aus den Erhebungen von PISA 2000 bis 2012 ist auf der Homepage des BIFIE unter https://www.bifie.at/material/internationale-studien/pisa/freigegebene-aufgaben-aus-den-pisa-tests/ verfügbar. Freigegebene computerbasierte Test-aufgaben des Bereichs Naturwissenschaft aus PISA 2015 sowie des Bereichs Lesen aus PISA 2018 finden sich auf der Homepage der OECD https://www.oecd.org/pisa/test/other-languages/.

3.1.1 Die Entwicklung neuer Testitems

Für PISA 2018 wurden ausschließlich für den Kompetenz-bereich Lesen neue Aufgaben entwickelt. Dafür waren einer-seits internationale Expertengruppen verantwortlich und andererseits wurden die Teilnehmerländer eingeladen, Items zur Begutachtung einzureichen.

Die auf beiden Ebenen (international und national) neu konzipierten Items durchliefen ein mehrstufiges Begut-achtungsverfahren. Zunächst wurden sie einem „Cognitive Laboratory“ unterzogen. Es handelt sich dabei um eine Methode zur Untersuchung der Gedankengänge von Personen, die eine Aufgabe lösen. Die neuen Aufgaben

https://www.bifie.at/material/internationale-studien/pisa/freigegebene-aufgaben-aus-den-pisa-tests/



https://www.oecd.org/pisa/test/other-languages/

https://www.oecd.org/pisa/test/other-languages/

26 3 – Die Testinstrumente

wurden Schülerinnen und Schülern in einigen englisch-sprachigen PISA-Teilnehmerländern vorgelegt, mit der Aufforderung, die Aufgaben zu lösen und dabei „laut zu denken“. Die so überprüften Items wurden je nach Bedarf überarbeitet oder aus dem Item-Pool ausgeschieden. Die für geeignet befundenen Items wurden im nächsten Schritt zur Begutachtung an die nationalen Zentren geschickt.

Für den anschließenden Item-Review durch die nationalen Zentren gab es ein standardisiertes Formular. Jedes Item muss dabei auf einer Skala von 1 (niedrigste Zustimmung) bis 5 (höchste Zustimmung) anhand der folgenden Kriterien be-wertet werden:

� Relevanz in Bezug auf lebenslanges Lernen: Wie relevant ist das Item für die Schüler/innen im Hinblick auf die Vorbereitung für das lebenslange Lernen? Passt der Inhalt des Items zu dem, was im Framework definiert und fest-gelegt wurde? � Lehrplan: Wie gut stimmt das Item mit dem Lehrplan

der 15-/16-jährigen Schüler/innen in dem betreffenden Land überein? Kann erwartet werden, dass die Schüler/innen das erforderliche Vorwissen aufweisen?� Interesse: Wie interessant ist die Aufgabe bzw. der Kontext

für 15-/16-jährige Schüler/innen? � Authentizität: Wie authentisch ist der Kontext der Aufgabe

für die Lebenswelt der 15-/16-jährigen Schüler/innen?� Bedenken hinsichtlich Vergleichbarkeit: Enthält das Item

kulturelle, geschlechtsbezogene oder andere Aspekte, durch die eine Benachteiligung beim Lösen der Aufgabe entstehen kann?� Übersetzungsprobleme: Könnte es durch die Übersetzung

zu einer Veränderung der Aufgabenschwierigkeit kommen? Können bestimmte Wörter passend übersetzt werden?� Probleme mit der Absicht der Aufgabenstellung: Deckt sich

die Aufgabenstellung mit einem im Framework definierten Bestandteil des Kompetenzbereichs? Beispiels-weise wird bei einer bestimmten Aufgabenstellung fest-gelegt und davon ausgegangen, dass die Schüler/innen ein bereits vorhandenes Wissen anwenden müssen. Die Teilnehmerländer haben die Möglichkeit zu beurteilen, ob sich – wie in diesem Beispiel – die Absicht der Frage tatsächlich auf das Anwenden eines bereits vorhandenen Wissens bezieht. � Probleme mit dem Coding Guide: Könnte es bei der Be-

wertung der offenen Schülerantworten Probleme hin-sichtlich der Anwendung der Bewertungsrichtlinien geben? Werden alle Antwortmöglichkeiten der Schüler/innen im Coding Guide erfasst?

Am Ende des Formulars können die Teilnehmerländer ihre Präferenz für die Aufnahme der Items in den Feldtest-Pool in der Gesamtbewertung deklarieren. Außerdem können noch Anmerkungen zum jeweiligen Item gemacht werden, die nicht von den anderen Kategorien abgedeckt werden, aber dennoch wichtig erscheinen.

Für den Feldtest zu PISA 2018 wurden 34 Units (mit jeweils zwischen sieben und 15 daran anschließenden Items) für Lesen entwickelt und zum Review an die nationalen Zentren geschickt. Bei dieser Begutachtung arbeitete das BIFIE eng mit einer Expertin und einem Experten auf dem Gebiet der Lesedidaktik und Leseforschung zusammen.

Auf der Basis des Feedbacks der Teilnehmerländer wurden die Units und Items ggf. international nochmals überarbeitet und verbessert. Die endgültige Auswahl der Aufgaben für den Feldtest wird von internationalen Expertinnen und Experten auf Basis folgender Kriterien getroffen:

� Übereinstimmung mit dem Framework;� höchstmögliche Qualität des Items;� Items unterschiedlicher Arten, um verschiedene mögliche

Formen von Verzerrungen (kulturelle, nationale, ge-schlechts spezifische etc.) zu minimieren;� die Items sollten bezüglich der Schwierigkeit so breit wie

möglich variieren.

3.1.2 Die Erprobung der Testitems im Feldtest und die Auswahl der Aufgaben für den Haupttest

Tabelle 3.1 gibt einen Überblick über die Anzahl der Items und Units, die im Haupttest von PISA 2018 eingesetzt wurden. Insgesamt gab es 443 Testitems, die in 129 Units gruppiert waren. Diese wurden für den Test zu Aufgaben-blöcken (Clustern) zusammengefasst, wobei die Bearbeitungs-zeit für jeden Cluster 30 Minuten beträgt.

Testaufgaben PISA 2018 (exlusive Global Competence)

Neu Trend Gesamt Units Cluster

Lesen 173 72 245 50 15*

Mathematik 0 83 83 45 6

Naturwissenschaft 0 115 115 34 6

Gesamt 175 270 443 129

* Die Leseaufgaben entsprechen etwa 15 Clustern. Aufgrund des adaptiven Testdesigns (siehe Abschnitt 3.2) sind diese allerdings nicht in Clustern gruppiert, sondern werden variabel zu Testlets zusammengefasst.

Tabelle 3.1: Testaufgaben nach Items, Units und Clustern (PISA 2018)

Im Hinblick auf die Testitems hat der Feldtest das Ziel, die neu entwickelten Aufgaben zu erproben und anhand von Itemstatistiken eine Auswahl für den Haupttest zu treffen. Darüber hinaus wurde im Rahmen des Feldtests als Vor-bereitung für das adaptive Testen in der Hauptdomäne Lesen (variable Zusammensetzung der Units auf Basis der erbrachten Leistung bei den zuvor bearbeiteten Aufgaben;


weitere Informationen siehe Abschnitt 3.2 in diesem Kapitel) im Haupttest untersucht, welche Auswirkungen die Ver-schiebung der Position von Units innerhalb eines Clusters auf die Itemstatistiken hat.

Die nach dem Feldtest durchgeführten Analysen der Item-statistiken von Units, deren Position innerhalb eines Clusters wechselte vs. Units, deren Position innerhalb eines Clusters fix blieb, ergab über alle Teilnehmerländer hinweg, dass die Reihenfolge, in der die Units den Schülerinnen und Schülern zur Bearbeitung gegeben wurden, keinen Einfluss auf die Schätzung der Item- und Personenparameter haben (OECD, in preparation). Somit wurde für den Haupttest 2018 ein adaptives Testdesign für die Hauptdomäne Lesen eingeführt.

3.1.3 Die Aufgabenformate

Bei der Erhebung der Schülerleistungen kommen verschie-dene Aufgabenformate, die im Framework definiert sind, zum Einsatz. Bei PISA 2018 wurde zwischen den folgenden Formaten unterschieden: einfache Multiple-Choice-Auf-gaben, komplexe Multiple-Choice-Aufgaben sowie offene Aufgaben mit Kurzantworten und offene Aufgaben mit er-weiterten Antworten.

Bei einfachen Multiple-Choice-Aufgaben müssen die Schüler/innen aus mehreren vorgegebenen Antwortalternativen eine richtige auswählen. Komplexe Multiple-Choice-Aufgaben ver-langen von den Schülerinnen und Schülern beispielsweise die Auswahl von mehreren richtigen Antworten aus einer Liste, die Bewertung von mehreren aneinandergereihten Aussagen als richtig oder falsch oder die richtige Reihung von Aussagen oder Textteilen mit Drag-and-Drop.

Im Gegensatz dazu müssen die Schüler/innen bei offenen Auf-gabenformaten die Antwort selbst formulieren und diese in ein vorgesehenes Textfeld schreiben. Bei diesem Aufgabenformat ist das Ausmaß der geforderten schriftlichen Antwort unter-schiedlich: manche Fragen verlangen lediglich eine Kurz-antwort wie beispielsweise ein einzelnes Wort oder eine Zahl. Bei anderen Fragen ist es hingegen notwendig, in mehreren Sätzen Begründungen oder Argumentationen zu notieren oder ein Untersuchungsergebnis zu beschreiben.

Aufgrund der computerbasierten Testung ist es möglich, dass die Antworten bei gewissen Aufgabenformaten automatisch bewertet werden und somit der Aufwand bei der Bewertung der Schülerantworten durch geschulte Coder/innen (siehe Kapitel 7) reduziert werden kann. Bei PISA 2018 erfolgte die Bewertung der Schülerantworten auf Multiple-Choice-Fragen sowie auf einige offene Aufgaben automatisiert. Auf-gaben, die umfassendere Antworten (mehrere Sätze) ver-langten, wurden weiterhin durch geschulte Coder/innen bewertet (siehe Kapitel 7).

3.2 Das Testdesign von PISA 2018

3.2.1 Testformen

Im Haupttest von PISA 2018 wurden die in Tabelle 3.1 ge-listeten Units bzw. Cluster zu 36 verschiedenen Testformen kombiniert. Eine Testform besteht jeweils aus vier Clustern, wobei in jeder Testform zwei Lese-Cluster vorkommen. Die restlichen beiden Cluster beinhalten Aufgaben aus entweder nur einem oder aus beiden weiteren Testbereichen. Tabelle 3.2 gibt einen Überblick über dieses Design. Die Lese-Cluster sind in dieser Abbildung nicht durchnummeriert, da auf-grund des adaptiven Testdesigns in der Hauptdomäne Lesen die Units variabel (je nach zuvor erbrachter Leistung) zu-sammengestellt und eingesetzt wurden. Die Bearbeitungszeit pro Cluster beträgt 30 Minuten.

Welche Schülerin/welcher Schüler welche Testform bekam, wurde zufällig zugeteilt. Die Anteile der Schüler/innen pro Testform wurden vorab allerdings festgelegt:

� 46 % der Schüler/innen erhielten eine Testform mit Auf-gaben aus den Bereichen Lesen und Mathematik (siehe Testformen 1–12 in Tabelle 3.2); � weitere 46 % der Schüler/innen bekamen eine Form mit

Aufgaben aus den Bereichen Lesen und Naturwissen-schaft (siehe Testformen 13–24 in Tabelle 3.2); � 8 % der Schüler/innen wurde eine Testform mit Aufgaben

aus allen drei Bereichen zugewiesen (siehe Testformen 25–36 in Tabelle 3.2).

Insgesamt 92 % aller Schüler/innen erhielten somit eine Testform mit Leseaufgaben und einem weiteren Kompetenz-bereich. Die Bearbeitungszeit pro Testbereich betrug bei diesen Formen je eine Stunde (z. B. Testform 1: eine Stunde Bearbeitungszeit für die Leseaufgaben und eine Stunde Be-arbeitungszeit für die beiden Mathematik-Cluster M1 und M2). In den restlichen 12 Testformen, die von insgesamt 8 % der Schüler/innen bearbeitet wurden, war ein einstündiger Leseblock jeweils mit 30 Minuten Mathematik und 30 Minuten Naturwissenschaft kombiniert.

Dieses Testdesign hat den Vorteil, dass in jedem Kompetenz-bereich wesentlich mehr Aufgaben eingesetzt und mehr Informationen gewonnen werden können, als wenn nur eine einheitliche Testform für alle Schüler/innen verwendet werden würde. Die Leistungen der Schüler/innen können dadurch wesentlich breiter erhoben werden, obwohl jede Schülerin/jeder Schüler nur eine verhältnismäßig geringe Anzahl an Aufgaben bearbeitet. Im Zuge der Ziehung der Schülerstichprobe mit dem international zur Verfügung ge-stelltem Programm KeyQuest© wird für jede Schülerin/jeden Schüler die zu bearbeitende Testform vorab festgelegt.


Im Zuge der Messung der Lesekompetenz wurde bei PISA

2018 wurde erstmals die Leseflüssigkeit (Reading Fluency) erfasst. Damit war es möglich, zusätzliche Informationen über die Lesefertigkeiten von Schülerinnen und Schülern am unteren Ende der Leistungsskala zu gewinnen. Dazu musste jede Schülerin/jeder Schüler zu Beginn der Leseaufgaben

kurze Sätze lesen und jeweils beurteilen, ob der Inhalt richtig ist (z. B. Der Garten fliegt.). Insgesamt gab es 65 Sätze, die in fünf Clustern zu je elf Sätzen und einem Cluster mit zehn Sätzen organisiert waren. Jede Schülerin/jeder Schüler musste innerhalb von drei Minuten zwei Cluster bearbeiten.

Zusätzlich zu den 36 regulären Testformen wurde in Öster-reich auch die UH-Testform eingesetzt. Die Bezeichnung UH steht für „une heure“ („eine Stunde“). Es handelt sich dabei um eine Testversion mit einer verkürzten Bearbeitungszeit von 60 Minuten für Schüler/innen mit sonderpädagogischem Förderbedarf, die an Sonderschulen bzw. an Hauptschulen und Neuen Mittelschulen unterrichtet werden.

3.2.2 Multistage Adaptive Testing

Wie in Kapitel 1 (Abschnitt 1.3) beschrieben, kam bei der Hauptdomäne Lesen im Jahr 2018 erstmals ein adaptives Testverfahren zum Einsatz. Bei der hier vorliegenden Be-schreibung handelt es sich um eine Zusammenfassung der wesentlichsten Aspekte des adaptiven Testens im Rahmen von PISA. Detailliertere Informationen finden sich im inter-nationalen Technischen Bericht (OECD, 2019).

Beim „Multistage Adaptive Testing“ werden die Schüler/innen im Testverlauf mithilfe von vordefinierten „Pfaden“, zu zwei Zeitpunkten in Abhängigkeit von ihrer bis dahin erbrachten Leistung zu den nächsten Testaufgaben weitergeleitet. Das bedeutet, dass für die Entscheidung, welche Aufgaben in weiterer Folge zu lösen sind, die Antworten der Schüler/innen bereits während der Bearbeitung der Aufgaben bewertet werden. In diese „Zwischenbewertung“ fließt allerdings nur ein Teil aller Items einer Unit mit ein – jene Items, die auto-matisch bewertet werden können (siehe Abschnitt 3.1.3). Aufgrund der adaptiven Zuordnung der Lese-Testaufgaben während des Tests wurden die Units zu Testlets mit unter-schiedlichen Schwierigkeitsgraden zusammengefasst.

Während der einstündigen Testzeit für Lesen (siehe Tabelle 3.2) wurde zu zwei Zeitpunkten anhand bis der dahin er-brachten Leistung der Schüler/innen entschieden, mit welchen Testaufgaben diese fortfahren sollen: Zunächst müssen alle Schüler/innen Core-Aufgaben lösen. Je nachdem, wie sie dabei abschneiden, werden sie bei Stage 1 zu einem leichteren oder schwierigeren Aufgabenset weitergeleitet. Auch in dieser Bearbeitungsphase werden die Antworten der Schüler/innen zeitgleich bewertet, um sie dann ent-sprechend ihrer erbrachten Leistung zu den Aufgaben von Stage 2 weiterzuleiten. Zu den Core-Aufgaben zählen ins-gesamt fünf Leseunits (mit je 3–5 Items), die in verschiedenen Kombinationen von je zwei Units zu insgesamt acht Testlets (Testformen) zusammengeführt wurden. Für Stage 1 wurden 24 Leseunits (mit 3–6 Items) jeweils in Dreiergruppen kombiniert; so entstanden acht Testlets mit niedrigerem Schwierigkeitsgrad und acht weitere mit einem höheren Schwierigkeitsgrad. Für Stage 2 ergab die Kombination von

Tabelle 3.2: Design der Testformen (PISA 2018)

Testform Cluster 1 Cluster 2 Cluster 3 Cluster 4

1 R M1 M2

2 R M2 M3

3 R M3 M4

4 R M4 M5

5 R M5 M6a/b

6 R M6a/b M1

7 M1 M3 R

8 M2 M4 R

9 M3 M5 R

10 M4 M6a/b R

11 M5 M1 R

12 M6a/b M2 R

13 R S1 S2

14 R S2 S3

15 R S3 S4

16 R S4 S5

17 R S5 S6

18 R S6 S1

19 S1 S3 R

20 S2 S4 R

21 S3 S5 R

22 S4 S6 R

23 S5 S1 R

24 S6 S2 R

25 R S1 M1

26 R M2 S2

27 R S3 M3

28 R M4 S4

29 R S5 M5

30 R M6a/b S6

31 M1 S2 R

32 S2 M2 R

33 M3 S3 R

34 S4 M4 R

35 M5 S5 R

36 S6 M6a/b R

R = Testdomäne Lesen (Reading)M = Testdomäne Mathematik

S = Testdomäne Naturwissenschaft (Science)


je zwei Leseunits aus insgesamt 18 ebenfalls acht Testlets mit niedrigerem und acht Testlets mit höherem Schwierigkeits-grad. Tabelle 3.3 gibt einen Überblick über die Zusammen-stellung der Units für den Kompetenzbereich Lesen.

Testphase

Core Stage 1 Stage 2

Anzahl Units gesamt pro Test-phase

5 24 16

Anzahl Testlets (durch unter-schiedliche Unit-Kombinationen)

88 low 8 low

8 high 8 high

Anzahl Units pro Testlet 2 3 2

Anzahl Items pro Unit (Anzahl automatisch bewerteter Items)

22(20)

116(74)

107(69)

Anmerkung: „Low“ = Testlets mit niedrigerem Schwierigkeitsgrad„High“ = Testlets mit höherem Schwierigkeitsgrad

Tabelle 3.3: Zusammenstellung der Testlets für den Kompetenzbereich Lesen (PISA 2018)

Um Positionseffekte bei den Units bei dem beschriebenen Design (Core → Stage 1 → Stage 2) zu vermeiden, wird die Reihenfolge der Testlets für 25 % der Schüler/innen dahin-gehend verändert, dass diese nach den Core-Testlets mit den Testlets von Stage 2 fortfahren und dann anhand der Leistung den Testlets von Stage 1 zugeteilt werden (Core → Stage 2 → Stage 1).

Die Regeln zur Weiterleitung der Schüler/innen von einer Phase zur nächsten wurden so definiert, dass ein geringer Prozentsatz an Schülerinnen und Schülern mit geringeren Leistungen in weiterer Folge auch zu einem Testlet mit einem höheren Schwierigkeitsgrad weitergeleitet werden kann. Die Schüler/innen werden dazu in jeder Phase anhand ihrer Leistung (bei den automatisch bewerteten Items) in drei Gruppen eingeteilt. In der Phase Core zählen sie zur ...

� unteren Leistungsgruppe, wenn sie weniger als 4 Ant-worten richtig haben. � mittleren Leistungsgruppe, wenn sie zwischen 4 und

6 Antworten richtig haben.� oberen Leistungsgruppe, wenn sie mehr als 6 Antworten

richtig haben.

Welches Testlet die Schüler/innen in Stage 1 erhalten, hängt von folgenden Faktoren ab:

� Testlet-Nummer in der Core-Phase� Anzahl der richtigen Antworten in der Core-Phase� Wahrscheinlichkeitsmatrix für die Zuteilung zu einem

Testlet mit hohem oder niedrigem Schwierigkeitsgrad:

Schüler/innen in der unteren Leistungsgruppe erhalten zu 90 % Wahrscheinlichkeit ein Testlet mit einem geringeren Schwierigkeitsgrad und zu 10 % ein Testlet mit einem hohen Schwierigkeitsgrad. Genau umgekehrt sind die Zu-ordnungswahrscheinlichkeiten für Schüler/innen der oberen Leistungsgruppe. Schüler/innen der mittleren Leistungsgruppe haben eine Wahrscheinlichkeit von 50:50.

Der Übergang von Stage 1 zu Stage 2 erfolgt anhand der gleichen Regeln wie jener von der Core-Phase auf Stage 1. Zur unteren Leistungsgruppe zählen in diesem Fall Schüler/innen mit weniger als acht richtigen Antworten; zur mittleren Leistungsgruppe mit acht bis 13 richtigen Antworten und zur hohen Leistungsgruppe mit mehr als 13 richtigen Antworten.

3.3 Die Fragebögen

Kompetenzen und Fertigkeiten sind zu einem großen Teil von verschiedenen familiären und schulischen Rahmen-bedingungen abhängig. Um die unterschiedlichen Lern-umgebungen zu beschreiben und um die Zusammenhänge mit den Schülerleistungen zu verstehen, werden bei PISA sowohl Schüler/innen als auch Schulleiter/innen zu verschiedenen Themen im Zusammenhang mit dem Kompetenzerwerb be-fragt. Der Einsatz dieses Schulleiter- und Schülerfragebogens ist für alle Teilnehmerländer verpflichtend.

Darüber hinaus gibt es bei jeder Erhebung optionale inter-national entwickelte Fragbögen, an denen sich die Länder beteiligen können, aber nicht müssen. Bei PISA 2018 standen folgende weitere Befragungsinstrumente zur Verfügung.

� Informations- und Kommunikationstechnologien (Infor-mation and Communication Technology; ICT): Dieser Fragebogen für Schüler/innen kommt seit PISA 2003 zum Einsatz. Österreich beteiligt sich seit diesem Zeit-punkt an dieser internationalen Option.� Schullaufbahn (Educational Career; EC): Dieser Frage-

bogen für Schüler/innen stand den Ländern 2003 und dann ab 2009 bei jedem PISA-Durchgang zur Verfügung. In Österreich wurde dieser Fragebogen 2003, 2009, 2012 und 2018 eingesetzt. � Wohlbefinden (Well-Being): für PISA 2018 entwickelte

die OECD erstmals einen Fragebogen zum Wohlbefinden der Schüler/innen. Österreich beteiligte sich nicht an dieser Option.� Elternfragebogen: Dieser Fragebogen, der an die Eltern

der teilnehmenden Schüler/innen verteilt wird, wurde erstmals für PISA 2006 entwickelt. Österreich beteiligte sich bis jetzt nicht an dieser internationalen Option.� Lehrerfragebogen: Der Lehrerfragebogen steht den Teil-

nehmerländern seit PISA 2015 zur Verfügung. Österreich beteiligte sich nicht an dieser Option.

Die Kontextfragebögen werden wie die Testitems auf Basis eines Frameworks konzipiert (OECD, 2019, S. 217 ff.).


Seit PISA 2000 haben die Kontextfragebögen immer mehr an Bedeutung gewonnen. Während sie in den Anfängen in erster Linie dazu gedient haben, Hintergründe zur Inter-pretation der Leistungsdaten zu gewinnen, so liefern sie mittlerweile für sich allein genommen unverzichtbare Daten für die Bildungspolitik. Die Bereiche, die in den Fragebögen abgedeckt werden, wurden laufend erweitert. Neben dem persönlichen Hintergrund der Schüler/innen und ihren Lernumwelten werden zunehmend auch pädagogische und bildungspolitische Bereiche berücksichtigt.

Einige Inhalte sind in allen PISA-Erhebungsdurchgängen Bestandteil des Schulleiter- und/oder Schülerfragebogens (core contents), während domänenspezifische Themen, je nachdem, welcher Kompetenzbereich schwerpunktmäßig erfasst wird, wechseln (domain specific contents). Zudem werden jeweils auch neue Themen und Fragestellungen auf-genommen. Jene core contents, die bereits seit Beginn der Studie im Jahr 2000 erhoben werden, liefern für die Länder nach mittlerweile 18 Jahren wertvolle Trenddaten, um inner-halb des eigenen Landes die Entwicklungen (z. B. hinsicht-lich des disziplinären Klimas in der Klasse oder der an der Schule zur Verfügung stehenden Ressourcen) beobachten zu können.

Für die Fragebögen von PISA 2018 wurden im Framework in Abstimmung mit dem PGB (PISA Governing Board) 16 Themenblöcke (Module) festgelegt. Mit diesem modularen Ansatz kann eine große Bandbreite politisch relevanter Themen abgedeckt werden. Die Module gliedern sich einerseits in die Bereiche (1) Hintergrundinformationen auf Schülerebene, (2) Hintergrundinformation auf Schul-ebene (Lehren und Lernen, Schulleitlinien und Steuerung) und (3) nichtkognitive und metakognitive Hintergrund-

informationen. Andererseits werden die Module nach lese-bezogenen und generellen Modulen differenziert. Daraus ergibt sich folgende Matrix, die in Tabelle 3.4 dargestellt ist.

Auf der BIFIE-Homepage stehen die in Österreich ein-gesetzten Fragebögen (Schulleiter, Schüler/innen Wohlbefin-den und Informations- und Kommunikationstechnologie) unter https://www.bifie.at/material/internationale-studien/pisa/pisa-2018/ zur Einsicht bzw. zum Download zur Ver-fügung.

3.4 Übersetzung und Verifikation der Test- und Fragebogenitems

Bei PISA werden die Schüler/innen in den Teilnehmerländern in ihrer jeweiligen Unterrichtssprache getestet. Die daher not-wendige Übersetzung der Testinstrumente verlangt hinsicht-lich der Vergleichbarkeit über die Länder hinweg umfassende Qualitätskontrollen und gestaltet sich sehr aufwändig. Die Übersetzungs- und Verifikationsprozeduren sind für die Teil-nehmerländer von internationaler Seite vorgegeben und deren Einhaltung ist verpflichtend und wird international mehrfach kontrolliert. Diese umfassenden Prozeduren finden sowohl vor dem Feld- als auch vor dem Haupttest statt, wobei der Aufwand vor dem Feldtest umfassender ist, da zu diesem Zeitpunkt die hauptsächliche Übersetzungsarbeit geleistet wird. Da beim Haupttest nur Aufgaben und Fragen ein-gesetzt werden, die bereits im Feldtest erprobt wurden, be-zieht sich die Verifikation im Haupttest überwiegend auf die Verbesserungen und Adaptionen einzelner Aufgaben sowie auf die genaue Überprüfung jener Items, die bei den Feld-testanalysen auffällige statistische Muster zeigten.

Tabelle 3.4: Fragebogen-Module (PISA 2018)

Gruppierung der Module …

Hintergrund der Schüler/innen

SchulbildungNichtkognitive/

metakognitive Ebene

Lesekompetenz

(5) Leseerfahrungen außerhalb der Schule

Lehren und Lernen

(1) Qualifikationen der Lehrkräfte und Fortbildung

(2) Unterrichtsmethoden im Bereich Lesen

(3) Unterrichtszeit und Lehrplan

Schulleitlinien

(3) Lernumgebung im Bereich Lesen

(4) Einstellungen, Motivation und Strategien

generelle Hintergrund-informationen

(6) sozioökonomischer Status und familiärer Hintergrund

(7) Migration und Kultur

(8) Bildungswege in der frühen Kindheit

(12) Schulklima: interpersonelle Beziehungen, Ver-trauen und Erwartungen

(13) Einbeziehung und Beteiligung der Eltern

(14) schulischer Kontext und Ressourcen

Steuerung

(15) Zuordnungen, Auswahl und Entscheidungen

(16) Tests, Evaluationen und Rechenschaftspflicht

(9) dispositionelle und schulfokussierte Variablen

(10) Dispositionen für Global Competence




3.4.1 Internationale Richtlinien zur Übersetzung, nationalen Anpassung und Verifikation der Testinstrumente

Für sämtliche Testmaterialien (Testitems und Fragebögen) gibt es zwei Quellversionen, die zur Übersetzung herangezogen werden müssen: eine englische und eine französische Basis-version. Die Anforderungen an die nationalen Übersetzer/innen sind international festgelegt und beziehen sich bei-spielsweise auf die perfekte Beherrschung einer der Sprachen der Quellversionen sowie der jeweiligen Testsprache.

Double Translation und nationale Adaptionen

Bei den Testitems muss jedes Land zunächst von jeder Unit (Stimulus und Testitems) zwei unabhängige Übersetzungen er-stellen („double translation“). Dabei wird vom internationalen Zentrum empfohlen, für eine Version das englische Original und für die andere das französische Original als Ausgangs-basis zu verwenden. Anschließend werden diese beiden un-abhängigen Versionen von einer weiteren (dritten) Über-setzerin/einem weiteren Übersetzer zu einer Version zu-sammengeführt. Damit die Schüler/innen die Stimuli und Testitems einwandfrei verstehen, ist es erforderlich, dass im Rahmen des Übersetzungsprozesses manche Phrasen, Wörter oder Namen nicht wortwörtlich übersetzt bzw. übernommen, sondern national angepasst werden. Was adaptiert werden darf und was nicht, ist in den internationalen Übersetzungsricht-linien genau festgehalten. Bei den Testaufgaben dürfen z. B. Eigennamen von Personen und Straßen, Symbole und Ab-kürzungen sowie geografische Namen geändert werden. Nicht verändert werden dürfen allerdings das Itemformat, Antwort-kategorien und der Name der fiktiven Währung, die bei einigen Aufgaben verwendet wird. Um diesen Prozess für alle Länder zu vereinheitlichen und zu erleichtern, sind jene Begriffe und Ausdrücke in den Quellversionen gekennzeichnet, die un-bedingt angepasst werden müssen. Darüber hinaus werden von internationaler Seite entsprechende Hinweise und Er-klärungen eingefügt, wie bestimmte Begriffe übersetzt werden sollen. Sämtliche nationalen Anpassungen müssen während der Übersetzung in einem Formular dokumentiert werden. Ob diese Adaptierungen zulässig sind und für die Endversion beibehalten werden dürfen, wird bei der sprachlichen Veri-fikation der Testaufgaben durch den dafür zuständigen inter-nationalen Vertragspartner entschieden.

Bei den Fragebogenitems geht es in erster Linie um die Ver-ständlichkeit für Schüler/innen und Schulleiter/innen. Darüber hinaus sind die Bildungssysteme der Teilnehmer-länder sehr unterschiedlich und die Fragebogenitems somit nicht von vornherein für alle Länder ohne Überarbeitung angemessen/übertragbar. Bei der Übersetzung der Fragebögen sind daher wesentlich mehr nationale Anpassungen nötig und international erlaubt als bei den Testaufgaben. Dies ist auch der Grund dafür, warum bei den Fragebögen (im Gegen-satz zu den Testitems) zunächst sämtliche Adaptierungen in

einem Formular dokumentiert und international in einem Verifikationsprozess genehmigt werden müssen, bevor mit der Übersetzung begonnen werden darf. Für die An-passungen gibt es genauso wie bei den Testitems in den Quell-versionen entsprechende Hervorhebungen jener Phrasen oder Wörter, die unbedingt angepasst werden müssen. Und auch hier ist in den internationalen Richtlinien genau fest-gelegt, was adaptiert werden darf. Für die Übersetzung der Fragebogenitems gibt es wie bei den Testitems eine englisch- und eine französischsprachige Quellversion. Aus beiden soll jeweils eine Übersetzung erstellt und im Anschluss zu einer Endversion zusammengeführt werden.

Internationale Verifikation

Bevor die Testinstrumente im Feld- bzw. Haupttest ein-gesetzt werden dürfen, müssen diese vom dafür zuständigen internationalen Vertragspartner (cApStAn) sprachlich veri-fiziert werden. Das wichtigste Ziel der internationalen Veri-fikation ist die Sicherung der Qualität und Vergleichbarkeit aller nationalen Erhebungsinstrumente. Die Verifikatorinnen und Verifikatoren (professionelle Übersetzerinnen und Über-setzer, die die jeweilige Sprache der zu begutachtenden Test-instrumente als Muttersprache haben) werden von cApStAn geschult und erhalten eine Checkliste, anhand derer sie jede Übersetzung und Anpassung verifizieren müssen. Die aus der Verifikation resultierenden Änderungsvorschläge werden an das jeweilige nationale Zentrum rückgemeldet. Dabei wird zwischen Änderungen unterschieden, die unbedingt über-nommen werden müssen und solchen, die übernommen werden können.

3.4.2 Übersetzungskooperation deutschsprachiger Länder bei PISA 2018

Wie bereits in früheren PISA-Erhebungen gab es auch bei der Übersetzung der Testinstrumente für PISA 2018 eine Kooperation zwischen den deutschsprachigen Teilnehmer-ländern (DACHL – Deutschland, Österreich, Schweiz und Luxemburg). Ziel dieser Zusammenarbeit ist es, eine ge-meinsame deutsche Basisversion („Common German Version“) aller Units und Fragebögen zu erstellen. Der Vorteil der Übersetzungskooperation der deutschsprachigen Länder ist, dass die Übersetzungsarbeit für jedes Land geringer wird und die deutschsprachigen Versionen der einzelnen Länder besser vergleichbar sind. Österreich war bei PISA 2018 für die Übersetzung der Fragebögen „Informations- und Kommunikationstechnologie“ sowie „Wohlbefinden“ verantwortlich. Deutschland übernahm die Übersetzung der neuen Leseunits und die Schweiz die Übersetzung des Schüler- und Schulleiterfragebogens.

Der Übersetzungs- und Verifikationsprozess der Testitems gestaltete sich im Rahmen der DACHL-Kooperation wie folgt: Nach der Übersetzung der Leseunits (durch Deutsch-land) wurden diese zunächst an die nationalen Zentren der


deutschsprachigen Länder zur Begutachtung gesendet. Die Rückmeldungen wurden an Deutschland zurückgesendet und in die gemeinsame deutsche Version integriert. Dabei wurde genau dokumentiert, welche Änderungsvorschläge auf-genommen und eingearbeitet wurden, welche noch diskutiert werden mussten und welche abgelehnt wurden. Bei einem Treffen der Mitarbeiter/innen aus den DACHL-Ländern wurden letzte Uneinigkeiten hinsichtlich der Übersetzung besprochen, bevor die „Common German Versionen“ für die Domäne Lesen zur internationalen Verifikation gesendet wurde. Nach der Verifikation erhielt jedes deutschsprachige Land die Endversion der verifizierten „Common German Version“ zur Einarbeitung der nationalen Adaptionen. Die adaptierten Units und das dazugehörende Formular zur Dokumentation der Abweichungen von der gemeinsamen deutschen Version wurden in einem nächsten Schritt von jedem Land unabhängig erneut zur Verifikation gesendet, wo diese von der zuständigen Verifikatorin/dem zuständigen Verifikator hinsichtlich dieser Adaptierungen geprüft wurden. Nach diesem Schritt konnten die nationalen Items bzw. Units für die Erstellung der PISA-Testsoftware (durch den inter-nationalen Vertragspartner ETS) vom BIFIE freigegeben werden.

Anders als bei den Testitems musste bei den Fragebögen (wie oben erwähnt) jedes Land zunächst die Adaptierungen genehmigen lassen. In Österreich wurden die Fragebögen vor diesem Schritt zunächst mit den Eltern-, Lehrer- und Schülervertretern abgestimmt. Nach der Verifikation der Adaptierungen übernahmen die DACHL-Länder, die von der Schweiz erstellte Übersetzung der Fragebögen (ebenfalls wie bei den Testaufgaben eine zusammengeführte Version der beiden Übersetzungen aus der englischen und französischen Originalversion; double translation) als Basis für die Ent-wicklung der jeweils nationalen Fragebogenversionen. Anders als bei den Testaufgaben wird also bei den Fragebögen keine gemeinsame Version zur Verifikation eingereicht, da der An-passungsaufwand bei den Fragebögen viel umfassender ist. Im Vordergrund beim Übersetzungsprozess der Fragebögen steht die Verständlichkeit der Fragen für die Schüler/innen und die Passung der Fragen im Hinblick auf das jeweilige Schul-system. So erzeugte jedes Land anhand der Basisübersetzung aus der Schweiz jeweils die nationale Version der Fragebögen, die unabhängig von den anderen Kooperationspartnern zur Verifikation eingereicht wurden.

3.5 Qualitätssicherung im Bereich Testinstrumente

Qualitätssichernde Maßnahmen im Bereich der Testinstru-mente erstrecken sich über den gesamten Prozess der Itementwicklung, Adaptierung und Übersetzung der Test-instrumente und sind demnach ein integraler Bestandteil dieses Prozesses.

Einen zentralen Beitrag zur Sicherung der Qualität bei der Itementwicklung leistet das Framework, indem sich die Itementwickler/innen strikt an dessen Vorgaben halten müssen. Darüber hinaus werden die Aufgaben von den nationalen Zentren und nationalen Expertinnen und Experten begutachtet und aufgrund festgelegter Kriterien wie z. B. die Abdeckung durch den Lehrplan, die Eignung für 15-/16-jährige Schüler/innen, zu erwartende Probleme bei der Übersetzung und Bedenken bezüglich der Bewertungs-richtlinien etc. beurteilt.

Auch bei der Übersetzung wird die Qualität durch umfang-reiche Maßnahmen gesichert. Dazu gehört u. a. das Vor-handensein von zwei Quellversionen (eine englische und eine französische) bzw. die Prozedur der doppelten Über-setzung durch zwei unabhängige Übersetzer/innen und die Zusammenführung beider Versionen durch eine dritte unabhängige Übersetzerin/einen dritten unabhängigen Übersetzer. Darüber hinaus werden die Übersetzer/innen bei einem Training mit den spezifischen Vorgaben seitens des internationalen Zentrums (z. B. Wahrung der Validi-tät der Aufgaben) vertraut gemacht. Weitere wichtige Maß-nahmen stellen die vereinheitlichten Übersetzungs- und An-passungsvorschriften für das Testmaterial dar, der Einsatz von standardisierten Formularen zur Dokumentation der Über-setzung und Adaptionen und die internationale Verifikation der Testinstrumente durch speziell geschulte Verifikatorinnen und Verifikatoren.

Zur hohen Qualität der Übersetzung der Testaufgaben in die deutsche Sprache trug bei PISA 2018 zudem die Über-setzungskooperation zwischen den deutschsprachigen Ländern bei. Auch am BIFIE wurden umfassende Kontrollen zur Übereinstimmung zwischen den Quellversionen und den nationalen Testinstrumenten eingezogen.

Ein weiteres Qualitätsmerkmal im Bereich Testinstrumente stellt der Feldtest dar. Dieser dient in erster Linie der Er-probung der Testitems und Fragebogeninhalte sowie aller wichtigen Prozeduren im Bereich Stichprobenziehung, Testdurchführung, Datenverarbeitung und Bewertung der Schülerantworten auf offene Fragen. Anhand der umfang-reichen Datenanalysen werden schließlich jene Aufgaben für den Haupttest ausgewählt, die in allen Ländern gute Itemstatistiken aufweisen. Ebenso werden nach dem Haupt-test umfangreiche Itemanalysen nach denselben Kriterien wie beim Feldtest durchgeführt. Indem die Itemkennwerte der einzelnen Items zwischen den Teilnehmerländern verglichen werden, wird die Qualität der Aufgaben – und somit auch der Daten – ein weiteres Mal überprüft und sichergestellt.


Bibliografie


OECD (2019). PISA 2018. Assessment and Analytical Framework. Paris: OECD Publishing. https://doi.org/10.1787/ b25efab8-en

Suchań, B. & Toferer, B. (2016). Die Testinstrumente. In B. Suchań & S. Breit (Hrsg.) PISA 2015. Technischer Bericht. Verfügbar unter https://www.bifie.at/wp-content/uploads/2017/04/03_TB_Kapitel3_PISA15_final.pdf





4 Sampling-Design und Stichproben Manuela Pareiss

In diesem Kapitel werden grundlegende Definitionen der PISA-Population und Richtlinien der Stichprobenziehung beschrieben sowie die Realisierung der Stichprobe beim Feld- und Haupttest für PISA 2018 in Österreich erläutert.1

1 Dieser Text ist eine Aktualisierung des entsprechenden Kapitels 4 (Sampling-Design und Stichproben) im nationalen technischen Bericht zu PISA 2015 (Pareiss, 2016).

4.1 Die Zielgruppe von PISA

Die Definition der Zielpopulation ist eine der wichtigsten Festlegungen, die bei einer Studie getroffen werden. PISA ist als zyklisches Projekt angelegt und ermöglicht die Ab-bildung von Veränderungen in den Grundkompetenzen. Daher müssen Entscheidungen bezüglich Population, Sampling-Design und Stichproben, die vor der ersten Haupt-erhebung im Jahr 2000 getroffen wurden, weiterhin Gültig-keit behalten. Würde man bei so einem wichtigen Merkmal wie der definierten Zielpopulation Änderungen zwischen den Erhebungszeitpunkten vornehmen, wären Vergleiche zwischen den Ergebnissen der Erhebungszeitpunkte nicht mehr zulässig.

Hauptziel von PISA ist es, Grundkompetenzen von Schüle-rinnen und Schülern am Ende der Pflichtschule zu erheben, zu beschreiben und zwischen verschiedenen Ländern zu vergleichen. Sehr viele OECD-Staaten haben eine neun bis zehn Jahre dauernde Schulpflicht. Da sich in der neunten bzw. zehnten Schulstufe großteils Schüler/innen im Alter von 15/16 Jahren befinden, wurde entschieden, bei PISA Jugendliche dieser Altersgruppe zu testen.

Die Population, über die PISA Aussagen treffen möchte, ist folgendermaßen definiert: Die Zielpopulation von PISA 2018 sind Schülerinnen und Schüler ab der 7. Schulstufe, die zu Beginn des Testfensters zwischen 15 Jahre und 3 Monate und 16 Jahre und 2 Monate (plus/minus einen Monat) alt sind.

Nach der ersten PISA-Erhebung im Jahr 2000 wurde eine kleine Änderung in der Definition der Population vor-genommen: Schüler/innen des Zielalters, die eine der Schul-stufen 1 bis 6 besuchen, sind seit PISA 2003 nicht mehr in der Zielpopulation enthalten. Für Österreich ergeben sich dadurch praktisch keine Änderungen, da sich nur eine sehr kleine Gruppe von Schülerinnen und Schülern des Zielalters in den Schulstufen 1−6 befindet (0,09 %; siehe dazu auch Abschnitt 4.6.1).

Im Folgenden wird die Populationsdefinition von PISA näher erläutert:

4.1.1 Beschulte Population

Die OECD entschied, dass bei PISA reine Schülerkohorten getestet werden – anstelle einer vollständigen Alterskohorte. Personen des Zielalters, die nicht mehr zur Schule gehen (Out-of-School-Population), werden daher nicht erfasst. Das führt dazu, dass der durch PISA abgedeckte Anteil des gesamten Zielalters zwischen den Ländern variiert. Alle Inter-pretationen der PISA-Ergebnisse beziehen sich ausschließlich auf die beschulte Population des Zielalters (die sich zum Test-zeitpunkt mindestens in der 7. Schulstufe befindet). Das sind beispielsweise in Kolumbien und Mexiko nur etwa 76 % der Alterskohorte, in der Türkei rund 85 % und in Deutschland, Korea und Norwegen jeweils 100 %. In Österreich beträgt der Schüleranteil an der Alterskohorte 95 %.

Die Erhebung von Grundkompetenzen jener 15-/16-Jährigen, die keine Schule mehr besuchen, wäre zwar wissenschaftlich sehr interessant, ist aber – vor allem wegen der schweren Erreichbarkeit dieser Personen und der damit verbundenen Kosten – nicht oder nur unter sehr großem Aufwand um-setzbar. Der Anteil der 15-/16-Jährigen in Österreich, der keine Schule mehr besucht (bzw. sich noch nicht in der 7. Schulstufe befindet) ist mit 5 % im OECD-Vergleich (ab-gesehen von Kolumbien, Mexiko, Türkei, Italien und Chile) vergleichsweise hoch. Da die nicht erfasste Out-of-School-Population leistungsmäßig sehr wahrscheinlich keine zufällige Gruppe ist, sondern überwiegend aus dem unteren Bereich der Leistungsverteilung stammt, bedeutet dies für Vergleiche von Staaten mit einer hohen Out-of-School-Population mit Staaten mit einer kleineren oder gar keiner Out-of-School-Population eine deutliche Überschätzung des PISA-Mittel-werts in Staaten mit hohen Anteilen.

4.1.2 Altersbasierte Population

Da es das Ziel von PISA ist, den kumulierten Bildungsertrag am Ende der Schulpflicht zu erfassen, entschied man sich bei PISA für eine Definition der Polpulation über das Alter – über jenes Alter, in dem im Großteil der OECD-Länder die Schulpflicht endet. Der erhöhte administrative Aufwand (die Zielschüler/innen können über mehrere Schulstufen ver-

36 4 – Sampling-Design und Stichproben

teilt in verschiedenen Klassen vorkommen) wird dabei in Kauf genommen. Eine gebräuchliche Alternative dazu wäre die Definition der Zielpopulation über Schulstufen. Schul-stufenbezogenes Testen hat den Vorteil einer einfacheren Testadministration. An den ausgewählten Schulen können für die Testung ganze Klassen herangezogen werden, da jede Klasse eindeutig einer Schulstufe zuordenbar ist. Nachteil dieser Variante ist jedoch das uneinheitliche Alter der Schüler/innen. So kann z. B. die 9. Schulstufe je nach Land 14-, 15- oder 16-Jährige umfassen, abhängig vom Einschulungsalter, das in den Teilnehmerländern variiert. Auch das Vorkommen von mehr oder weniger Repetentinnen und Repetenten bzw. von frühzeitig Eingeschulten beeinflusst die altersmäßige Zu-sammensetzung einer Schulstufe in den Teilnehmerländern unterschiedlich.

Nach den internationalen Vorgaben muss das Alter der zu testenden Schüler/innen bei PISA so festgelegt werden, dass diese zu Beginn des sechswöchigen Testfensters zwischen 15 Jahre und 3 Monate und 16 Jahre und 2 Monate plus/minus einen Monat alt sind. Für Testfenster im empfohlenen Zeit-raum zwischen März und Mai konnte das Alter bei PISA 2018 durch einen vollen Jahrgang, den Altersjahrgang 2002, definiert werden. Da das Testfenster in Österreich von An-fang April bis Mitte Mai festgesetzt wurde, umfasst die Ziel-population Schüler/innen, die zwischen 1. Jänner 2002 und 31. Dezember 2002 geboren sind.

4.2 Von der allgemeinen Definition zum konkreten Stichprobenplan

4.2.1 International Desired Target Population

Die „International Desired Target Population“, die inter-national gewünschte Zielpopulation, ist im Prinzip jene Population, die durch die zuvor angeführte und erläuterte Populationsdefinition beschrieben ist. Getestet werden müssen laut Vorgabe der OECD alle Personen des Zielalters, die im Schuljahr der Erhebung an einer Schule („educational institution“) angemeldet sind. Das schließt auch Personen ein, die diese Schule nur auf Teilzeitbasis besuchen (wie zum Beispiel Berufsschüler/innen in Österreich). Nicht Teil der Population sind Schüler/innen, die sich unter Schulstufe 7 befinden oder die eine Schule im Ausland besuchen. Es ist wichtig, die Population so weit wie möglich durch die Stich-probe abzudecken.

4.2.2 National Desired Target Population

Die Festlegung der „National Desired Target Population“, der national gewünschten Zielpopulation, ist die „Über-setzung“ der internationalen Vorgaben in die Begriffe und Strukturen eines Landes. Das internationale Konsortium und die OECD empfehlen allen Teilnehmerländern eine

möglichst vollständige Abdeckung der international ge-wünschten Zielpopulation. Alle Abweichungen zwischen der international und der national gewünschten Zielpopulation müssen genau dokumentiert und von internationaler Seite genehmigt werden. Wenn größere Teile der international ge-wünschten Zielpopulation durch die national gewünschte Zielpopulation nicht abgedeckt sind, führt das dazu, dass die Ergebnisse aus PISA nicht für das gesamte nationale Schulsystem repräsentativ sind. Abweichungen zwischen international und national gewünschter Zielpopulation können durch die Notwendigkeit entstehen, aufgrund von politischen, organisatorischen oder operationalen Be-dingungen zum Beispiel eine kleinere geografisch abgelegene Region oder eine Sprachgruppe auszuschließen.

4.2.3 National Defined Target Population

Verschiedene Gründe können dazu führen, dass nicht die gesamte national gewünschte Population („National Desired Target Population“) in der Stichprobe vertreten ist. Mögliche Gründe sind erhöhte Erhebungskosten, hohe Komplexität des Sampling-Designs und/oder schwierige Testbedingungen. Gruppen von Schulen oder Schülerinnen und Schülern, die Teil der national gewünschten, aber nicht Teil der national definierten Zielpopulation sind, werden als ausgeschlossene Population bezeichnet. Ausschlüsse können in Form von ganzen Schulen oder von einzelnen Schülerinnen und Schülern innerhalb nicht ausgeschlossener Schulen erfolgen. Die von einem Land definierte Zielpopulation, die „National Defined Target Population“, ergibt sich aus der „National Desired Target Population“ minus den ausgeschlossenen Schulen, Schülerinnen und Schülern.

Das Maximum an zulässigen Ausschlüssen beträgt laut den Vorgaben der OECD auf Schul- und Schülerebene insgesamt 5 %, d. h., dass die „National Defined Target Population“ mindestens 95 % der „National Desired Target Population“ abdecken muss.

Die Teilnehmerländer dürfen auf Schulebene einzelne Aus-schlüsse vornehmen, wenn Schulen aufgrund ihrer geo-grafischen Lage nur sehr schwer erreichbar sind, wenn Schulen extrem klein sind (unter bestimmten Bedingungen kann die Testung in Schulen mit maximal zwei Schülerinnen und Schülern des Zielalters unterlassen werden) oder wenn die PISA-Testung an Schulen aus anderen Gründen nicht möglich ist.

Die Ausschlüsse, die bei PISA im Sampling-Design eines Landes auf Schulebene geplant werden, müssen so klein ge-halten werden, dass die ausgeschlossenen Schulen insgesamt maximal 0,5 % aller Schüler/innen des Zielalters enthalten. Umfang, Art und Begründung von Ausschlüssen auf Schul-ebene müssen dem internationalen Zentrum vorgelegt und von diesem bewilligt werden.


Außerdem besteht die Möglichkeit, Schulen auszuschließen, die ausschließlich Schüler/innen enthalten, die auf Schüler-ebene ausgeschlossen werden müssen. Dies darf Schulen mit insgesamt maximal 2 % aller Schüler/innen des Zielalters betreffen.

Von internationaler Seite erlaubte Ausschlüsse einzelner Schüler/innen – sogenannte Ausschlüsse auf Schülerebene – be-treffen Schüler/innen, denen die Teilnahme am Test aufgrund einer schweren dauerhaften körperlichen oder kognitiven Beeinträchtigung nicht zumutbar ist, sowie Schüler/innen nichtdeutscher Muttersprache mit eingeschränkten Deutsch-kenntnissen, wenn sie bis zum Testzeitpunkt weniger als ein Jahr lang in deutscher Sprache unterrichtet wurden. Die genauen Definitionen dieser Ausschlusskriterien finden sich in Tabelle 5.3 in Kapitel 5. Ausschlüsse auf Schülerebene müssen so gering wie möglich gehalten werden und dürfen maximal 2,5 % aller Schüler/innen des Zielalters betreffen. Für Schüler/innen, die nach einem Sonderschullehrplan unterrichtet werden, existiert eine eigene Testform mit einer kürzeren Bearbeitungszeit (siehe Kapitel 3 bzw. 5).

Schüler/innen, die aus einem der oben genannten Gründe ausgeschlossen werden, dürfen nicht von der Schülerliste ent-fernt werden, die der Stichprobenziehung auf Schülerebene zugrunde liegt. Diese Schüler/innen erhalten entsprechende Codes, um die vollständige Dokumentation der Ausschlüsse sicherzustellen (siehe Abschnitt 5.5.4 sowie Abbildung 5.3 in Kapitel 5).

4.3 Das allgemeine internationale Sampling-Design

4.3.1 Stichprobenziehung in zwei Schritten

Mit der PISA-Studie werden Aussagen über die Population der 15- bis 16-Jährigen gemacht, indem eine repräsentative Stichprobe gezogen wird. Die Stichprobenziehung bei PISA erfolgt nach einem zweistufigen Sampling-Design. Der erste Schritt betrifft eine Auswahl aus allen Schulen, die zum Zeit-punkt der PISA-Erhebung von Schülerinnen und Schülern des Zielalters (bei PISA 2018 in Österreich: geboren zwischen 1. Jänner 2002 und 31. Dezember 2002) ab der 7. Schulstufe besucht werden können. Laut Vorgaben der OECD muss die Stichprobe mindestens 150 Schulen umfassen bzw. alle Schulen mit PISA-relevanten Schülerinnen und Schülern,

2 Nach Rücksprache mit den internationalen Vertragspartnern sowie unter der Voraussetzung der Erhöhung der Anzahl der Schulen konnten die Länder auch eine geringere Schüleranzahl pro Schule für die Teilnahme an PISA auswählen. In Österreich wurden wie bei allen anderen PISA-Durchgängen pro Schule 36 Schüler/innen ausgewählt.

3 Das gilt für Länder, die computerbasiert testen und sich an der vierten (innovativen) Domäne von PISA 2018 – Global Competence – beteiligen (siehe Kapitel 1). Für Länder wie Österreich, die sich gegen eine Teilnahme an der vierten Domäne entschieden haben, musste eine realisierte Stichprobe von mindestens 5.250 Schülerinnen und Schülern erreicht werden.

wenn es davon weniger als 150 gibt. Die Schulen werden systematisch mit Wahrscheinlichkeiten, die proportional zu ihrer Größe sind, ausgewählt (Probabilities Proportional to Size – PPS). Die Größe einer Schule ist dabei durch die An-zahl an Schülerinnen und Schülern, die der Altersdefinition entsprechen, definiert. Das bedeutet, dass Schulen mit einer höheren Anzahl an Schülerinnen und Schülern des ent-sprechenden Alters eine höhere Wahrscheinlichkeit haben, für PISA ausgewält zu werden als Schulen mit einer geringeren Anzahl an potenziellen PISA-Schülerinnen und -Schülern.

Für den zweiten Schritt muss von jeder teilnehmenden Schule eine Liste aller Schüler/innen des Zielalters vorliegen. Bei PISA 2018 wurden aus diesen Listen je 42 Schüler/innen2 nach dem Zufallsprinzip für die Teilnahme an der Erhebung aus-gewählt. Gab es an einer Schule weniger als 42 in Frage kommende Schüler/innen, nahmen alle diese Schüler/innen am Test teil.

Mit diesen Vorgaben soll eine realisierte Stichprobe von mindestens 6.300 Schülerinnen und Schülern erreicht werden3, wobei ein gewisser Ausfall von Schülerinnen und Schülern berücksichtigt werden muss. Dieser Ausfall resultiert zum einen aus dem Vorkommen von kleinen Schulen in der Stichprobe (d. h. Schulen mit weniger als 42 Schülerinnen und Schülern des Zielalters unabhängig von der Gesamtgröße dieser Schulen), zum anderen aus notwendigen Ausschlüssen einzelner Schulen bzw. Schüler/innen innerhalb von Schulen. Wenn es in einem Land viele kleine Schulen gibt, müssen entsprechend mehr Schulen in die Stichprobe aufgenommen werden, damit die Mindestvorgabe von 6.300 auswertbaren Datensätzen erreicht werden kann. Eine Erhöhung der Stich-probengröße kann auch erforderlich sein, wenn ein Land weitergehende Datenvergleiche z. B. auf regionaler Ebene anstellen möchte.

4.3.2 Stratifizierung

Um die Präzision der Ergebnisse und die Effizienz der Stich-probe zu steigern, findet beim ersten Samplingschritt von PISA – der Auswahl der Schulen – die Methode der Strati-fizierung Anwendung. In jedem Land werden für die Strati-fizierung Variablen verwendet, die es ermöglichen, Leistungs-differenzen zwischen den Schulen zu erklären (somit unter-scheiden sich diese Stratifizierungsvariablen zwischen den Teilnehmerländern). Dabei wird zwischen expliziter und impliziter Stratifizierung („Strata“) unterschieden. Als ex-plizite Strata werden jene Variablen eingesetzt, die bei der


Erklärung der Leistung am relevantesten sind. Anhand der expliziten Strata werden alle potenziellen PISA-Schulen (Schulen, die von 15-/16-Jährigen besucht werden können) in Gruppen eingeteilt. Die Stichprobenziehung auf Schul-ebene findet für jede dieser (expliziten) Gruppen getrennt statt. Die impliziten Strata werden genutzt, um die Schulen in jeder einzelnen Gruppe zu sortieren. Die Sortierung dient dazu, eine gute Verteilung der Stichprobe über die Gruppen der impliziten Stratifizierungsvariablen zu erreichen.

Für eine erfolgreiche Verwendung von expliziten Strata muss die Gruppeneinteilung so gewählt werden, dass jede Gruppe (= Sampling-Einheit) bezüglich der zu messenden Variablen möglichst homogen ist. Dadurch kann diese Methode die Effizienz des Samples deutlich steigern. Das bedeutet, dass bei gleicher Stichprobengröße präzisere Ergebnisse erzielt werden können (Verminderung der Sampling-Varianz) bzw. ein bestimmter Präzisionsgrad schon mit einer kleineren Stichprobengröße erreicht werden kann. Zusätzlich stellt die explizite Stratifizierung sicher, dass alle als relevant er-achteten Teile der Population in der Stichprobe enthalten sind. Wird die Schulenanzahl je Stratum durch den Anteil des Stratums an der Gesamtpopulation bestimmt, ist auch gewährleistet, dass die Stichprobe im Hinblick auf die ge-wählten Strata repräsentativ für die Population ist. Wenn dies in allen Strata eingehalten wird, erhält man (sofern der Stichprobenausfall sehr gering ist) eine annähernd selbst-gewichtende Stichprobe.

Die Populationsdefinition bedeutet für Österreich (mit einem gegliederten Schulsystem), dass für den PISA-Test Schüler/innen aus fast allen Schulformen der Sekundarstufe I und II in Frage kommen. Da ein relativ hoher Zusammenhang zwischen den Schulformen – vor allem im Altersbereich der PISA-Schüler/innen – und den zu erhebenden Merkmalen zu erwarten ist, ist es notwendig, diese Struktureigenschaft bei der Stichprobenziehung zu berücksichtigen. In Österreich wurde daher bei PISA 2018 (wie schon bei allen vorhergehenden PISA-Erhebungen) eine explizite Stratifizierung nach Schul-formen (z. B. Pflichtschulen, berufsbildende mittlere Schulen, allgemeinbildende höhere Schulen) gewählt.

Darüber hinaus kamen bei PISA 2018 (im Haupttest) in Österreich drei Variablen zur impliziten Stratifizierung zur Anwendung: Schultyp (im Stratum der Pflichtschulen wurde unterschieden zwischen Neue Mittelschulen/Hauptschulen mit Integrationsschülerinnen und -schülern, Neue Mittel-schulen/Hauptschulen ohne Integrationsschüler/innen und allgemeinen Sonderschulen), Bundesland und Mädchenanteil an der Schule. Details dazu finden sich in den Abschnitten 4.5.2 (Feldtest) und 4.6.2 (Haupttest).

4.3.3 Kleine und sehr kleine Schulen

Bei der Auswahl von Schülerinnen und Schülern in zwei Schritten sollte die Auswahlwahrscheinlichkeit für jede

Schülerin/jeden Schüler gleich groß sein. Das wird erreicht, indem die Schulen systematisch mit Wahrscheinlichkeiten, die proportional zu ihrer Größe (= Anzahl der Schüler/innen der Zielpopulation an der Schule) sind, ausgewählt werden (Probabilities Proportional to Size – PPS). Dazu wird jeder Schule eine „Measure Of Size“ (MOS) zugeordnet, die sich von der Anzahl der potenziellen PISA-Schüler/innen (Schüler/innen des entsprechenden Altersjahrgangs) ableitet. Da die zum Zeitpunkt der Festlegung der MOS aktuellsten verfüg-baren Daten in vielen Teilnehmerländern (darunter auch Österreich) jene des vorhergehenden Schuljahrs sind, ist die MOS immer nur eine geschätzte Anzahl jener Schüler/innen, die im Schuljahr der Erhebung erwartetet werden können. Eine Schule mit großer MOS hat eine größere Wahrschein-lichkeit, im ersten Schritt ausgewählt zu werden, während die einzelnen Schüler/innen dieser Schule in Relation zu Schülerinnen und Schülern einer Schule mit einer geringeren MOS eine kleinere Auswahlwahrscheinlichkeit innerhalb der Schule haben. Dieses Sampling-Design stellt sicher, dass die Schüleranteile in der Stichprobe hinsichtlich der definierten Stratifizierungsmerkmale der Verteilung in der Gesamt-population entsprechen.

Bei PPS-Samplingprozessen kommt es jedoch bei Schulen mit weniger als 42 (bzw. in Österreich 36) Schülerinnen und Schülern der Zielpopulation zu Schwierigkeiten bezüglich der Auswahlwahrscheinlichkeit. Diese Schulen werden bei PISA als „kleine Schulen“ definiert, wobei sich der Begriff „klein“ auf die geringe Anzahl der potenziellen PISA-Schüler/innen bezieht. Während die Auswahlwahrscheinlichkeit innerhalb kleiner Schulen für alle Schüler/innen 100 % beträgt, variiert sie auf Schulebene in Abhängigkeit von der genauen An-zahl an Schülerinnen und Schülern. Wird an einer Schule nur eine Schülerin/ein Schüler erwartet, hat diese Schule im ersten Ziehungsschritt auf Schulebene eine sehr geringe Auswahlwahrscheinlichkeit und die Schülerin/der Schüler damit ein großes Gewicht, wenn die Schule ausgewählt wird. Würde sich jedoch herausstellen, dass es an der Schule im aktuellen Schuljahr mehr als eine Schülerin/einen Schüler gibt, so käme jeder dieser Schülerinnen/jedem dieser Schüler jenes große Gewicht zu, das eigentlich nur für eine Schülerin/einen Schüler erwartet wurde.

Dem Problem der geschätzten Anzahl erwarteter Schüler/innen wird durch eine „gesteuerte“ Vergabe der MOS be-gegnet. Bei einer erwarteten Schüleranzahl von (im Falle von Österreich) 36 oder mehr entspricht die MOS der jeweiligen Schüleranzahl aus der Datenbasis für die Stichprobenziehung (in Österreich stammen diese Zahlen wie bereits erwähnt aus der Datenbasis des Vorjahrs). Bei einer erwarteten Schüler-anzahl von weniger als 36 wird die MOS hingegen zunächst auf 36 gesetzt. Dies ist gleichbedeutend mit dem Ziehen einer einfachen Zufallsstichprobe unter den kleinen Schulen mit weniger als 36 Schülerinnen und Schülern des Zielalters. Diese (kleinen) Schulen haben dadurch alle dieselbe Auswahl-wahrscheinlichkeit. Wird eine kleine Schule zur Teilnahme an


PISA bestimmt, kommt somit jeder Schülerin/jedem Schüler der Schule ein begrenztes Gewicht zu.

Von internationaler Seite wird für jedes Teilnehmerland eine sogenannte „Small School Analysis“ durchgeführt. Diese Ana-lyse zeigt erstens, ob aufgrund der Anzahl kleiner Schulen mit weniger als 36 Schülerinnen und Schülern Gefahr besteht, dass die erforderliche Anzahl an getesteten Schülerinnen und Schülern nicht erreicht wird und ob es daher erforderlich ist, die Stichprobengröße auf Schulebene zu erhöhen. Zweitens wird geprüft, ob sehr kleine Schulen (mit einer erwarteten Schülerzahl unter 18) untersampelt werden dürfen (d. h., ob die Anzahl sehr kleiner Schulen in der Stichprobe verringert werden darf ), um den administrativen und finanziellen Auf-wand der Erhebung zu reduzieren. Ausschlaggebend sind dabei der Anteil an Schülerinnen und Schülern in sehr kleinen Schulen (< 18 Schüler/innen), der Anteil an Kleinstschulen mit höchstens 2 Schülerinnen und Schülern sowie der Anteil an Schülerinnen und Schülern in „moderat“ kleinen Schulen mit 19 bis 35 Schülerinnen und Schülern. Die „Small School Analysis“ wird zunächst für die Gesamtheit der potenziellen PISA-Schulen, dann zusätzlich für jedes explizite Stratum separat durchgeführt. Die folgende Tabelle gibt einen Über-blick über die Kriterien, die bei der „Small School Analysis“ zur Anwendung kommen.

Anteil an Schülerinnen/Schülern in sehr kleinen Schulen

(< 18 Schüler/innen)

< 1 % ≥ 1 %

Anteil an Kleinstschulen(max. 2 Schüler/innen)

< 20 % ≥ 20 %

Anteil an Schülerinnen/Schülern in moderat kleinen Schulen

(19–35 Schüler/innen)< 4 % ≥ 4 %

Sehr kleine Schulen untersampeln

nein nein ja ja

Schulenanzahl erhöhen nein ja ja ja

Tabelle 4.1: „Small School Analysis“ für Österreich auf Basis von 36 Schülerinnen und Schülern pro Schule

Ist bei PISA 2018 in einem Stratum bzw. in mehreren Strata ein Untersampeln sehr kleiner Schulen zulässig, wird wie folgt vorgegangen: Für Schulen mit 3 bis 17 Schülerinnen und Schülern wird die MOS auf 18, für Schulen mit bis zu 2 Schülerinnen und Schülern wird die MOS auf 9 gesetzt. Das führt zu einer um den Faktor 2 bzw. 4 verringerten Auswahlwahrscheinlichkeit für diese Schulen. Im Zuge der Gewichtung wird dies wieder ausgeglichen.

Am Ende der „Small School Analysis“ steht fest, wie viele Schulen je Stratum auszuwählen sind.

4.3.4 Die Auswahl der Schulen

Die Ausgangsbasis für die Auswahl der Schulen besteht aus zwei Teilen:

1. Informationen über die Anteile der Schüler/innen der Population an den expliziten Strata.

2. Eine Liste aller Schulen inklusive Daten zur Schulgröße (= Anzahl der Schüler/innen des Zieljahrgangs).

Entsprechend der Verteilung der Schülerpopulation auf die expliziten Strata (1.) werden aus den Listen aller Schulen (2.) jeweils so viele Schulen gezogen, dass mit der erwarteten Schüleranzahl der Anteil jedes Stratums an der Population so gut wie möglich in der Stichprobe abgebildet wird. Eine Ausnahme bilden die sehr kleinen Schulen, die wie zuvor be-schrieben unter bestimmten Voraussetzungen untersampelt werden können.

Innerhalb jedes expliziten Stratums werden die Schulen zuerst nach den festgelegten impliziten Stratifizierungs-variablen sortiert und anschließend innerhalb der einzel-nen Stratifizierungseinheiten entsprechend ihrer Größe abwechselnd auf- und absteigend gereiht: Wenn beispiels-weise der Mädchenanteil pro Schule als implizite Variable verwendet wird, so werden die Schulen im ersten expliziten Stratum nach diesem Mädchenanteil aufsteigend sortiert und im zweiten expliziten Stratum werden die Schulen absteigend nach diesem Anteil sortiert. Im dritten expliziten Stratum wird wieder wie im ersten aufsteigend nach dem Mädchen-anteil sortiert usw.

Die Wahrscheinlichkeit einer Schule, ausgewählt zu werden, soll proportional zur Anzahl der 15-/16-Jährigen sein. Dies erfolgt durch die Einbeziehung der kumulierten Häufig-keiten der Schüler/innen in die Stichprobenziehung. Muss man in einem Stratum laut Stichprobenplan beispielsweise aus 10 Schulen mit insgesamt 1.000 Schülerinnen und Schülern 5 Schulen auswählen, zieht man nicht einfach jede zweite Schule, sondern markiert jede 200. Schülerin/jeden 200. Schüler und wählt jene Schulen aus, denen die markierten Schüler/innen angehören. Dadurch erhöht sich die Auswahlwahrscheinlichkeit für Schulen mit vielen Schülerinnen und Schülern des Zielalters.

Die Ziehung erfolgt durch die Berechnung eines Sampling- Intervalls (Anzahl der Schüler/innen/erforderliche Schul-anzahl) und die Bestimmung einer Zufallszahl zur Festlegung der ersten auszuwählenden Schule (durch Computersoft-ware), also in Form eines systematischen PPS-Samplings (für detaillierte Informationen siehe OECD, 2017, S. 75).


Für den Fall, dass einzelne Schulen nicht an PISA teil-nehmen4, werden im Zuge der Schulauswahl je gesampelte Schule zwei sogenannte Replacement-Schulen (Ersatzschulen) gezogen. Als Replacement-Schulen werden die in der Schul-liste eines Stratums einer gesampelten Schule jeweils direkt vorangehende und folgende Schule gekennzeichnet. Durch die vorherige Sortierung der Schullisten der einzelnen Strata nach den impliziten Stratifizierungsvariablen ist sichergestellt, dass die Replacement-Schulen den ausgewählten Schulen hinsichtlich der impliziten Stratifizierungsmerkmale ähnlich sind. Die Einbeziehung von Replacement-Schulen sollte so gering wie möglich gehalten werden, um ein Bias der Stich-probe zu minimieren. Bei der Vorgabe von Mindestrücklauf-quoten auf Schulebene wird deshalb zwischen der Teilnahme von ursprünglich gesampelten und Replacement-Schulen unterschieden (siehe Abschnitt 4.4.1).

Die Bereitstellung der für den Samplingvorgang notwendigen Populationsdaten liegt in der Verantwortung der nationalen Projektzentren. Für den Haupttest 2018 erfolgte die Ziehung der Schulstichprobe wie schon bei den vorhergehenden Er-hebungen durch WESTAT (als für das Sampling verantwort-licher Partner des internationalen Projektkonsortiums). Den nationalen Zentren kommt dabei eine Kontrollfunktion zu.

4.3.5 Die Auswahl der Schüler/innen

Nach der Ziehung der Schulstichprobe werden die ausgewählten Schulen kontaktiert und gebeten, eine Liste aller Schüler/innen des Zielalters an das nationale Projektzentrum zu übermitteln (siehe Abschnitt 5.3.2 in Kapitel 5). Aus dieser Liste werden in Österreich (maximal) 36 Schüler/innen zur Teilnahme am Test zufällig ausgewählt. Die Schülerauswahl geschieht durch die vom internationalen Zentrum entwickelte Software KeyQuest. Dieses Programm führt eine systematische Stichprobenziehung durch: Nach Sortierung der Liste der Schüler/innen zunächst nach Schulstufe, anschließend nach Geschlecht (innerhalb jeder Schulstufe) und zuletzt nach dem Geburtsdatum der Schüler/innen (innerhalb jeder Geschlechtergruppe in jeder Schul-stufe) werden mithilfe einer Zufallszahl (zur Bestimmung der ersten auszuwählenden Schülerin/des ersten auszuwählenden Schülers) und eines berechneten Samplingintervalls (Anzahl der Schüler/innen auf der Liste/36) 36 Schüler/innen für die Teilnahme an der Erhebung ausgewählt. Durch die Zufalls-zahl wird festgelegt, welche Zeile der Schülerliste als erste aus-gewählt wird, ab dort wird jede x-te Schülerin/jeder x-te Schüler (x steht für das Sampling-Intervall) als ausgewählt markiert. Durch eine systematische Ziehung ist – im Gegensatz zu einer einfachen Zufallsauswahl – sichergestellt, dass die Stichprobe gleichmäßig über die ausgewählten impliziten Stratifizierungs-merkmale streuen.

4 In Österreich besteht für die Schüler/innen nach dem BIFIE-Gesetz (§ 6 Abs. 2 BGBl. I Nr. 25/2008 i. d. g. F.) eine Teilnahmepflicht. Diese impliziert, dass auch alle ausgewählten Schulen an PISA teilnehmen. Eine Teilnahmepflicht besteht jedoch nicht in allen Ländern; so kommt es immer wieder dazu, dass sich Schulen trotz ihrer Auswahl nicht an PISA beteiligen.

4.4 Vorgaben der OECD bezüglich der zu erzielenden Rücklaufquoten

Zur Minimierung möglicher Verzerrungen der Stichprobe ent-halten die PISA-Qualitäts-Standards Vorgaben für Mindest-rücklaufquoten auf Schul- und Schülerebene. Diese existieren unabhängig voneinander, d. h., das Erreichen einer höheren Rücklaufquote auf Schulebene lockert die Vorgaben für die Mindestrücklaufquote auf Schülerebene nicht und umgekehrt.

4.4.1 Mindestrücklaufquoten auf Schulebene

Die internationale Vorgabe bezüglich des Rücklaufs auf Schulebene lautet, dass mindestens 85 % der ausgewählten Schulen teilnehmen müssen. Nicht teilnehmende Schulen können aber durch Replacement-Schulen ersetzt werden, so dass auch mit einer geringeren Rücklaufquote bei den Schulen im ursprünglichen Sample noch eine Chance be-steht, die Anforderungen bezüglich des Rücklaufs auf Schul-ebene zu erfüllen. Allerdings ist bei der Verwendung von Re-placement-Schulen nicht garantiert, dass das durch den Non-Response möglicherweise entstehende Bias reduziert wird.

Von internationaler Seite werden drei Kategorien von Rück-laufquoten auf Schulebene definiert, die in Abbildung 4.1 veranschaulicht werden:

� Acceptable: Rücklaufquoten von über 85 % ohne Re-placements (1.) oder Rücklaufquoten ohne Replacements zwischen 65 % und 85 % mit entsprechender Erhöhung durch die Einbeziehung von Replacement-Schulen (2.); Daten von Ländern mit einem Rücklauf in dieser Kate-gorie werden bei der Berichterstattung der OECD in die internationalen Vergleiche aufgenommen.� Intermediate: Rücklaufquoten ohne Replacement zwischen

65 % und 85 %, die die erforderliche Erhöhung der Rücklaufquote durch Replacement-Schulen nicht er-reichen (3.); die Aufnahme der Daten eines Landes mit einer als „intermediate“ einzustufenden Rücklaufquote in die internationalen Vergleiche ist von Entscheidungen der zuständigen internationalen Gremien abhängig.� Not Acceptable: Rücklaufquoten ohne Replacement unter

65 % (4.); Daten von Teilnahmeländern mit Rücklauf-quoten unter 65 % werden nur in die internationalen Vergleiche aufgenommen, wenn das nationale Projekt-zentrum nachweisen kann, dass das vermutliche Non-Response-Bias unbedeutend ist.

In den internationalen Ergebnisberichten wird für jedes Teil-nahmeland angemerkt, inwieweit die erzielten Rücklauf-quoten den international definierten Standards entsprechen.


Abbildung 4.1: Standards für Rücklaufquoten auf Schulebene

Schulen mit einem Rücklauf auf Schülerebene unter 50 % zählen für die Rücklaufstatistiken als nicht teilgenommen. Ihre Daten werden aber in die internationale Datenbank auf-genommen, sofern der Rücklauf auf Schülerebene zumindest 25 % beträgt. Daten aus Schulen mit einem internen Rück-lauf unter 25 % werden hingegen selbst bei den Analysen nicht berücksichtigt, weil das Risiko einer durch den Non-Response stark verzerrten Stichprobe innerhalb der Schule als zu groß eingestuft wird.

4.4.2 Mindestrücklaufquoten auf Schülerebene

Nicht nur auf Schulebene, sondern auch auf Schülerebene muss eine Rücklaufvorgabe erfüllt werden. Die Mindestrück-laufquote auf Schülerebene beträgt 80 %. Diese Quote muss auf nationaler Ebene erreicht werden, nicht an jeder einzel-nen Schule. Ist an einer Schule am Testtag ein beträchtlicher Teil der ausgewählten Schüler/innen abwesend, ist die Ab-haltung eines Nachtests (siehe Abschnitt 5.5.4 in Kapitel 5) notwendig, um das Erreichen der geforderten Schüler-Rück-laufquote insgesamt sicherzustellen. Wenn in Österreich bei PISA 2018 14 % oder mehr der ausgewählten (und nicht von vornherein von der Testung ausgeschlossenen) Schüler/innen bei der regulären Testung fehlten, fand ein Nachtest statt.

Für Entscheidungen über die Qualität der erzielten Stich-probe eines Landes werden sowohl auf Schul- als auch auf Schülerebene gewichtete Rücklaufquoten herangezogen (OECD, 2017).

5 Die in der Einleitung erwähnten impliziten Strata „Schultyp“ und Mädchenanteil kamen nur im Haupttest zum Einsatz.

4.5 Die österreichische Stichprobe im Feldtest

4.5.1 Vorgaben für die Feldtest-Stichprobe

Die Stichprobe eines Feldtests bestimmt zu großen Teilen, ob der Feldtest seine Funktion erfüllen kann. Der Feldtest zu PISA 2018 diente vor allem dazu, neu entwickelte Test-aufgaben sowie neue Items im Schüler- und Schulfragebogen zu erproben und die Erhebungsprozeduren zu testen (ins-besondere Ziehung der Schülerstichprobe, Durchführung der Testung an den Schulen, Stichprobenausfälle). Der PISA-Feldtest 2018 hatte darüber hinaus einen weiteren wichtigen Zweck: das Sammeln von Informationen zur Vorbereitung der geplanten Einführung von mehrstufigem, adaptivem Testen (siehe Abschnitt 3.2.2) beim Haupttest 2018.

Die Feldteststichprobe wird im Gegensatz zur Haupttest-stichprobe durch die Teilnehmerländer selbst gezogen, wobei die entsprechenden Vorgaben weniger streng als im Haupt-test sind. Um die Testaufgaben erproben zu können, ist es dennoch wichtig, eine Feldteststichprobe zu verwenden, die die wesentlichen Teile der Population (und damit der zu er-wartenden Hauptteststichprobe) abdeckt. So müssen bei der Ziehung der Feldteststichprobe folgende internationale Vor-gaben berücksichtigt werden:

� Die Stichprobe muss Schüler/innen aus verschiedenen Schulformen umfassen, in denen sich signifikante Anteile 15-/16-Jähriger befinden.� Die Stichprobe muss Schulen mit den verschiedenen von

15-/16-Jährigen besuchten Schulstufen enthalten.� Die Stichprobe sollte Schüler/innen verschiedener demo-

grafischer und sozioökonomischer Gruppen umfassen (z. B. verschiedene geografische Regionen, städtische und ländliche Regionen usw.).

4.5.2 Auswahl der Schulen

Um die Vorgabe zu erfüllen, dass die Feldteststichprobe Schü ler/innen aller relevanten Teile der Population der 15-/16-Jährigen umfasst, orientiert sich das österreichische Sampling-Design für den Feldtest zu PISA 2018 an den Merkmalen Schulform (= explizite Stratifizierung) und Bundesland5 (= implizite Stratifizierung). Die österreichischen Schulformen werden beim Feldtest – so wie beim Haupttest – durch 17 Strata repräsentiert (siehe Tabelle 4.2). Die erforderliche Anzahl an Feldtestschulen soll sich so auf die Schulformen verteilen, dass es etwa der Verteilung der gesamten österreichischen Ziel-schülerpopulation auf die Schulformen entspricht.

Rücklauf ohne Replacements

60 %

65 %

70 %

75 %

80 %

85 %

90 %

95 %

100 %

(3.)Intermediate

Rüc

klau

f ink

lusi

ve R

epla

cem

ents

(4.)Not Acceptable

(1.)(2.)

Acceptable

60 % 70 % 80 % 90 % 100 %0


Als Grundlage für die Festlegung der Anzahl auszuwählender Schulen pro Schulform dient die österreichische Schul-statistik. Die zum Zeitpunkt der Ziehung der Feldteststich-probe (im Oktober 2016) aktuellsten verfügbaren Daten sind jene des Schuljahrs 2015/16. Die Anzahl an Schülerinnen und Schülern des Geburtsjahrgangs 2000 im Schuljahr 2015/16 wird als Erwartungswert für die Anzahl der Schüler/innen des Zieljahrgangs 2001, die im Schuljahr 2016/17 für die Teilnahme am Feldtest zu PISA 2018 in Frage kommen, verwendet.

Von vornherein ausgeschlossen werden zum einen Schulen, an denen (ausschließlich) in einer anderen Sprache als Deutsch unterrichtet wird. Voraussetzung für den Ausschluss ist, dass es an der Schule ausschließlich fremdsprachigen Unterricht für alle Schüler/innen gibt und keine Schülerin/kein Schüler an der Schule in der Lage ist, einen deutschsprachigen Test zu bearbeiten. Das betrifft beim Feldtest zu PISA 2018 elf österreichische Schulen (0,42 % der gewünschten Ziel-population).

Außerdem wurde beim PISA-Feldtest 2018 auf eine Ein-bindung von landwirtschaftlichen Fachschulen verzichtet. Landwirtschaftliche Fachschulen sind nicht dem Bund unter-stellt und unterliegen damit nicht dem BIFIE-Gesetz, welches die verpflichtende Teilnahme an PISA für Schülerinnen und Schüler festschreibt (BIFIE-Gesetz § 6 Abs. 2 BGBl. I Nr. 25/2008 i. d. g. F.). Alle österreichischen landwirtschaft-lichen Fachschulen (84 Schulen, 4,6 % der gewünschten Zielpopulation) wurden daher von vornherein vom Feldtest zu PISA 2018 ausgeschlossen, um die bisher stets vorhandene Mitwirkungsbereitschaft dieser Schulen an Haupterhebungen durch eine mögliche zusätzliche Belastung in einem Feldtest nicht zu gefährden (in einem Feldtest ist dies ohne Probleme möglich, bei der Stichprobenziehung für Haupterhebungen wäre das nicht zulässig).

Um verwertbare Informationen zu mehrstufigem, adaptivem Testen zu erhalten (siehe Abschnitt 4.5.1), sieht das Stich-probendesign beim PISA-Feldtest 2018 vor, nur Schulen mit einer bestimmten Mindestanzahl an potenziellen PISA-

Bur

gen

land

Kär

nten

Nie

der

öst

er-

reic

h

Ob

erö

ster

-re

ich

Sal

zbu

rg

Ste

ierm

ark

Tir

ol

Vora

rlb

erg

Wie

n

2 2 10 7 3 5 4 3 7

Pflichtschulen 3 X X X

Polytechnische Schulen 2 X X

AHS-Langform 11 XXXXX X X X X XX

AHS-Kurzform 4 XX X X

Schulen mit Statut – Waldorfschulen 0

Schulen mit Statut – Sonstige 0

Berufsschulen kaufm. & gewerblich 7 X XX XX XX

Berufsschulen landwirtschaftlich 0

BMS gewerblich 0

BMS kaufmännisch 1 X

BMS wirtschaftlich 2 XX

BMS landwirtschaftlich 0

BHS gewerblich 3 X X X

BHS kaufmännisch 4 X X XX

BHS wirtschaftlich 3 X X X

BHS landwirtschaftlich 1 X

BAfEP/BASOP 2 X X

Tabelle 4.2: Struktur der Stichprobe für den PISA-Feldtest 2018


Schülerinnen und -Schülern auszuwählen. An jeder Schule sollten zumindest 45 Schüler/innen an der Testung teil-nehmen6. In Österreich wurden daher nur Schulen mit mindestens 53 erwarteten PISA-Zielschülerinnen und -Schülern in die Stichprobe aufgenommen, um nach Stich-probenausfällen auswertbare Datensätze von wenigstens 45 Schülerinnen und Schülern zu haben (auch dieses Vorgehen ist ausschließlich in einem Feldtest erlaubt). Dadurch bleiben die Strata für Pflichtschulen, Schulen mit eigenem Statut (z. B. Waldorf7-, Montessorischulen), landwirtschaftliche Berufs-schulen sowie gewerbliche und landwirtschaftliche BMS leer.

Um die speziellen Prozeduren im Pflichtschul-Stratum testen zu können, wurden hier gezielt drei (kleine) Schulen zur Teil-nahme an PISA ausgewählt. In zwei dieser Schulen gab es sowohl Schüler/innen, die nach einem Sonderschullehrplan unterrichtet wurden und daher an der verkürzten/verein-fachten Testung teilnahmen (siehe Abschnitt 4.2.3), als auch Schüler/innen, die regulär getestet wurden. Bei der dritten Schule handelte es sich um eine allgemeine Sonderschule, an der ausschließlich die verkürzte/vereinfachte Testversion zum Einsatz kam. So konnten die besonderen Bedingungen in „kleinen“ Schulen sowie der Einsatz der verkürzten und vereinfachten Testversion (UH für franz. „une heure“) für Schüler/innen an Sonderschulen sowie für Integrations-schüler/innen an Neuen Mittelschulen, die in Deutsch nach einem Sonderschullehrplan unterrichtet werden, er-probt werden.

Tabelle 4.2 zeigt die Verteilung der resultierenden Feld-test-Stichprobe auf die Schulformen und Bundesländer.

Nachdem feststand, wie viele Schulen aus jeder Schulform am Feldtest teilnehmen sollten, wurde für die konkrete Auswahl der Schulen – separat für jede Schulform – eine Liste aller Schulen mit Schülerinnen und Schülern des Zielalters (mit den zuvor beschriebenen Einschränkungen) erstellt.

Aus jeder Liste wurde dann die benötigte Anzahl an Schulen zufällig ausgewählt, wobei ...

� ein Overlap mit Schulen, die im Jahr des PISA-Feldtests (2017) an einer Pilotierung im Rahmen der Bildungs-standardüberprüfung bzw. der Informellen Kompetenz-messung (IKM) teilnahmen, vermieden wurde.� die Teilnahme an bisherigen PISA-Erhebungen berück-

sichtigt wurde (d. h., Schulen, die noch (fast) nie an PISA beteiligt waren, wurden bevorzugt ausgewählt).� auf die regionale Verteilung der ausgewählten Schulen

(auf die Bundesländer) geachtet wurde.

6 Aus drei von der OECD angebotenen und in Frage kommenden Sample Designs für den Feldtest entschied man sich in Österreich für das folgende: 40 auszuwählende Schulen mit je mindestens 45 getesteten Schülerinnen und Schülern.

7 Da die elf Schulen des österreichischen Waldorfbundes auf eigenen Wunsch in Form einer Vollerhebung am Haupttest 2018 teilnehmen, wären sie ohne-dies nicht in die Feldtest-Stichprobe aufgenommen worden.

Für jede ausgewählte Schule wurde auch eine erste und zweite Replacement-Schule notiert, wobei sich die Ersatzschulen in Schulform und Bundeslandzugehörigkeit nicht von der aus-gewählten Schule unterscheiden durften.

Tabelle 4.3 gibt einen Überblick über die resultierende Feld-teststichprobe. Bei den erwarteten Schülerzahlen je Stratum handelt es sich um eine Schätzung auf Basis der Schul-datenbank, die dem Feldtestsampling zugrunde lag. Die Abweichung von 100 % bei der Summierung der einzelnen Prozentangaben ergibt sich durch Runden (dies gilt auch für die noch folgenden Tabellen 4.5 und 4.6).

StratumSchulen

(gezogen)

Schüler/innen (erwartet)

Anzahl Prozent

Pflichtschulen 3 61 1,9 %

Polytechnische Schulen 2 154 4,7 %

AHS-Langform 11 799 24,5 %

AHS-Kurzform 4 281 8,6 %

Schulen mit Statut – Waldorfschulen

0 0 0,0 %

Schulen mit Statut – Sonstige

0 0 0,0 %

Berufsschulen kaufm. & gewerblich

7 568 17,4 %

Berufsschulen landwirtschaftlich

0 0 0,0 %

BMS gewerblich 0 0 0,0 %

BMS kaufmännisch 1 63 1,9 %

BMS wirtschaftlich 2 148 4,5 %

BMS landwirtschaftlich 0 0 0,0 %

BHS gewerblich 3 360 11,1 %

BHS kaufmännisch 4 285 8,8 %

BHS wirtschaftlich 3 341 10,5 %

BHS landwirtschaftlich 1 61 1,9 %

BAfEP/BASOP 2 135 4,1 %

GESAMT 43 3.256 100 %

Tabelle 4.3: Die österreichische Stichprobe für den PISA-Feldtest 2018


Bei der Kontaktaufnahme mit den ausgewählten Schulen stellte sich heraus, dass an vier Schulen im laufenden Schul-jahr (2016/17) entgegen den Erwartungen weniger als 53 potenzielle PISA-Schülerinnen und -Schüler unterrichtet wurden. Um die Erfüllung der Mindestanforderung von mindestens 45 auswertbaren Datensätzen je teilnehmende Schule sicherzustellen, wurden diese vier Schulen durch Ersatzschulen ersetzt.

4.6 Die österreichische Stichprobe im Haupttest 2018

4.6.1 Der österreichische Stichprobenplan

Auf Basis der Populationsdefinition muss in jedem Land die national gewünschte sowie die national definierte Zielpopulation festgelegt werden. Dazu ist es notwendig, Populationsgrößen zu bestimmen, Schätzungen für die An-teile an Ausschlüssen verschiedener Art anzustellen und die Datenbasis, die als Grundlage für die konkrete Ziehung von Schulen herangezogen werden soll, festzulegen. Die Auswahl der Hauptteststichprobe erfolgte im Herbst 2017. Als Daten-grundlage für die Ziehung der Hauptteststichprobe wurde die Schulstatistik des Schuljahrs 2016/17 verwendet.

National Desired Target Population

Die national gewünschte Zielpopulation für Österreich ent-spricht der durch die OECD definierten international ge-wünschten Zielpopulation für PISA. Das Testfenster für den Haupttest 2018 wurde in Österreich auf den Zeitraum von 9. April bis 18. Mai 2018 festgelegt (an lehrgangsmäßig ge-führten Berufsschulen durfte bereits ab 12. März 2018 ge-testet werden, wenn dadurch mehr Schüler/innen erreicht werden konnten). Die genaue Altersdefinition (die in Ab-hängigkeit vom Testzeitpunkt gewählt werden muss) umfasste somit für Österreich für den Haupttest 2018 den gesamten Geburtsjahrgang 2002. Weiters ist die PISA-Population ent-sprechend der internationalen Vorgaben auf Schüler/innen, die zumindest die 7. Schulstufe erreicht haben, beschränkt.

Laut Statistik Austria umfasste die Alterskohorte (Anzahl der Personen des Jahrgangs 2001 zum Stichtag 1. Oktober 20168) 84.473 Personen. 80.180 Personen davon waren laut Schulstatistik im Schuljahr 2016/17 an einer österreichischen Schule angemeldet. 73 Schüler/innen, das sind 0,09 % aller Schüler/innen, befanden sich in oder unter Schulstufe 6 und wurden deshalb nicht zur PISA-Zielgruppe gezählt. Da auf eine nationale Einschränkung der Zielpopulation in Öster-reich verzichtet wird, umfasst die national gewünschte Ziel-

8 Die Anzahl an Schülerinnen und Schülern des Geburtsjahrgangs 2001 im Schuljahr 2016/17 dient als Schätzer für die Anzahl zu erwartender Schüler/innen im Schuljahr 2017/18, die im Jahr 2002 geboren sind und damit für die Teilnahme am Haupttest 2018 in Frage kommen.

population (National Desired Target Population) auf Basis der österreichischen Schulstatistik (Schuljahr 2016/17) 80.107 Personen. Auf Grundlage dieser Daten befanden sich rund 5 % der Alterskohorte nicht mehr an Schulen (Out-of-School-Population) oder unterhalb der 7. Schulstufe und sind durch die PISA-Population nicht abgedeckt (siehe auch Abschnitt 4.1.1).

National Defined Target Population

In Österreich wurde bei PISA 2018 von der Möglichkeit Gebrauch gemacht, auf Schulebene einzelne Ausschlüsse vorzunehmen (siehe Abschnitt 4.2.3). Schulen, an denen ausschließlich in einer anderen Sprache als Deutsch unter-richtet wird, wurden (sowohl im Feld- als auch im Haupttest) von vornherein von der Teilnahme an PISA ausgeschlossen.

Die Option, extrem kleine Schulen nicht zu testen, wurde hingegen nicht in Anspruch genommen. Ein Ausschluss aller Schulen mit maximal zwei PISA-relevanten Schülerinnen und Schülern wäre in Österreich problematisch, weil dadurch bestimmte Schulen systematisch ausgeschlossen würden, vor allem Sonderschulen und kleine Neue Mittelschulen. Eine Analyse der Daten aus PISA 2000 ergab, dass sich die gemessenen Leistungen der Schüler/innen aus Schulen, in denen maximal zwei Personen getestet werden können, signi-fikant von jenen der anderen Schüler/innen unterscheiden.

Weitere Ausschlüsse auf Schulebene können allerdings dadurch entstehen, dass alle Schüler/innen einer PISA-Schule aus bestimmten Gründen von der Testung ausgeschlossen werden müssen. Das wird in den internationalen Rücklauf-statistiken ebenfalls als Ausschluss auf Schulebene gewertet (auch wenn dieser im Samplingplan nicht berücksichtigt ist).

Ausschlüsse auf Schülerebene können nicht vollständig ver-mieden werden. Die Definition der drei zulässigen Aus-schlusskriterien auf Schülerebene, so wie sie in Österreich verwendet wurde, findet sich in Tabelle 5.3 in Kapitel 5. Die Definitionen und Formulierungen werden entsprechend den internationalen Vorgaben so gewählt, dass möglichst wenige Schüler/innen vom Test ausgeschlossen werden.

4.6.2 Stratifizierung der Stichprobe

Explizite Stratifizierung

Grundsätzlich erfolgte die explizite Stratifizierung auch beim Haupttest 2018 nach Schulformen. Eine Besonderheit ergab sich durch die Beauftragung des Landes Oberösterreich, durch Testung einer erweiterten Stichprobe valide Schätzungen auf Bundesländerebene zu erhalten. Um die dafür not-


wendige Erhöhung der Stichprobengröße (40 zusätzliche Schulen) auf Oberösterreich beschränken zu können, wurde eine zusätzliche explizite Stratifizierungsebene eingeführt. In einem ersten Schritt wurde eine explizite Stratifizierung in die zwei Regionen Oberösterreich und „Restösterreich“ vorgenommen. Innerhalb dieser zwei Gruppen wurde dann nach Schulformen stratifiziert. Aufgrund der relativ kleinen Schulenzahl in Oberösterreich wurden die 17 Strata hier in 8 Gruppen zusammengefasst.

Tabelle 4.4 zeigt die resultierenden 25 expliziten Strata für den Haupttest 2018.

Explizite Stratifizierung

Stratum (Nummer) Stratum (Bezeichnung)

Rest-österreich

Ober-österreich

1 18 Pflichtschulen

2 19 Polytechnische Schulen

320

AHS-Langform

4 AHS-Kurzform

5 21 Schulen mit Statut – Waldorfschulen

6 22 Schulen mit Statut – Sonstige

723

Berufsschulen kaufmännisch & gewerblich

8 Berufsschulen landwirtschaftlich

9

24

BMS gewerblich

10 BMS kaufmännisch

11 BMS wirtschaftlich

12 BMS landwirtschaftlich

13

25

BHS gewerblich

14 BHS kaufmännisch

15 BHS wirtschaftlich

16 BHS landwirtschaftlich

17 BAKIP/BASOP

Tabelle 4.4: Explizite Stratifizierung in Österreich für den PISA-Haupttest 2018

Implizite Stratifizierung

Vor der systematischen Auswahl wurden die Schulen in den einzelnen expliziten Strata nach den impliziten Strati-fizierungsvariablen sortiert, um eine gute Verteilung über die Gruppen dieser Variablen zu erreichen (siehe Abschnitt 4.3.2).

9 Die Small School Analysis (siehe Abschnitt 4.3.3) ergab für Österreich, dass sehr kleine Schulen (mit einer erwarteten Schülerzahl von weniger als 18) in 15 der insgesamt 25 expliziten Strata untersampelt werden sollen.

In den beiden Pflichtschul-Strata (Stratum 1 für „Rest-österreich“ und Stratum 18 für Oberösterreich) wurden drei Schultypen unterschieden, nach denen die Schulen zunächst gereiht wurden:

� Neue Mittelschule/Hauptschule ohne Integrations-schüler/innen� Neue Mittelschule/Hauptschule mit Integrations-

schülerinnen und -schülern � Allgemeine Sonderschule

In der Region „Restösterreich“ wurden die Schulen im Anschluss daran nach ihrer Bundeslandzugehörigkeit und schließlich nach ihrem Mädchenanteil (in Quintilen) sortiert. In der Region „Oberösterreich“ erfolgte die weitere Reihung der Schulen nach ihrer Zugehörigkeit zu einer der 17 ur-sprünglichen Schulformen und dann nach dem Mädchen-anteil.

4.6.3 Zusammensetzung der Hauptteststichprobe für PISA 2018

Auf Grundlage der Anteile der Schüler/innen in den einzel-nen expliziten Strata an der Gesamtzielpopulation (Spalte 3 in Tabelle 4.5) und unter Berücksichtigung der Ergebnisse aus der Small School Analysis9 (Spalten 4 und 5) wurde be-stimmt, wie viele Schulen aus jedem Stratum in der Stich-probe sein müssen, um die angezielte Stichprobengröße zu erreichen (Spalte 6). Insgesamt müssen 315 Schulen aus 25 Strata gezogen werden. Die damit gegenüber der Vorgabe der OECD (mindestens 150 ausgewählte Schulen) ‒ auch unter Berücksichtigung der 40 zusätzlichen Schulen in Oberöster-reich ‒ deutlich erhöhte Schulenanzahl ergibt sich in erster Linie aus dem Vorkommen von Schulen mit weniger als 36 Zielschülerinnen und Zielschülern in der Population. An den Pflichtschulen gibt es z. B. meist nur eine kleine Zahl 15-/16-Jähriger. Um in diesem Stratum die notwendige Zahl an Schülerinnen und Schülern des Zielalters erreichen zu können, müssen deshalb relativ viele Schulen in die Stich-probe aufgenommen werden.

Die elf Schulen des österreichischen Waldorfbunds nahmen am Haupttest 2018 wie erwähnt in Form einer Vollerhebung teil. Die hohe Zahl an sonstigen Statutschulen in Oberöster-reich kommt wie folgt zustande: In jedem expliziten Stratum wurde zumindest eine Schule ausgewählt und es sollten zu-mindest 36 Testschüler/innen erreicht werden. Laut Schul-statistik des Schuljahrs 2016/17 sind aus allen zwölf ober-österreichischen sonstigen Statutschulen insgesamt nur zwölf Schüler/innen zu erwarten. Das führte dazu, dass alle zwölf Schulen in die Stichprobe gelangten, um die angestrebte Schülerzahl so weit wie möglich zu erreichen. Tatsächlich


nahmen jedoch nur vier dieser zwölf Schulen am Haupttest 2018 teil10. An sechs Schulen gab es keine Schüler/innen des Zieljahrgangs und an zwei weiteren Schulen gab es jeweils nur eine zu testende Schülerin/einen zu testenden Schüler, die/der jedoch aufgrund einer Beeinträchtigung von der Testung ausgeschlossen wurde11.

10 An einer dieser vier Schulen waren die zwei zu testenden Schüler/innen sowohl am regulären als auch am Ersatztermin erkrankt und konnten den Test nicht bearbeiten.

11 Siehe Abschnitt 5.3.3 bzw. Tabelle 5.3 in Kapitel 5 für Details zu Ausschlüssen auf Schülerebene.

Tabelle 4.6 zeigt die Zusammensetzung der Stichprobe für den PISA-Haupttest 2018. Bei den Angaben zur Anzahl der Schüler/innen handelt es sich um Schätzungen auf Basis der Daten des Schuljahrs 2016/17.

Populationskennwerte

Region Explizites StratumAnteil an

Population

Anteil an Schülerinnen/Schülern in sehr kleinen Schulen

(< 18 Schüler/innen)

Sehr kleine Schulen

untersampeln

Anzahl an Schulen in Stichprobe

Res

töst

erre

ich

1 Pflichtschulen 6,72 % 80,35 % ja 38

2 Polytechnische Schulen 7,02 % 16,51 % ja 15

3 AHS-Langform 17,01 % 0,55 % nein 31

4 AHS-Kurzform 6,51 % 3,08 % ja 13

5 Schulen mit Statut – Waldorf 0,19 % 36,13 % ja 10

6 Schulen mit Statut – Sonstige 0,19 % 75,50 % ja 7

7 Berufsschulen kaufmännisch, gewerblich 8,78 % 1,44 % ja 17

8 Berufsschulen landwirtschaftlich 0,05 % 100,00 % ja 3

9 BMS gewerblich 2,04 % 20,30 % ja 7

10 BMS kaufmännisch 2,20 % 28,43 % ja 6

11 BMS wirtschaftlich 2,38 % 14,46 % ja 6

12 BMS landwirtschaftlich 3,48 % 2,92 % ja 7

13 BHS gewerblich 11,21 % 0,36 % nein 20

14 BHS kaufmännisch 6,56 % 0,38 % nein 12

15 BHS wirtschaftlich 5,27 % 0,90 % nein 9

16 BHS landwirtschaftlich 0,72 % 0,00 % nein 2

17 BAfEP, BASOP 1,99 % 0,00 % nein 3

Ob

erö

ster

reic

h

18 Pflichtschulen 1,45 % 85,44 % ja 27

19 Polytechnische Schulen 1,77 % 12,15 % ja 10

20 AHS-Langform, AHS-Kurzform 3,56 % 0,49 % nein 14

21 Schulen mit Statut – Waldorf 0,02 % 0,00 % nein 1

22 Schulen mit Statut – Sonstige 0,02 % 100,00 % ja 12

23 Berufsschulen kaufmännisch, gewerblich, landwirtschaftlich 3,01 % 0,00 % nein 12

24 BMS gewerblich, kaufmännisch, wirtschaftlich, landwirtschaftlich 1,90 % 19,21 % ja 9

25BHS gewerblich, kaufmännisch, wirtschaftlich, landwirtschaft-lich, BAfEP, BASOP

5,97 % 0,11 % nein 24

GESAMT 100,00 % – – 315

Tabelle 4.5: Verteilung der Population auf die expliziten Strata im PISA-Haupttest 2018


4.7 Maßnahmen zur Qualitätssicherung

Die Qualität der Stichprobe einer Untersuchung wird im Wesentlichen durch die Art und Weise, wie die Stichprobe ermittelt wird, bestimmt. Ein post-hoc erbrachter Nach-weis über die Güte der Zusammensetzung oder Größe der realisierten Stichprobe kann angemessene Prozeduren und eine korrekte Vorgangsweise bei der Selektion nicht ersetzen.

Bei PISA erfolgt die Stichprobenziehung nach modernen statistischen Methoden. Die PISA-Stichprobe wird auf beiden Ebenen – Schulen und Schüler/innen – in Form von Wahr-

scheinlichkeitssamples (Probability Samples) ermittelt. Die Präzision und Effizienz der Stichprobe werden durch die Ver-wendung sinnvoller Stratifizierungsvariablen deutlich erhöht.

Ein weiteres wichtiges Qualitätsmerkmal ist die Vergleich-barkeit zwischen den Ländern. Diese wird durch mehrere Maßnahmen sichergestellt:

� Das Sampling basiert auf eindeutigen, für alle Länder ver pflichtenden Vorgaben der OECD (Populationsdefini-tion, Stichprobengröße, Art der Stichprobenziehung, Mindestrücklaufquoten).

Region Explizites StratumSchulen

(gezogen)

Schüler/innen (erwartet)

Anzahl Prozent

Res

töst

erre

ich

1 Pflichtschulen 38 255 3,27 %

2 Polytechnische Schulen 15 415 5,33 %

3 AHS-Langform 31 1.074 13,79 %

4 AHS-Kurzform 13 425 5,46 %

5 Schulen mit Statut – Waldorf 10 155 1,99 %

6 Schulen mit Statut – Sonstige 7 15 0,19 %

7 Berufsschulen kaufmännisch, gewerblich 17 597 7,66 %

8 Berufsschulen landwirtschaftlich 3 22 0,28 %

9 BMS gewerblich 7 170 2,18 %

10 BMS kaufmännisch 6 146 1,87 %

11 BMS wirtschaftlich 6 159 2,04 %

12 BMS landwirtschaftlich 7 232 2,98 %

13 BHS gewerblich 20 720 9,24 %

14 BHS kaufmännisch 12 424 5,44 %

15 BHS wirtschaftlich 9 316 4,06 %

16 BHS landwirtschaftlich 2 72 0,92 %

17 BAfEP, BASOP 3 108 1,39 %

Ob

erö

ster

reic

h



20 AHS-Langform, AHS-Kurzform 14 488 6,26 %

21 Schulen mit Statut – Waldorf 1 19 0,24 %


23 Berufsschulen kaufmännisch, gewerblich, landwirtschaftlich 12 432 5,54 %

24 BMS gewerblich, kaufmännisch, wirtschaftlich, landwirtschaftlich 9 243 3,12 %

25BHS gewerblich, kaufmännisch, wirtschaftlich, landwirtschaftlich, BAfEP, BASOP

24 864 11,09 %

GESAMT 315 7.791 100,00 %

Tabelle 4.6: Die österreichische Hauptteststichprobe für PISA 2018


� Wie diese Vorgaben umgesetzt werden können, ist in dem vom internationalen Konsortium erstellten Sampling-Manual genau festgelegt. Dieses operationalisiert die Qualitätsstandards der OECD und beschreibt im Detail, wie bei der Definition der national gewünschten Ziel-population sowie der Ziehung der Stichprobe vorgegan-gen werden muss.� In Form mehrerer standardisierter Formulare werden die

national definierte Zielpopulation sowie die Stichproben-ziehung in allen Ländern im Detail und in vergleichbarer Weise dokumentiert.� Die Ziehung der Stichprobe erfolgt für alle Länder durch

WESTAT. Die Korrektheit der Stichprobenziehung wird in enger Kooperation zwischen WESTAT und den nationalen Projektzentren überprüft.

Ein weiteres zentrales Qualitätskriterium der PISA-Stich-probe ist die Einhaltung der Vorgaben bezüglich der Rück-laufquoten (siehe Abschnitt 4.4).

Ein wichtiges Qualitätsmerkmal von PISA insgesamt ist die Durchführung eines Feldtests. Das Erproben von Instrumenten, Vercodungsrichtlinien oder verschiedenen im Lauf der Studie notwendigen Prozeduren wird als wichtige Qualitätslenkungsmaßnahme angesehen und trägt wesent-lich zur Qualitätssteigerung in allen Bereichen der Studie bei. Verschiedene Qualitätsmerkmale der Feldteststichprobe – vor allem die Zusammensetzung sowie ausreichende Rücklauf-quoten – stellen sicher, dass der Feldtest die Funktion der Qualitätssicherung erfüllt.

Bibliografie

OECD (2017). PISA 2015. Technical Report. Verfügbar unter http://www.oecd.org/pisa/sitedocument/PISA-2015-technical -report-final.pdf

Pareiss, M. (2016). Sampling-Design und Stichproben. In B. Suchań & S. Breit (Hrsg.), PISA 2015. Technischer Bericht. Verfügbar unter https://www.bifie.at/wp-content/uploads/2017/04/04_TB_Kapitel4_PISA15_final.pdf

http://www.oecd.org/pisa/sitedocument/PISA-2015-technical-report-final.pdf

http://www.oecd.org/pisa/sitedocument/PISA-2015-technical-report-final.pdf



5 Testorganisation und -durchführung Nicole Perner

Zur erfolgreichen Durchführung der PISA-Testungen an den Schulen ist die Kooperation zahlreicher Personen notwendig. Kooperationspartner/innen des BIFIE sind vor allem die Schulleitungen, die Schulkoordinatorinnen und -koordinatoren sowie die Testleiter/innen. Um eine reibungslose Kommunikation zwischen allen Beteiligten zu gewährleisten, ist es nötig, die erforderlichen Schritte und Abläufe sorgfältig zu planen und aufeinander abzustimmen. Außerdem ist es die Aufgabe des BIFIE, alle Kooperationspartner/innen rechtzeitig über die bevorstehenden Aufgaben im Ablauf der PISA-Studie zu informieren und sie entsprechend zu instruieren. Die notwendigen Materialien für die Testungen werden ebenfalls vor-bereitet. Dieses Kapitel behandelt die Aufgaben der Schulkoordinatorinnen und -koordinatoren, die Vorbereitung der Erhebungsmaterialien für die Testdurchführung sowie die Tätigkeiten der Testleiter/innen.1

1 Dieser Text ist eine Aktualisierung des entsprechenden Kapitels 5 (Testorganisation und -durchführung) im nationalen technischen Bericht zu PISA 2015 (Suchań, Höller & Toferer, 2016).

5.1 Chronologischer Überblick

Tabelle 5.1 gibt einen Überblick über die zeitliche Abfolge der wichtigsten Tätigkeiten im Bereich der Testorganisation und -durchführung für den Haupttest von PISA 2018. In weiterer Folge werden diese Schritte im Detail beschrieben.

5.2 Kooperation mit Schulbehörden und Schulleitungen

Für den Erfolg der PISA-Studie und die Qualität der er-hobenen Daten ist die Unterstützung seitens der Schul-behörden und der ausgewählten Schulen von großer Be-deutung. Eine optimale Kommunikation zwischen allen Beteiligten ist daher besonders wichtig.

5.2.1 Information der Schulbehörden

Im September 2017 erfolgten die Ziehung der Schulstich-probe durch den internationalen Vertragspartner WESTAT (mit Sitz in Maryland, USA) und deren Überprüfung durch das BIFIE. Die für die dabei ausgewählten Schulen zu-ständigen Behörden wurden im November 2017 kontaktiert. Das BIFIE informierte zunächst die Amtsführenden Landes-schulratspräsidentinnen und -präsidenten und den Amts-führenden Präsidenten des Stadtschulrats für Wien. Die Landesschulinspektorinnen und -inspektoren wurden eben-falls über die Studie und die für die Teilnahme ausgewählten Schulen im jeweiligen Zuständigkeitsbereich in Kenntnis gesetzt. Zusätzlich wurden die Landesschulinspektorinnen und -inspektoren gebeten, diese Informationen ggf. an die betreffenden Pflichtschulinspektorinnen und -inspektoren bzw. die Berufsschulinspektorinnen und -inspektoren weiter-zuleiten.

Monat Tätigkeiten

September 2017 Stichprobenziehung für den Haupttest durch den internationalen Vertragspartner WESTAT

Oktober 2017 Beginn der Testleiter-Rekrutierung

November 2017 Information der Schulbehörden über PISA 2018 und die zur Teilnahme ausgewählten Schulen

Dezember 2017 1. Schulanschreiben: Information über die Teil-nahme an PISA, Ernennung einer Kontaktperson an der Schule (Schulkoordinator/in), Erhebung der verfügbaren EDV-Ressourcen an der Schule

Versand der Verträge an die Testleiter/innen

Jänner 2018 2. Schulanschreiben: Erstellung und Übermittlung einer Liste aller Schüler/innen, die im Jahr 2002 geboren wurden

Information der Testleiter/innen über die zugewie-senen Schulen

Vereinbarung der Testtermine zwischen Schul-koordinator/in und Testleiter/in

Februar 2018 Bespielung der USB-Sticks mit der PISA-Test-software und Qualitätskontrolle

Aufbereitung der Schülerlisten und Ziehung der Schülerstichprobe am BIFIE

3. Schulanschreiben: Übermittlung der Liste der ausgewählten Schüler/innen an die Schulkoordina-torinnen und -koordinatoren, Übermittlung schrift-licher Informationen zu PISA 2018 zur Verteilung an die ausgewählten Schüler/innen und deren Eltern

Versand des Testleiterhandbuchs

März 2018 Konfektionierung der Testmaterialien

Schulung der Testleiter/innen

Durchführung der Testsitzungen an den Schulen(9. April 2018 bis 18. Mai 2018, erweitertes Test-fenster für lehrgangsmäßig geführte Berufsschulen ab 12. März 2018)

April 2018

Mai 2018

Rücklaufkontrolle der Testmaterialien

Tabelle 5.1: Chronologie der Testorganisation (PISA 2018)

50 5 – Testorganisation und -durchführung

5.2.2 Information und Aufgaben der Schulleitungen

Die Schulleiter/innen der ausgewählten Schulen wurden An-fang Dezember 2017 vom BIFIE über die vorgesehene Teil-nahme an PISA 2018 informiert.

In diesem ersten Anschreiben wurden die Schulleiter/innen gebeten, an ihrer Schule eine Schulkoordinatorin/einen Schulkoordinator zu bestimmen (in weiterer Folge wird für Personen mit dieser Funktion die Abkürzung „SK“ ver-wendet). Die/der SK fungierte als Ansprechpartner/in für das BIFIE, traf die erforderlichen organisatorischen Vor-bereitungen zur Durchführung der Erhebung an der Schule und unterstützte die Testleiterin/den Testleiter (die schul-externe Person, die den Test an der Schule durchführt; in weiterer Folge wird für Personen mit dieser Funktion die Abkürzung „TL“ verwendet) am Testtag. Die Rolle der/des SK konnte eine Lehrerin/ein Lehrer, eine Administratorin/ein Administrator oder die Schulleitung übernehmen.

Zudem wurden die Schulleiter/innen darüber informiert, dass sie im Rahmen von PISA im Frühjahr 2018 einen Online-fragebogen zur Erhebung der Kontextdaten zur Schule be-antworten sollen.

Bereits zu diesem Zeitpunkt wurde von einigen Schulen schriftlich rückgemeldet, dass keine Schüler/innen gemeldet waren, die die Teilnahmekriterien für PISA 2018 erfüllten (alle Schüler/innen des Geburtsjahrgangs 2002). Die weiteren Schritte entfielen für diese Schulen.

5.3 Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK)

5.3.1 Bekanntgabe der SK-Kontaktdaten und Erhebung der EDV-Ressourcen

Das Anschreiben, das im Dezember 2017 per Post an die Schulleiter/innen der ausgewählten Schulen gesendet wurde, enthielt ein Kuvert zur Weitergabe an die/den SK. Zusätzlich erhielt die Schulleitung eine E-Mail, die sie über den Ver-sand des postalischen Schreibens informierte und den Link zu einem Onlineformular enthielt. Die SK wurden ersucht, folgende Erstinformationen zur Vorbereitung des PISA-Tests über dieses Onlineformular bekanntzugeben:

� Bezeichnung, Adresse und Schulkennzahl der Schule� Angabe eventueller Expositurstandorte� Bekanntgabe der SK-Kontaktdaten (Name, berufliche

Telefon- bzw. Handynummer, E-Mail-Adresse) und Zu-stimmung, dass diese Kontaktdaten für studienrelevante Zwecke an andere Personen (z. B. TL, Qualitätsbeobach-ter/innen) weitergegeben werden dürfen

� Informationen zu den EDV-Ressourcen der Schule im Hin blick auf die computerbasierte PISA-Testung (Anzahl der verfügbaren Computer/Laptops im EDV-Raum der Schule, Anzahl zusätzlich möglicher Arbeitsplätze, instal-liertes Betriebssystem, benötigte Administratorenrechte)

Da die PISA-Testung computerbasiert durchgeführt wurde, musste an den Schulen zunächst erhoben werden, wie viele schuleigene PCs bzw. Laptops zur Verfügung standen, die die technischen Mindestanforderungen für das Ausführen des Testprogramms erfüllten. Dazu erhielt jede SK/jeder SK einen USB-Stick mit einer Systemdiagnose-Software, die vom internationalen Vertragspartner ETS (Educational Testing Service mit Sitz in Princeton, USA) zur Verfügung gestellt wurde.

Im Idealfall sollten die EDV-Ressourcen im größten Com puter raum der Schule, der Platz für mindestens 18 Schüler/innen bot, überprüft werden. Bei PCs/Laptops mit identer Hard- und Softwareausstattung (inkl. Viren-schutzprogramm) war die Überprüfung eines Modells aus-reichend. EDV-Geräte, die mit einem anderen Betriebssystem als Windows XP, Windows Vista, Windows 7, Windows 8 oder Windows 10 ausgestattet waren, sowie Apple-Computer konnten von vornherein als nicht geeignet ausgeschlossen werden. Darüber hinaus konnte der computerbasierte PISA-Test nicht über Thin-Clients durchgeführt werden. Anschließend wurde die Anzahl der für PISA geeigneten Geräte über das Onlineformular an das BIFIE rückgemeldet. Schulen, an denen keine bzw. zu wenige geeignete Geräte zur Verfügung standen, erhielten für die jeweiligen Testtage BIFIE-Laptops.

5.3.2 Erstellung der „LISTE A – Liste aller Schüler/innen“

Im nächsten Anschreiben, das Anfang Jänner 2018 per E-Mail versandt wurde, wurden die SK ersucht, die sogenannte „LISTE A – Liste aller Schüler/innen“ zu erstellen. Auf dieser sollten alle Schüler/innen der für PISA ausgewählten Schul-form aufgelistet werden, die im Jahr 2002 geboren wurden und mindestens die 7. Schulstufe besuchten. Neben den Schuldaten (Schulbezeichnung, SKZ, Name der/des SK) sollten folgende Daten zu jeder Schülerin/jedem Schüler in ein Excel-Formular eingetragen werden:

� Name der Schülerin/des Schülers (diese Information ver-blieb an der Schule und wurde vor der Übermittlung der Liste an das BIFIE gelöscht)� fortlaufende Nummer� Klasse� Schulstufe� Geschlecht� Geburtsmonat und -jahr� besondere Merkmale (ggf. Vergabe eines Codes für

Schüler/innen mit Beeinträchtigungen; siehe Tabelle 5.2)


� ggf. die Information, ob die Schülerin/der Schüler in Deutsch nach Sonderschullehrplan unterrichtet wird

Code Beschreibung

1 Die Schülerin/der Schüler hat eine dauerhafte mäßige bis schwere körperliche Beeinträchtigung oder eine Sinnesbeeinträchtigung.

2 Die Schülerin/der Schüler hat eine durch eine Expertin/einen Experten diagnostizierte kognitive oder emotionale Beeinträchtigung oder eine Verhaltens auffälligkeit.

3 Die Schülerin/der Schüler ist nichtdeutscher Mutter-sprache und hat nur eingeschränkte Sprachkennt-nisse in Deutsch (Code 3 ist keinesfalls zur generellen Kennzeichnung aller Schüler/innen mit Migrations-hintergrund gedacht).

Tabelle 5.2: Codes für Schüler/innen mit Beeinträchtigungen (PISA 2018)

Neben einer detaillierten Anleitung zur Erstellung der „LISTE A – Liste aller Schüler/innen“ erhielten die SK eine Vorlage im Excel-Format. Dadurch sollte die Listenerstellung vereinfacht werden. Außerdem wurde so sichergestellt, dass die benötigten Informationen in einheitlicher Form an das BIFIE gesendet wurden.

Die Version der „LISTE A – Liste aller Schüler/innen“ MIT Namen wurde ausschließlich an der Schule gespeichert. Das BIFIE erhielt eine anonymisierte Version der Liste OHNE Schülernamen, die SK mussten die entsprechende Spalte vor der Übermittlung löschen. Die Erhebung der Daten erfolgte entsprechend den Vorgaben des Datenschutzgesetzes 2000 (BGBl. I Nr. 165/1999). Die Liste MIT Namen musste bis zum Abschluss der PISA-Erhebung an der Schule verfügbar bleiben.

Unter bestimmten, international genau definierten Kriterien konnten Schüler/innen vom PISA-Test ausgeschlossen werden. In einem ersten Schritt mussten die SK dafür bei jeder Schülerin/jedem Schüler angeben, ob eine der Be-einträchtigungen aus Tabelle 5.2 vorlag. Diese erste Kenn-zeichnung war allerdings noch nicht mit einem Ausschluss gleichzusetzen, sondern diente zunächst der Erfassung, welche Schüler/innen eventuell vom Test ausgeschlossen werden mussten.

Für Schüler/innen, die in Deutsch nach Sonderschullehrplan unterrichtet wurden (dies traf in der Regel nur an Sonder-schulen, Neuen Mittelschulen und Polytechnischen Schulen zu), sollten die SK in der entsprechenden Spalte auf der zu er-

2 KeyQuest ist eine Software, die den PISA-Teilnehmerländern von internationaler Seite zur Verfügung gestellt wird. Sie wird unter anderem für die Ver-waltung der testadministrativen Schul- und Schülerdaten und für die Stichprobenziehung auf Schülerebene verwendet.

stellenden Schülerliste den Code „1“ eintragen. Für Schüler/innen mit Unterricht nach Sonderschullehrplan gibt es eine verkürzte Form des Tests, sodass für diese Schüler/innen zu einem späteren Zeitpunkt entschieden werden konnte, ob sie an der verkürzten Testversion von PISA teilnehmen können.

Die übermittelten Listen wurden sowohl von BIFIE-Mit-arbeiterinnen als auch von Hilfskräften auf Vollständigkeit kontrolliert, in ein einheitliches elektronisches Format ge-bracht und in das Programm KeyQuest2 importiert. Mithilfe der Sampling-Funktion dieser Software erfolgte anschließend für jede Schule die Ziehung der Schülerstichprobe durch BIFIE-Mitarbeiterinnen. In Abstimmung mit dem inter-nationalen Vertragspartner WESTAT wurden in Österreich maximal 36 Schüler/innen zufällig für die Teilnahme an PISA ausgewählt. Gab es an einer Schule weniger als 36 Schüler/innen der Zielpopulation, nahmen automatisch alle diese Schüler/innen an PISA teil.

5.3.3 Kontrolle und Ergänzung der „LISTE B – PISA-Schülerliste“

Nach Ziehung der Schülerstichprobe produzierte KeyQuest für jede Schule eine Liste, auf der die ausgewählten Schüler/innen mit ihrer fortlaufenden Nummer aus der ur-sprünglich von der/dem SK erstellten „LISTE A – Liste aller Schüler/innen“ sowie mit allen weiteren Schülerdaten (Klasse, Schulstufe, Geschlecht etc.) angeführt waren.

Diese „LISTE B – PISA-Schülerliste“ wurde Ende Februar 2018 im Rahmen des dritten Schulanschreibens postalisch an die SK übermittelt. Die SK wurden gebeten, alle Einträge zu überprüfen und ggf. zu aktualisieren. Für jene Schüler/innen, für die zuvor ein Code für eine vorhandene Beeinträchtigung in die Spalte „Besondere Merkmale“ eingetragen worden war, mussten die SK nun nach international vorgegebenen Richtlinien für jede Schülerin/jeden Schüler individuell ent-scheiden, ob diese/dieser in der Lage war, am PISA-Test teil-zunehmen. Außerdem wurde geklärt, ob Schüler/innen, die in Deutsch nach Sonderschullehrplan unterrichtet wurden, an der verkürzten Version von PISA teilnehmen konnten. War die Teilnahme nicht möglich, mussten die SK dies auf der Liste in der entsprechenden Spalte („Ausschlusscode“) vermerken. Etwa eine Woche vor dem (ersten) vereinbarten Testtermin wurde die/der SK von der/dem TL kontaktiert, um die Aktualisierungen auf der „LISTE B – PISA-Schüler-liste“ zu besprechen. Die TL übertrugen Änderungen in ihre Version der Liste, die sie vor dem Beginn des Testfensters bei der Testleiterschulung erhalten hatten.

In Tabelle 5.3 ist angeführt, unter welchen Bedingungen der Ausschluss von Schülerinnen und Schülern mit geistigen/


körperlichen Beeinträchtigungen oder mangelnden Deutsch-kenntnissen gerechtfertigt war. Die Entscheidung über die Vergabe von Ausschlusscodes wurde von der/dem SK unter Beachtung dieser Kriterien und in Absprache mit den Lehr-personen der jeweiligen Schüler/innen getroffen.

In der Spalte „Ausschlusscode“ der „LISTE B – PISA-Schüler-liste“ wurden auch andere Gründe, aus denen Schüler/innen nicht an der Testung teilnehmen konnten, vermerkt (z. B. Schulwechsel). Tabelle 5.4 gibt einen Überblick über alle international zulässigen Ausschlussgründe und deren Codes für die „LISTE B – PISA-Schülerliste“.

Abbildung 5.1 zeigt ein Beispiel einer vervollständigten „LISTE B – PISA-Schülerliste“ mit fiktiven Schul- und Schülerdaten.

5.3.4 Information der Schüler/innen, Eltern und Lehrpersonen

Gemeinsam mit der „LISTE B – PISA-Schülerliste“ erhielten die SK vom BIFIE Kuverts zur Verteilung an die zur Teil-nahme ausgewählten Schüler/innen. Die Kuverts enthielten ein Anschreiben für die Schüler/innen und eines für die Eltern. In diesen wurden sie informiert, welche Ziele mit PISA verfolgt werden und warum Österreich sich an der

Tabelle 5.3: Kriterien für den Ausschluss von Schülerinnen und Schülern mit Beeinträchtigungen (PISA 2018)

Tabelle 5.4: Mögliche Ausschlusscodes (PISA 2018)

Code Grund für Ausschluss

4 Ausschluss aufgrund besonderer Merkmale: körperliche, kognitive oder emotionale Beeinträchtigung oder eingeschränkte Sprachkenntnisse in Deutsch

5 Schulwechsel – neue Schule bekannt (Schüler/in hat an andere Schule gewechselt; gilt auch für Auslandssemester)

6 Schulaustritt – keine neue Schule bekannt (Schüler/in hat die Schule verlassen)

n Schüler/in erfüllt die Teilnahmebedingungen für PISA nicht (Schüler/in befindet sich in Schulstufe 6 bzw. darunter oder ist nicht im Jahr 2002 geboren)

Art der Beeinträchtigung

Schüler/innen, die AUSGESCHLOSSEN werden können

Schüler/innen, die TEILNEHMEN müssen

körperliche Beeinträchtigung oder Sinnesbeeinträchtigung

Die Schülerin/der Schüler hat Code 1 in der Spalte „Besondere Merkmale“ und weist eine so schwere dauerhafte körperliche Beeinträchtigung oder Sinnesbeeinträchtigung auf, dass eine Teilnahme am PISA-Test nicht möglich ist.

Körperlich beeinträchtigte oder sinnesbeein-trächtigte Schüler/innen, die den Test mit allen zur Verfügung stehenden technischen Hilfs-mitteln, jedoch ohne Erweiterung der vor-gegebenen Testzeit bearbeiten können, dürfen NICHT ausgeschlossen werden.

kognitive oder emotionale Beeinträchtigung oder Verhaltensauffälligkeit

Die Schülerin/der Schüler hat Code 2 in der Spalte „Besondere Merkmale“ und weist eine so schwere kognitive oder emotionale Beeinträchtigung oder Verhaltensauffälligkeit auf, dass nach professioneller Einschätzung von Fachpersonal eine Teilnahme am PISA-Test nicht möglich ist. Dies inkludiert Schüler/innen, die kognitiv oder emotional nicht in der Lage sind, auch nur den allgemeinen Anweisun-gen in der Testsitzung zu folgen.

Schüler/innen, die den Test bearbeiten können, dürfen NICHT ausgeschlossen werden. Schüler/innen, die nur schlechte Leistungen erbringen oder disziplinäre Probleme haben, dürfen NICHT ausgeschlossen werden.

unzureichende Sprachkenntnisse in Deutsch

Die Schülerin/der Schüler hat Code 3 in der Spalte „Besondere Merkmale“ und erfüllt ALLE der folgen-den Kriterien.

Die Schülerin/der Schüler ...■ ist nichtdeutscher Muttersprache,■ hat nur eingeschränkte Sprachkenntnisse in

Deutsch UND■wurde weniger als ein Jahr lang in deutscher

Sprache unterrichtet.

Erfüllt die Schülerin/der Schüler nur ein oder zwei der links genannten Kriterien (z. B. die Schülerin/der Schüler wurde bereits länger als ein Jahr in deutscher Sprache unterrichtet) darf sie/er NICHT ausgeschlossen werden.


Studie beteiligt. Des Weiteren wurden sie über den Daten-schutz und den vertraulichen Umgang mit allen Antworten in Kenntnis gesetzt. Den Schreiben waren Folder mit weiteren Informationen zu PISA beigefügt.

5.3.5 Aufgaben der SK am Testtag

Am Testtag empfing die/der SK die/den TL mindestens 1 bis 1,5 Stunden vor dem vereinbarten Testbeginn, zeigte ihr/ihm den Testraum und besprach ggf. noch einmal mit ihr/ihm die „LISTE B – PISA-Schülerliste“, insbesondere die korrekte Vergabe der Ausschlusscodes. Vor dem Eintreffen der Schüler/innen mussten ggf. die vom BIFIE an die Schule gesendeten Laptops ausgepackt und im Testraum aufgebaut werden. Sämtliche EDV-Geräte mussten vor Eintreffen der Schüler/innen so vorbereitet werden, dass die Schüler/innen sich nur noch mit ihren individuellen Zugangsdaten an-melden mussten, um den PISA-Test zu starten.

Während der Testsitzung durften die SK nicht im Testraum anwesend sein. Allerdings sollten sie in dieser Zeit für die/den

TL erreichbar sein. Nach Abschluss des Tests sollte die/der SK zur Verfügung stehen, um mit der/dem TL die Notwendig-keit eines Nachtests zu besprechen und sie/ihn eventuell beim Abbau und Verpacken der BIFIE-Laptops zu unterstützen.

5.4 Vorbereitung der Erhebungsmaterialien

5.4.1 Produktion und Kontrolle des PISA-Testsystems

Nach der Übersetzung, nationalen Anpassung und Veri-fikation der Testaufgaben (siehe Kapitel 3) wurden diese vom internationalen Zentrum gemeinsam mit dem Schüler-fragebogen auf die österreichische Version des PISA-Test-systems gespielt. Bevor dieses am BIFIE auf USB-Sticks (27 pro TL) vervielfältigt wurde, wurde diese „Master-Version“ ausführlich getestet. Nach der Bespielung der rund 3.700 Sticks wurden diese erneut kontrolliert. Außerdem wurde die Funktionstüchtigkeit der USB-Sticks sorgfältig geprüft (Details dazu siehe Abschnitt 5.6.3).

Abbildung 5.1: PISA-Schülerliste mit Eintragungen (PISA 2018)


5.4.2 Verknüpfung von Leistungs- und Kontextdaten

Die Schüler/innen bearbeiten bei PISA personalisierte Test-instrumente. Jeder Schülerin/jedem Schüler wird über die Zu-gangsdaten für den Computertest eine bestimmte Testform zugeordnet. Für den Fragebogen muss sich die Schülerin/der Schüler mit denselben Zugangsdaten einloggen. Er-möglicht wird dies durch eine eindeutige PISA-Schüler-ID, die KeyQuest bei der Ziehung der Schülerstichprobe für jede Schülerin/jeden Schüler generiert. Diese fungiert in weiterer Folge als eindeutige Identifikationsnummer und ist Teil des Zugangsdatenblatts, das die Schüler/innen zum Login für Test und Fragebogen erhalten. Zudem befinden sich auf diesem Zugangsdatenblatt die bekannten Schüler-daten (Geschlecht, Geburtsmonat, Geburtsjahr und Klasse) sowie das Passwort für das PISA-Testsystem. Die korrekte Verteilung der Zugangsdatenblätter wird sichergestellt, indem die Schüler/innen ihre individuellen Daten vor Beginn des Tests kontrollieren. Während des Tests werden die Daten der Schülerin/des Schülers in Form von ZIP-Files mit der Identifikationsnummer als Filenamen auf dem USB-Stick ge-speichert. Auf diese Weise können nach der Erhebung sämt-liche Daten eindeutig einzelnen Schülerinnen und Schülern zugeordnet sowie die Leistungs- und Kontextdaten für Daten-analysen zusammengeführt werden.

5.4.3 Logistik des Erhebungsmaterials

Für jede teilnehmende Schule wurde ein Kuvert („Schul-kuvert“) zusammengestellt, das alle für die Testsitzungen benötigten Materialien beinhaltete und das die/der ent-sprechende TL gemeinsam mit weiteren Materialien bei der Testleiterschulung gesammelt in einer Tasche erhielt. Zur einfacheren Handhabung waren die Materialien außerdem auf Steckhüllen in verschiedenen Farben verteilt. Jedes Schul-kuvert enthielt die folgenden Materialien:

DURCHSICHTIGE Steckhülle:� ein individuelles Informationsblatt zur Schule mit An-

gaben zu den Testterminen und den an der Schule vor-handenen EDV-Ressourcen� eine „LISTE B – PISA-Schülerliste“� ein Blatt mit wiederablösbaren Etiketten mit den laufen-

den Nummern der teilnehmenden Schüler/innen für die Kennzeichnung der Arbeitsplätze� eine „PISA-Anwesenheitsliste“� ein „PISA-Testsitzungsprotokoll“ pro Testsitzung� ein „PISA-Testsitzungsprotokoll für den Nachtest“� ein „Formular zur Berechnung der Abwesenheitsrate“ (dieses

wurde ebenfalls elektronisch zur Verfügung gestellt)� einen Leitfaden für das Interview mit der/dem SK� einen Hinweis „Bitte nicht stören“ zum Aufkleben an der

Tür des Testraums� ein Rücksendeformular für das Schulkuvert� ein Kuvert für die Rücksendung der Materialien auf

Schulebene inkl. Rücksendelabel

GELBE Steckhülle:� ein Zugangsdatenblatt pro Schüler/in� 4 Reservezugangsdatenblätter

ROTE Steckhülle:� Beschäftigungsmaterial für Schüler/innen, die vorzeitig

mit dem Test fertig werden

Des Weiteren erhielt jede TL/jeder TL� eine USB-Box mit 27 USB-Sticks, mit der persönlichen

TL-ID gekennzeichnet und aufsteigend nummeriert� einen Taschenrechner� 10 Fineliner als Ersatz, falls einzelne Schüler/innen keinen

Stift haben� einen Notizblock zur Verteilung von Papier an die Schüler/

innen für Notizen, Rechnungen etc. während des Tests� Post-its für die Kennzeichnung der Sitzplätze bei einem

eventuell nötigen Nachtest� eine Rolle Paketklebeband� eine Schere

GRÜNE Steckhülle:� eine Material-Checkliste� ein Rücksendeformular für die USB-Box� ein Rücksendelabel für die USB-Box� ein Informationsblatt für die Rücksendung der USB-Box

und des Schulkuverts

Wenn an einer Schule in Ausnahmefällen zwei TL eingesetzt wurden, um die Testsitzungen parallel durchzuführen, be-inhaltete das Schulkuvert je zwei Exemplare der „LISTE B – PISA-Schülerliste“, der „PISA-Anwesenheitsliste“, des Etikettenblatts zur Kennzeichnung der Arbeitsplätze und des „Bitte nicht stören“-Hinweises. In diesem Fall erhielt die TL-Koordinatorin/der TL-Koordinator das Schulkuvert für diese Schule und gab die nötigen Materialien am Testtag an die TL-Partnerin/den TL-Partner weiter.

Die Konfektionierung der Schulkuverts und der TL-Taschen fand am BIFIE statt und wurde unter Anleitung von BIFIE-Mitarbeiterinnen von Hilfskräften durchgeführt. Die Schul-kuverts wurden nach einer stichprobenartigen Überprüfung auf Vollständigkeit und Korrektheit verschlossen und auf die entsprechenden TL-Taschen verteilt.

Die TL-Taschen wurden im Rahmen der Schulungen an die jeweiligen TL übergeben. Diese waren ab der Übernahme bis zur Rücksendung an das BIFIE für die Sicherheit der darin enthaltenen Materialien verantwortlich.

Da einige der ausgewählten Schulen nicht oder nur zum Teil über die EDV-Ressourcen verfügten, die zur Durchführung des PISA-Tests nötig waren, wurden bei Bedarf Laptops des BIFIE an die Schulen gesandt. Für den Zeitraum des Test-fensters standen insgesamt 518 Laptops zur Verfügung, die mittels Paketdienst zum jeweiligen Testtermin in der be-


nötigten Anzahl an die Schulen geliefert und anschließend wieder abgeholt wurden. Die Zustellung erfolgte i. d. R. spätestens am Schultag vor dem Testtermin, die Abholung einen Schultag danach.

5.4.4 Rücklaufkontrolle und Sicherung der Daten auf den USB-Sticks

Die TL wurden gebeten, jedes Schulkuvert unmittelbar nach Abschluss der letzten Testsitzung bzw. des Nachtests an einer Schule an das BIFIE zu retournieren. Die USB-Box sollte nach Abschluss aller Testsitzungen der/des TL zurückgesendet werden. Die Rücklaufkontrolle am BIFIE wurde ab dem Ein-treffen der ersten Materialien laufend durchgeführt. Für jede Schule wurde dokumentiert, ob sämtliche Materialien voll-ständig retourniert worden waren. Bei den USB-Boxen wurde besonders darauf geachtet, dass alle ausgegebenen USB-Sticks (inkl. des TL-Sticks, der mit der postalischen Zusendung des Testleiterhandbuchs zur Einarbeitung übermittelt wurde) retourniert wurden. Die Rücklaufkontrolle wurde sowohl von BIFIE-Mitarbeiterinnen als auch von Hilfskräften durch-geführt, die zuvor geschult worden waren.

Die auf den USB-Sticks gespeicherten Schülerantworten wurden laufend von Mitarbeiterinnen und Mitarbeitern des BIFIE ausgelesen, gesichert, anhand der Anwesenheitslisten auf Vollständigkeit überprüft und für die Bewertung der offenen Schüleraufgaben (siehe Kapitel 7) weiterverarbeitet. Außerdem wurden die Protokolle aller Testsitzungen sowie die Interviews mit den SK elektronisch erfasst.

5.5 Testadministration durch Testleiter/innen (TL)

Bei PISA 2018 waren insgesamt 123 speziell geschulte, externe TL für die Durchführung der Testungen verantwortlich. Zu-sätzlich wurden Testungen von drei BIFIE-Mitarbeiterinnen und -mitarbeitern durchgeführt. Die TL administrierten bis zu acht Testtermine an bis zu fünf verschiedenen Schulen. Im Durchschnitt führte jede TL/jeder TL vier Testsitzungen an zwei Schulen durch.

Bei den TL handelte es sich um pädagogisch erfahrene Personen – aktive oder pensionierte Lehrer/innen, Lehr-amtsstudierende ab dem 3. Semester sowie Personen mit anderen pädagogischen Qualifikationen (z. B. Hort- oder Freizeitpädagoginnen und -pädagogen) –, die zu einem großen Teil bereits bei vorhergehenden PISA-Erhebungen oder im Rahmen anderer internationaler oder nationaler Schülerleistungsstudien als TL tätig gewesen waren. Neben pädagogischen Kompetenzen war auch ein sicherer Umgang mit Computern Voraussetzung für die Tätigkeit als TL.

Der wiederholte Einsatz pädagogisch versierter Personen und die gezielte Schulung unterstützen die Einhaltung der standardisierten Testabläufe und gewährleisten eine hohe Durchführungsreliabilität.

5.5.1 Rekrutierung der TL

Das BIFIE verfügt für die internationalen Studien PISA, PIRLS und TIMSS über alle Bundesländer hinweg über ein Netz an TL. Viele dieser Personen sind Lehrer/innen im Ruhestand. Im Oktober 2017 wurden jene TL, die bereits bei vorhergehenden Erhebungen mitgewirkt hatten, sowie Personen, die im Vorfeld Interesse an der TL-Tätigkeit be-kundet hatten, per E-Mail kontaktiert. Diese hatten nicht nur die Möglichkeit, sich als TL für PISA 2018 zu bewerben, sondern ebenfalls für den Feldtest zu TIMSS 2019, der von 14. März bis 18. April 2018 stattfand. Die E-Mail ent-hielt Informationen zu den beiden Studien, Auskünfte zur Tätigkeit als TL (Schulungstermine, Pauschalen, rechtliche Rahmenbedingungen etc.) sowie den Link zu einem Online-formular. Über dieses Formular konnte man sich als TL an-melden und bereits den gewünschten Schulungstermin aus-wählen. Außerdem wurden die Daten von den TL erhoben, die u. a. für die Schulzuteilung benötigt wurden:

� persönliche Angaben (Name, Titel, Adresse, Telefon-nummer, E-Mail-Adresse, pädagogische Ausbildung bzw. Qualifikation)� gewünschte Anzahl an Testschulen� Angaben zur Mobilität (Verfügbarkeit eines Pkw, maximal

gewünschte Anfahrtszeit)� Zustimmung zur Weitergabe und Verarbeitung der Daten

für den Zweck der Studie

Da für PISA 2018 eine große Anzahl an TL nötig war, wurden zusätzlich zu jenen Personen, die bereits für das BIFIE ge-testet hatten, neue TL gesucht. Besonderes Augenmerk lag dabei auf TL aus Oberösterreich, da dort im Rahmen einer Zusatzstichprobe TL für rund 40 zusätzliche Schulen be-nötigt wurden. Das Informationsblatt zur TL-Tätigkeit sowie der Link zum Anmeldeformular wurden zur Rekrutierung neuer TL unter anderem an Kontaktpersonen an den Pädagogischen Hochschulen weitergeleitet. Diese wurden gebeten, die Ausschreibung an Interessierte weiterzugeben. Zusätzlich wurden Inserate in mehreren Jobportalen ge-schaltet. Außerdem wurden Informationsschreiben an die Vertreter/innen regionaler Lehrerbünde mit der Bitte um Weiterleitung gesendet.

Nachdem eine ausreichende Anzahl an TL in allen Bundes-ländern verfügbar war, wurde die Schulzuteilung vor-genommen. Dabei war die räumliche Nähe des Wohnorts der TL zu den Schulstandorten wesentlich. In der Regel testen TL an Schulen, die in maximal einer Stunde Fahrzeit von ihrem Wohnort aus erreichbar sind. Einige TL hatten sich im Vorfeld bereit erklärt, auch an weiter entfernten Schulen zu testen.


Bevor den TL mitgeteilt wurde, an welchen Schulen sie testen werden, erhielten sie Anfang Dezember 2017 postalisch zwei Exemplare ihres Arbeitsvertrags zugesandt. Mit der Unter-zeichnung verpflichteten sich die TL auch zur Einhaltung des Datenschutzes, also zum vertraulichen Umgang mit allen Informationen, die sie durch ihre TL-Tätigkeit erhielten (teil-nehmende Schulen und Schüler/innen, Testtermine, Inhalte der Testmaterialien).

Nachdem alle unterzeichneten Verträge am BIFIE eingelangt waren, erhielten die TL im Jänner 2018 ihre Schulzuteilung per E-Mail. Diese enthielt alle Informationen zu den ihnen zugeteilten Schulen (Adresse, Kontaktdaten der/des SK, Hin-weise zur EDV-Ausstattung) sowie Anleitungen zu ihren nächsten Aufgaben als TL. Die TL mussten innerhalb einer Woche per Onlineformular bestätigen, dass sie alle ihnen zu-geteilten Schulen übernehmen konnten. Wenn die Testung an einer zugeteilten Schule für die/den TL nicht möglich war, sollte dies telefonisch mit dem BIFIE besprochen werden. Ggf. wurde die betreffende Schule einer/einem anderen TL zugeteilt.

5.5.2 Tätigkeiten der TL

Neben der eigentlichen Testdurchführung an der Schule umfassten die Aufgaben der TL eine Reihe vor- und nach-bereitender Tätigkeiten, die im Folgenden beschrieben werden.

Tabelle 5.5 zeigt den Ablauf eines regulären PISA-Testtages.

5.5.3 Vorbereitende Tätigkeiten

Vereinbarung der Testtermine

Sämtliche Testsitzungen mussten in Österreich im Zeitraum zwischen 9. April und 18. Mai 2018 stattfinden. Die letzte Woche sollte jedoch nur für ggf. nötige Nachtests gewählt werden. Für lehrgangsmäßig geführte Berufsschulen gab es die Möglichkeit vorgezogener Testungen ab dem 12. März 2018. Dadurch konnten auch Schüler/innen erreicht werden, deren Lehrgang bereits vor Beginn des regulären Testfensters endete. Die teilnehmenden Schulen hatten die Möglichkeit, ihre Testtermine in Absprache mit der/dem TL innerhalb des Testfensters frei zu wählen. Manche Schulen hatten zuvor Wunschtermine eingereicht, die an die entsprechenden TL weitergeleitet wurden. Die/der TL kontaktierte die/den SK Ende Jänner 2018, um die Testtermine zu vereinbaren. In der Regel waren pro Schule zwei Termine nötig. Diese wurden per Onlineformular an das BIFIE rückgemeldet.

Vorbereitung auf die Testdurchführung

Die TL erhielten Ende Februar 2018 eine Postsendung mit dem TL-Handbuch sowie einem TL-USB-Stick, der mit ihrer persönlichen ID gekennzeichnet war und sich durch ein rot beschriftetes Etikett farblich von den Schüler-USB-Sticks unterschied. Das Handbuch beschrieb die Aufgaben der TL sowie die Abläufe der Testdurchführung im Detail und sollte vor der Schulung durchgelesen werden. Mit dem USB-Stick

Tabelle 5.5: Ablauf eines PISA-Testtages (PISA 2018)

Tätigkeit Zeit

Vorb

e-re

itu

ng

Treffen mit der/dem SK, Aktualisierung der „LISTE B – PISA-Schülerliste“, Vorbereitung des Computerraums

ca. 60 bis 90 Min.

Empfang der Schüler/innen, Zuweisung zu den Sitzplätzen, Anwesenheitskontrolle ca. 5 Min.

Du

rchf

ühru

ng d

esP

ISA

-Tes

ts

Information zum PISA-Test, Verteilen der Zugangsdatenblätter, Einloggen der Schüler/innen ca. 15 Min.

ges

amt

ca. 3

,5 S

tund

en

Einführung zum ersten Testteil ca. 5 Min.

erster Teil des PISA-Tests exakt 60 Min.

kurze Pause ca. 5 Min.

Einführung zum zweiten Testteil ca. 5 Min.

zweiter Teil des PISA-Tests exakt 60 Min.

Pause ca. 15 Min.

Schülerfragebogen ca. 50 Min.

Beenden des Tests ca. 5 Min.

Nac

hber

eitu

ng

Aufräumen des Computerraums ca. 30 bis 40 Min.

Kontrolle der Formulare und Listen ca. 15 Min.

Entscheidung über einen Nachtest ca. 10 Min.

Interview mit der/dem SK ca. 15 Min.

Kontrolle der Materialien und Retournierung ca. 15 Min.


konnten sich die TL bereits mit dem PISA-Testsystem (Ein-stieg, Aufbau, Navigation) vertraut machen.

In den regionalen Schulungen Mitte März 2018 wurden die TL durch Mitarbeiterinnen des BIFIE auf die Durch-führung des PISA-Tests vorbereitet. Dazu wurden sieben Schulungstermine angeboten (je ein Termin in Salzburg, Innsbruck und Graz und je zwei Termine in Linz und Wien). In der ca. vier Stunden dauernden Schulung wurden die Aufgaben der TL ausführlich besprochen und wichtige Aspekte durch praktische Übungsbeispiele veranschaulicht (Telefonat zwischen SK und TL zur Aktualisierung der „LISTE B – PISA-Schülerliste“, Vorbereitung der Computer bzw. Laptops, Zuweisung der Schüler/innen zu den Arbeits-plätzen, Navigation im Testsystem).

Im Anschluss an die Schulung erhielten die TL eine Tasche mit allen für die Durchführung der Testsitzungen benötigten Materialien. Sie wurden gebeten, diese unmittelbar nach Er-halt auf ihre Vollständigkeit hin zu überprüfen.

Für jene fünf erfahrenen und mit dem PISA-Testsystem vertrauten TL, die bereits im vorgezogenen Berufsschul-Testfenster PISA-Testungen durchführten, wurden Anfang März Telefon-Schulungen abgehalten.

Überprüfung und Aktualisierung der „LISTE B – PISA -Schülerliste“

Spätestens eine Woche vor dem (ersten) vereinbarten Test-termin setzte sich die/der TL erneut telefonisch mit der/dem SK in Verbindung. Die/der TL erkundigte sich, ob alle Angaben der „LISTE B – PISA-Schülerliste“ korrekt waren oder ob Änderungen vorgenommen worden waren. Zudem vergewisserte sich die/der TL, dass die/der SK alle Vorbereitungen zur Durchführung des Tests getroffen hatte (z. B. Reservierung des Computerraums, Information der Schüler/innen, Eltern und Lehrpersonen). Da maximal 25

Schüler/innen an einer Testsitzung teilnehmen konnten, an vielen Schulen aber bis zu 36 Schüler/innen zur Teilnahme ausgewählt waren, wurden die Schüler/innen von der/dem SK ggf. auf im Regelfall zwei Termine aufgeteilt. Beim Telefonat wurden die TL von der SK/von dem SK über die Aufteilung der Schüler/innen informiert, sodass diese die Materialien entsprechend vorbereiten und sortieren konnten.

Nach dem Telefonat übermittelten die TL die Informationen zur Testung (Gesamtzahl der auszuschließenden Schüler/innen, Anzahl der teilnehmenden Schüler/innen pro Test-sitzung, ggf. Anzahl der benötigten BIFIE-Laptops pro Test-sitzung) mittels Onlineformular an das BIFIE.

5.5.4 Tätigkeiten am Testtag

Treffen mit der/dem SK am Morgen des Testtags

Am Testtag trafen sich die/der TL und die/der SK mindestens 1 bis 1,5 Stunden vor Testbeginn an der Schule, um den Testraum vorzubereiten und letzte organisatorische Punkte zu klären. Hatte die/der SK noch Änderungen auf der „LISTE B – PISA-Schülerliste“ vorgenommen (z. B. fehler-hafte Schülerdaten korrigiert oder Ausschlusscodes vergeben), wurden diese besprochen und ggf. auf die Liste der/des TL übertragen.

Vorbereitung des Testraums und der Computer bzw. BIFIE-Laptops

Für die Vorbereitung des Testraums benötigte die/der TL die Unterstützung der/des SK oder der/des EDV-Beauftragten der Schule. Bei Verwendung von BIFIE-Laptops mussten diese in den Testraum gebracht, ausgepackt und aufgebaut werden. Die PCs/Laptops mussten dann gestartet und für den PISA-Test vorbereitet werden. Dazu steckte die/der TL einen USB-Stick in jeden PC/Laptop ein und startete die Testsoftware. Anschließend wurde die Eignung der EDV-

Abbildung 5.2: Login-Seite für Schüler/innen


Geräte nochmals mit der auf der Testsoftware vorhandenen Systemdiagnose überprüft. War der getestete PC/Laptop für die Testdurchführung geeignet, konnte der PISA-Test durch die Eingabe eines vom BIFIE zur Verfügung gestellten Pass-worts gestartet werden. Die Vorbereitung der Geräte war abgeschlossen, sobald auf jedem Bildschirm die Login-Seite für die Schüler/innen (siehe Abbildung 5.2) zu sehen war.

Anschließend klebte die/der TL die wiederablösbaren Etiket-ten mit der laufenden Schüler-ID auf die Arbeitsplätze und legte auf jeden Platz zwei Blatt Papier, das die Schüler/innen während des Tests für Notizen verwenden konnten.

Zuweisung der Sitzplätze

Da bei der Ziehung der Schülerstichprobe in KeyQuest gleichzeitig die Testform für die einzelnen Schüler/innen festgelegt wurde, war bei der Zuweisung der Schüler/innen zu ihren Sitzplätzen besondere Sorgfalt nötig. Die TL er-hielten vom BIFIE zur Testdurchführung ausschließlich Listen („LISTE B – PISA-Schülerliste“ und „PISA-Anwesen-heitsliste“) OHNE Schülernamen, weshalb bei der Zuweisung der Sitzplätze eine Verknüpfung zwischen den Schülerinnen und Schülern und deren laufender Nummer hergestellt werden musste. Dazu wurde die Unterstützung der/des SK benötigt, die/der über jene „LISTE A – Liste aller Schüler/innen“ verfügte, die sowohl die laufenden Nummern UND die Schülernamen enthielt; die Liste der/des TL hingegen enthielt nur die laufenden Nummern. Das Verbindungsglied zwischen den beiden Listen war also die laufende Nummer der Schüler/innen.

Die/der TL nannte der Reihe nach die laufenden Nummern der Schüler/innen. Anhand dieser Nummern konnte die/der SK die Schüler/innen auf ihrer/seiner Liste mit den Namen identifizieren, sie namentlich aufrufen und anweisen, sich an den Platz zu setzen, der mit dieser laufenden Nummer gekennzeichnet war.

Nachdem die Zuweisung der Sitzplätze abgeschlossen war und die/der SK den Raum verlassen hatte, verteilte die/der TL die Blätter mit den individuellen Zugangsdaten (Benutzer-name und Passwort) an die Schüler/innen. Dabei musste sie/er sicherstellen, dass die richtigen Schüler/innen anwesend waren und dass jede Schülerin/jeder Schüler das richtige Zugangs-datenblatt hatte und damit die für sie/ihn vorgesehene Form des Tests bearbeitete. Dazu forderte die/der TL die Schüler/innen nach der Verteilung der Zugangsdatenblätter auf, zu kontrollieren, ob die laufende Nummer auf dem Blatt mit der Nummer auf dem Arbeitsplatz übereinstimmte und ob die An-gaben zu Geschlecht, Geburtsdatum und Klasse richtig waren.

Durchführung des PISA-Tests

Der Ablauf einer PISA-Testsitzung ist sowohl international als auch national in hohem Maße standardisiert. Die Er-

hebung muss an allen beteiligten Schulen und in allen teilnehmenden Ländern auf dieselbe Weise durchgeführt werden, um die Vergleichbarkeit der Ergebnisse zu gewähr-leisten. Daher werden PISA-Testsitzungen anhand eines so-genannten Testleiterskripts durchgeführt. Dieses Skript ent-hält sowohl Anweisungen für die TL als auch Instruktionen für die Schüler/innen. Sämtliche Schülerinstruktionen (Ein-führung zur PISA-Studie, Anleitungen zur Bearbeitung der Testaufgaben, Logout nach Ablauf der Zeit) müssen von den TL wortwörtlich ohne Auslassungen oder Zusätze aus dem Skript vorgelesen werden. Der zeitliche Ablauf der Test-sitzungen ist ebenfalls exakt vorgegeben (siehe Tabelle 5.5) und muss genau eingehalten und im Testsitzungsprotokoll dokumentiert werden.

Bei PISA 2018 begann der Test mit einer kurzen Übungsein-heit mit allgemeinen Erklärungen zum Ablauf des Testsystems und Aufgabenbeispielen, die den Schülerinnen und Schülern halfen, sich mit dem Testsystem vertraut zu machen. An-schließend folgten zwei Testteile zu jeweils exakt 60 Minuten, zwischen denen es eine Pause von ca. 5 Minuten gab. Die Testsitzung durfte nicht vor Ablauf der vorgesehenen Zeit beendet werden.

Nach den beiden Testteilen folgte eine Pause von 15 Minuten. Anschließend loggten sich die Schüler/innen wieder mit ihren Zugangsdaten ein, um den Schülerfragebogen zu beantworten. Dieser bestand aus drei Teilen: einem all-gemeinen Fragebogen, einem Fragebogen zu Informations- und Kommunikationstechnologien sowie einem Frage-bogen zur Schullaufbahn. Waren alle Schüler/innen nach 50 Minuten mit der Bearbeitung der drei Fragebogenteile fertig, wurden sie angewiesen, sich auszuloggen. Benötigten einige Schüler/innen noch mehr Zeit, wartete die/der TL noch bis zu maximal zehn Minuten, bevor sie/er die Frage-bogensitzung beendete.

Für Schüler/innen, die in Deutsch nach Sonderschullehrplan unterrichtet werden, gibt es eine verkürzte Testversion von PISA, den sogenannten UH-Test (UH steht für „Une Heure“). Diese UH-Testsitzungen werden ebenfalls am Computer durchgeführt, folgen aber einem anderen zeitlichen Ablauf.

Für diese Version war pro Testteil eine Bearbeitungszeit von 30 Minuten vorgesehen. Bei Bedarf konnte die Be-arbeitungszeit allerdings um bis zu 20 Minuten verlängert werden. Im Anschluss an die Bearbeitung der UH-Testform beantworteten die Schüler/innen den UH-Fragebogen, eine ebenfalls verkürzte Version des regulären Schülerfragebogens. Für diesen war eine Bearbeitungszeit von 20 Minuten vor-gesehen, die um bis zu 5 Minuten verlängert werden konnte. Wie bei der regulären Testversion gab es zwischen dem ersten und dem zweiten Testteil eine Pause von 5 Minuten sowie eine 15-minütige Pause vor Beginn des Fragebogens. Für die Durchführung von UH-Testsitzungen erhielten die jeweiligen TL ein eigenes, angepasstes Testleiterskript.


Vervollständigung der Anwesenheitslisten und Testsitzungs protokolle

Für jede durchgeführte Testsitzung musste ein eigenes Test-sitzungsprotokoll ausgefüllt werden. Pro Schule wurde außerdem eine Anwesenheitsliste ausgefüllt. Die/der TL dokumentierte in der Anwesenheitsliste den Teilnahmestatus für jede Schülerin/jeden Schüler. Dazu verwendete sie/er die Codes 0 (abwesend), 1 (anwesend) oder 2 (teilweise anwesend [länger als 10 Minuten abwesend]).

Abbildung 5.3 zeigt eine durch die/den TL vollständig aus-gefüllte Anwesenheitsliste mit fiktiven Schülerdaten.

Auf den Testsitzungsprotokollen wurden neben einigen Informationen zur Identifikation der Testsitzung und dem Namen der/des TL folgende Informationen festgehalten:

� Testsitzungsnummer (fortlaufende Nummerierung der Testsitzungen an einer Schule)� Datum der Testsitzung� Beginnzeit und Ende der einzelnen Testteile sowie des

Fragebogens

� Probleme mit den Rahmenbedingungen der Testsitzung (z. B. gravierende Probleme mit der Disziplin, starker Lärm, zu kleiner Testraum, technische Probleme)

Die Anwesenheitsliste und die Testsitzungsprotokolle wurden nach Abschluss aller Testsitzungen an einer Schule gemeinsam mit den anderen Materialien im Schulkuvert an das BIFIE retourniert.

Entscheidung über einen Nachtest

Um die international vorgeschriebenen Rücklaufquoten zu erreichen, ist in bestimmten Fällen die Durchführung eines Nachtests notwendig. Die Entscheidung über einen Nachtest musste gesammelt für alle PISA-Schüler/innen einer Schule getroffen werden, unabhängig davon, wie viele Testsitzungen durchgeführt wurden. Nach den internationalen Vorgaben zu PISA 2018 musste ein Nachtest dann stattfinden, wenn über alle Testsitzungen an einer Schule hinweg genau oder mehr als 14 % der für die Teilnahme vorgesehenen Schüler/innen fehlten und am vereinbarten Nachtesttermin mindestens zwei Schüler/innen teilnehmen konnten. Für die UH-Version gab es keinen Nachtest.

Abbildung 5.3: Beispiel einer vervollständigten Anwesenheitsliste (PISA 2018)


Um den TL die Berechnung der Abwesenheitsrate zu er-leichtern, wurde ihnen ein elektronisches Excel-Formular per Mail zugesendet, in das sie die entsprechenden Zahlen aus den Anwesenheitslisten eintragen konnten. Das Formular berechnete dann automatisch, ob ein Nachtest stattfinden musste. War ein Nachtest notwendig, musste die/der TL den vereinbarten Termin in das Formular eintragen. Die Über-mittlung des Formulars an das BIFIE unmittelbar nach Ab-

schluss aller regulären Testsitzungen an einer Schule ermög-lichte die zeitgerechte Kontrolle der von den TL berechneten Abwesenheitsraten und ggf. die Nachfrage bzw. Aufforderung, einen Nachtesttermin mit der Schule zu vereinbaren.

Abbildung 5.4 zeigt das Musterbeispiel eines ausgefüllten Formulars zur Berechnung der Abwesenheitsrate. An dieser Schule waren insgesamt 36 Schüler/innen für die Teil-

Abbildung 5.4: Beispiel eines ausgefüllten Formulars zur Berechnung der Abwesenheitsrate (PISA 2018)


nahme an PISA ausgewählt. 6 Schüler/innen waren bei den Testungen abwesend und erhielten daher Code 0 in der „PISA-Anwesenheitsliste“, wobei eine Schülerin/ein Schüler bereits im Vorfeld einen Ausschlusscode erhalten hatte. Für einen Nachtest blieben damit 5 Schüler/innen übrig. Die Abwesenheitsrate wurde mit 16,67 % berechnet. Damit waren die beiden Bedingungen für einen Nachtest (mehr als eine nachzutestende Schülerin/ein nachzutestender Schüler, Abwesenheitsrate ≥ 14 %) erfüllt. Dieser wurde für den 8. Mai 2018 festgelegt.

5.5.5 Nachbereitende Tätigkeiten

Retournierung des Testmaterials

Die TL waren für die Rücksendung des gesamten Test-materials an das BIFIE verantwortlich. Sie wurden instruiert, jedes Schulkuvert unmittelbar nach Abschluss der letzten Testsitzung an einer Schule per Post zu retournieren. Die USB-Box musste nach Abschluss aller Testsitzungen einer/eines TL zurückgesendet werden. Die Rücksendungen waren bereits vorab bezahlt und mit einem entsprechenden Label versehen. Die Rücksendenummer des Postbelegs wurde per Onlineformular an das BIFIE übermittelt, um ggf. die Nach-verfolgung zu ermöglichen.

5.6 Maßnahmen zur Qualitätssicherung

Die Qualitätssicherung bei der Testorganisation und -durch-führung zählt zu den wesentlichen Aufgaben des BIFIE. Einerseits gilt es sicherzustellen, dass die international vor-gegebenen Standards eingehalten werden, andererseits werden die Abläufe evaluiert, um Optimierungen sowohl auf inter-nationaler als auch auf nationaler Ebene zu ermöglichen. Im Folgenden werden die Maßnahmen zur Qualitätssicherung erläutert.

5.6.1 Der Feldtest als Probelauf

Ein wichtiger Bestandteil der Qualitätssicherung im Bereich Testorganisation und -durchführung ist der Feldtest. Jeweils ein Jahr vor der Haupterhebung werden im Rahmen eines Feldtests sämtliche Prozeduren für den Haupttest geprüft. Treten im Feldtest Probleme auf, können entsprechende Veränderungen für den Haupttest vorgenommen werden. Für PISA 2018 fand der Feldtest in Österreich zwischen 20. April und 26. Mai 2017 mit einer Zufallsstichprobe von rund 40 Schulen statt. Im Feldtest beobachteten BIFIE-Mitarbeiterinnen einige Testsitzungen und führten Interviews mit den SK, um einen Eindruck vom Ablauf und von der Qualität der Testdurchführung zu gewinnen und ggf. An-regungen für Verbesserungen zu erhalten.

5.6.2 Zusammenarbeit mit Schulen

Die Zusammenarbeit mit den ausgewählten Schulen ist ein wichtiger Bestandteil der gesamten Erhebung. Zwar ist die verpflichtende Teilnahme der Schüler/innen im BIFIE-Gesetz (§ 6 Abs. 2 BGBl. I Nr. 25/2008 i. d. g. F.) geregelt, doch die Testung ist ohne vorbereitende und begleitende Tätigkeiten engagierter schulinterner Personen nicht möglich.

Um die Kooperation zwischen den Schulen und dem BIFIE zu fördern, ist die Minimierung des Arbeitsaufwands für die Schulen wesentlich. Dies wird zum einen durch den Einsatz externer TL erreicht, die sowohl die Testdurchführung als auch zahlreiche administrative und organisatorische Tätig-keiten übernehmen. Zum anderen werden die SK vom BIFIE in drei Anschreiben informiert und instruiert, um die an der Schule zu erledigenden Aufgaben mit möglichst geringem Aufwand bewältigen zu können.

Der internationale Vertragspartner ETS stellt eine Vorlage für ein SK-Handbuch bereit, das die notwendigen Schritte im gesamten Projektverlauf erläutert. Jedes Land muss zu-nächst die im Handbuch vorgeschriebenen Prozeduren adaptieren und diese Adaptierungen vom dafür zuständigen internationalen Vertragspartner ETS genehmigen lassen. Erst dann darf mit der Übersetzung des Handbuchs und mit dem Schulkontakt begonnen werden. In Österreich wird dieses Handbuch nicht in dieser Form eingesetzt. Stattdessen werden die SK seit PISA 2000 mit Genehmigung von inter-nationaler Seite mittels der zuvor erwähnten zeitversetzten Informationsschreiben instruiert, die sämtliche Inhalte des internationalen Handbuchs abdecken. Der Vorteil dieser gestaffelten Informationsübermittlung liegt darin, dass die SK zeitgerecht die Instruktionen für die Aufgaben erhalten, die im Moment zu erledigen sind. Die inhaltliche Überein-stimmung mit der internationalen Version des Handbuchs sowie die sprachliche Qualität der Informationsschreiben wurden vom internationalen Konsortium im Zuge des Veri-fikationsprozesses geprüft.

5.6.3 Materiallogistik

Die Bereitstellung einwandfreier Testmaterialien, die korrekte Verteilung der personalisierten Zugangsdatenblätter an die Schüler/innen und die Geheimhaltung der Testaufgaben sind bei PISA unbedingt zu gewährleisten.

Bevor die Testsoftware auf die USB-Sticks gespielt wurde, wurden die unterschiedlichen Testformen und der Schüler-fragebogen auf der Master-Version des USB-Sticks von Mit-arbeiterinnen des BIFIE getestet und kontrolliert. Dabei wurde jede Testform durchgeklickt, der Taschenrechner wurde ausprobiert und jede Antwortmöglichkeit wurde aus-gefüllt oder angeklickt. Auch die Hilfeseiten wurden auf-gerufen. Nachdem sichergestellt war, dass die Testsoftware der Master-Version einwandfrei funktionierte, wurden die etwa


3.700 USB-Sticks am BIFIE damit bespielt. Pro Bespielungs-vorgang (60 USB-Sticks) wurden 5 USB-Sticks von externen Personen, die durch BIFIE-Mitarbeiterinnen geschult worden waren, auf Vollständigkeit und ihre Funktionstüchtigkeit getestet. Im Anschluss wurden die USB-Sticks mit einem Etikett (einer personalisierten Nummer für jede TL/jeden TL) versehen und in die dafür vorgesehene Box verpackt.

Die Testmaterialien (Zugangsdatenblätter, Listen, Sitz-platzetiketten) wurden von entsprechend geschultem ex-ternem Personal zu Schulkuverts zusammengestellt. Diese wurden von BIFIE-Mitarbeiterinnen stichprobenartig auf Vollständigkeit überprüft. Die TL wurden aufgefordert, die Vollständigkeit der Materialien nach Erhalt zu überprüfen, sodass ggf. fehlende Materialien noch vor der ersten Test-sitzung nachgeliefert werden konnten.

Für jede Schülerin/jeden Schüler musste am Testtag ein ge-eigneter PC/Laptop zur Verfügung stehen. Die SK der aus-gewählten Schulen erhielten im Vorfeld einen USB-Stick mit einer Systemdiagnose-Software, durch die die Eignung der Schul-PCs und -Laptops für die Durchführung des PISA-Tests überprüft werden musste. Waren an einer Schule keine oder zu wenige geeignete Computer vorhanden, wurden vom BIFIE Laptops bereitgestellt. Zusätzlich mussten die TL am Morgen des Testtags die schuleigenen Geräte nochmals mit der Systemdiagnose überprüfen, um ggf. nicht geeignete Computer bei der Sitzplatzzuweisung auszulassen oder nach Möglichkeit noch ein Ersatzgerät zu organisieren.

Um sicherzustellen, dass jede Schülerin/jeder Schüler über das Passwort auf dem individuellen Zugangsdatenblatt ihre/seine richtige Testform erhielt, mussten die Schüler/innen vor Beginn des Tests prüfen, ob die persönlichen Daten (Geschlecht, Geburtsmonat und -jahr, Klasse) auf dem Zu-gangsdatenblatt korrekt waren.

Die Sicherheit der Testmaterialien musste stets gewährleistet sein, da sie bei zukünftigen Erhebungen teilweise wieder-verwendet werden. Der Schutz der vertraulichen Schüler-antworten musste ebenfalls gegeben sein. Ein Verlust von Materialien hätte zudem einen unwiederbringlichen Daten-verlust dargestellt. Um einen solchen zu vermeiden, wurden die Erhebungsmaterialien persönlich an die TL übergeben. Diese waren bis zur belegten Retournierung an das BIFIE zum vertraulichen Umgang mit allen Materialien verpflichtet.

Der Rücklauf der Testmaterialien wurde am BIFIE kon-trolliert, um sicherzustellen, dass sämtliche ausgegebenen Mate rialien wieder retourniert worden waren.

5.6.4 Testadministration

Für die Qualität der PISA-Daten ist es besonders wichtig, alle Schüler/innen unter möglichst gleichen Rahmenbedingungen zu testen. Der standardisierte Ablauf der Testsitzungen ist eine

unverzichtbare Voraussetzung für die Vergleichbarkeit der Er-gebnisse. Für die Standardisierung der Datenerhebung sind vor allem vier Maßnahmen von Bedeutung:

� der Einsatz externer TL für die Administration der Erhebung� das standardisierte Handbuch für die Testdurchführung

inklusive standardisierter Instruktionen (Skripts) für die Schüler/innen� die persönliche Vorbereitung der TL und ihre Teilnahme

an der Schulung� die Qualitätskontrollen der Testsitzungen auf nationaler

und internationaler Ebene

Diese Aspekte leisten einen entscheidenden Beitrag zur Durchführungsobjektivität und -reliabilität sowohl innerhalb Österreichs als auch über die Teilnehmerstaaten hinweg. Im Folgenden werden diese vier Qualitätssicherungsmaßnahmen näher beschrieben.

Einsatz externer TL

Der Einsatz schulexterner Personen als TL, die zur jeweiligen Schule kommen, die Testung durchführen und anschließend sämtliche Materialien wieder mitnehmen, hat sich bei vor-hergehenden PISA-Erhebungen und anderen internationalen Studien bewährt und bietet folgende Vorteile:

� objektive Testdurchführung: Nach internationalen Vor-gaben ist der Einsatz schulinterner TL zulässig, solange diese Personen keine der zur Teilnahme an PISA aus-gewählten Schüler/innen unterrichten. Durch den Ein-satz schulexterner TL wird jedoch die Durchführungs-objektivität gesteigert. Man nimmt an, dass schulexterne TL unbefangen sind und kein Interesse daran haben, die Testergebnisse einzelner Schüler/innen bzw. Schulen zu beeinflussen.

� Wahrung der Vertraulichkeit: Der vertrauliche Umgang mit den Schülerantworten wird dadurch gewährleistet, dass die externen TL nicht in das Schulgeschehen ihrer Testschule(n) involviert sind. Zudem steigert die Test-durchführung durch eine schulexterne Person die Bereit-schaft der Schüler/innen, die Fragen offen zu beantworten.

� Sicherheit der Testmaterialien: Die Sicherheit der Test-materialien ist ein sehr wichtiger und sensibler Punkt bei PISA. Die PISA-Testaufgaben dürfen nicht an die Öffentlichkeit gelangen, da sie teilweise auch in künftigen Erhebungen eingesetzt werden. Die TL kommen mit dem gesamten Testmaterial an die Schule und nehmen dieses nach der Durchführung der Testsitzung wieder mit. Damit ist sichergestellt, dass sich zu keinem Zeitpunkt Material unbeaufsichtigt an der Schule befindet.

� Minimierung des Aufwands für die Schulen: Durch den Einsatz externer TL wird der organisatorische Aufwand


für die Schulen verringert. Diese sind weder mit der konkreten Testdurchführung noch mit der Administration der Erhebungsmaterialien befasst.

� Motivation der TL: Da die TL-Tätigkeit von engagierten und pädagogisch versierten Personen ausgeübt wird, kann von einer hohen Motivation der TL ausgegangen werden.

Testleiterhandbuch

Das Handbuch enthält sämtliche Informationen, die die TL zur Durchführung der Testsitzungen benötigen. Eine englische Version des Handbuchs, die von internationaler Seite zur Verfügung gestellt wird, wird vom BIFIE übersetzt und an die nationalen Gegebenheiten angepasst. Inhaltliche Abweichungen dieser nationalen Version müssen vorab vom internationalen Vertragspartner ETS genehmigt werden.

Das TL-Handbuch ist von besonderer Bedeutung für die Standardisierung der Testsitzungen, da darin nicht nur die Aufgaben der TL beschrieben werden, sondern auch die Instruktionen für die Schüler/innen enthalten sind. Die TL müssen diese bei der Durchführung der Testsitzung wortwörtlich vorlesen. Dadurch wird eine größtmögliche Standardisierung des Testablaufs sichergestellt.

Vorbereitung und Schulung der Testleiter/innen

Die Kompetenz der TL zur Durchführung der Testsitzungen wird durch zwei Maßnahmen gesichert: einerseits durch die persönliche Vorbereitung mithilfe des TL-Handbuchs, andererseits durch die verpflichtende Teilnahme an einer Schulung. Die TL erhielten vor der Schulung das Hand-buch und einen TL-USB-Stick. Das Handbuch sollte zur Vorbereitung auf die Schulung durchgearbeitet werden. Mit dem USB-Stick sollten sich die TL vorab mit dem PISA-Test-system vertraut machen. Zu diesem Zweck gab es eigene Zu-gangsdaten für TL, die den Einstieg in eine spezielle Version des PISA-Tests ermöglichten, die ausschließlich freigegebene Testaufgaben enthielt. Durch die Vorbereitung konnten Un-klarheiten, die beim Durchlesen des Handbuchs bzw. beim Ausprobieren der Testsoftware auftraten, bei der Schulung thematisiert werden. Bei der ca. vierstündigen Schulung

wurden die Aufgaben der TL im Detail besprochen und in Form praktischer Übungen erklärt. Die Durchführung des PISA-Tests am Computer wurde ebenfalls geübt.

Qualitätssicherung und -kontrolle während der Testungen

Zur Qualitätssicherung stand den TL an den Testtagen ab 7 Uhr morgens eine Telefon-Hotline zur Verfügung. Damit hatten sie bei konkreten Problemen während der Testdurch-führung die Möglichkeit, Rücksprache mit einer BIFIE-Mitarbeiterin zu halten.

Darüber hinaus gab es an den Testtagen eine weitere Maß-nahme zur Qualitätskontrolle: Auf internationaler Ebene wird der Ablauf der Testsitzungen in allen teilnehmenden Staaten durch den Einsatz von PISA Quality Monitors (PQM) kontrolliert. Diese Qualitätsbeobachter/innen werden vom internationalen Vertragspartner ETS beschäftigt und ein-geschult, wobei jedes nationale Zentrum im Vorfeld geeignete Personen für diese Tätigkeit nominiert. PQM haben die Auf-gabe, ausgewählte Schulen im jeweiligen Teilnehmerland am Testtag zu besuchen und den Ablauf der Testsitzungen zu protokollieren. Die PQM sind am Testtag als stille Be-obachter/innen anwesend und sollen das Verhalten der TL und der Schüler/innen in keiner Weise beeinflussen. Ziel des Einsatzes internationaler PQM ist die Dokumentation der beobachteten Abläufe und Geschehnisse, um dem inter-nationalen Zentrum einen Einblick in die Qualität der Test-durchführung der einzelnen Länder zu ermöglichen.

In Österreich waren zwei Personen als PQM im Einsatz, die im Auftrag des internationalen Vertragspartners ETS ins-gesamt 16 Testsitzungen beobachteten und dokumentierten. Die Ergebnisse der Schulbesuche wurden direkt an ETS über-mittelt.

Zusätzlich zum internationalen Qualitätsmonitoring be-suchten zwei nationale Qualitätsbeobachter/innen 15 weitere Testsitzungen, um eine Rückmeldung zur Qualität der Erhebung auf nationaler Ebene zu erhalten. Die dabei gesammelten Beobachtungen wurden am BIFIE ausgewertet und werden in die Überlegungen und Planungen kommender Erhebungen einfließen.

Bibliografie

Suchań, B., Höller, I. & Toferer, B. (2016). Testorganisation und Durchführung. In: B. Suchań & S. Breit (Hrsg.), PISA 2015. Technischer Bericht. Verfügbar unter https://www.bifie.at/wp-content/uploads/2017/04/05_TB_Kapitel5_PISA15_final.pdf



6 Rücklauf, Stichprobenausfälle und Stichproben-größen bei PISA 2018

Anna Glaeser & Manuela Pareiss

In diesem Kapitel wird die realisierte Stichprobe für PISA 2018 getrennt für den Feldtest (Frühjahr 2017) und für den Haupttest (Frühjahr 2018) beschrieben. Dabei werden die Stichprobenausfälle analysiert und die Rücklaufquoten im Detail gezeigt. Die realisierte Stichprobe im Haupttest 2018 wird nach verschiedenen Merkmalen wie z. B. Strata (Schul-formen), regionaler Verteilung und Geschlecht charakterisiert.1

1 Dieser Text ist eine Aktualisierung des entsprechenden Kapitels 6 (Rücklauf, Stichprobenausfälle und Stichprobengrößen bei PISA 2015) im nationalen technischen Bericht zu PISA 2015 (Pareiss, 2016).

2 Das mit dem internationalen Zentrum abgestimmte Sampling-Design für Österreich sah vor, dass ausschließlich Schulen mit mindestens 53 Schülerinnen und Schülern für den Feldtest ausgewählt werden, um die Mindestanzahl von 200 Schülerantworten pro Testaufgabe für die Analyse des adaptiven Test-designs zu erreichen.

6.1 Rücklauf im Feldtest zu PISA 2018

Grundsätzlich dient der Feldtest bei PISA der Überprüfung der Qualität neu entwickelter Erhebungs materialien und der Auswahl der aufgrund ihrer Item charakteristiken ge-eignetsten Testaufgaben sowie der Erprobung der operativen Prozesse (z. B. Stichprobenziehung, Kommunikation mit den Schulen, Umgang mit Listen und Formularen, Testdurch-führung an den Schulen). Der Feldtest zu PISA 2018 hatte darüber hinaus einen weiteren, wichtigen Zweck: die Durch-führung des Probelaufs eines neuen adaptiven Testdesigns, das im Haupttest zu PISA 2018 erstmals zum Einsatz kommen sollte (siehe Kapitel 1 und 3 sowie OECD, 2019).

Die Grundlagen zur Stichprobenziehung (Sampling) und deren Umsetzung in Österreich werden in Kapitel 4 erläutert. Im hier vorliegenden Beitrag wird detailliert beschrieben, wie viele der ausgewählten (gesampelten) Schulen und Schüler/innen sich tatsächlich an PISA beteiligt haben.

6.1.1 Der Rücklauf auf Schulebene

Wie in Abschnitt 4.5.2 in Kapitel 4 beschrieben, wurden in Österreich 43 Schulen zur Teilnahme am Feldtest zu PISA 2018 ausgewählt. An vier dieser Schulen stellte sich heraus, dass im Schuljahr 2016/17 die tatsächliche Anzahl an PISA-Ziel-schülerinnen und -Zielschülern unter der erwarteten Mindest-zahl von 53 lag.2 In diesen Fällen wurden die jeweiligen Re-placement-Schulen kontaktiert. Alle ausgewählten Schulen waren bereit, an PISA teilzunehmen. Auf Schulebene kann somit eine Teilnahmequote von 100 % (inklusive Re-placement-Schulen) verzeichnet werden. Ebenso füllten alle 43 Schulleiter/innen den Online-Schulfragebogen aus, womit hier ebenfalls ein Rücklauf von 100 % erreicht wird.

Eine Übersicht über die Verteilung der Feldtestschulen auf die 17 Strata und die Rücklaufquoten in den einzelnen Strata finden sich in Tabelle 6.1.

Aufgrund der internationalen Vorgabe im Sampling-Design, für den Feldtest Schulen auszuwählen, an denen mindestens 53 PISA-Zielschülerinnen und -schüler unterrichtet werden (im Feldtest ist ein solches Vorgehen im Gegensatz zu einer Haupterhebung zulässig), kommen in 5 der 17 Strata keine Schulen vor. Da es in Stratum 5 (Schulen mit Statut – Waldorfschulen), Stratum 6 (Schulen mit Statut – Sonstige), Stratum 8 (landwirtschaftliche Berufsschulen) und Stratum 9 (gewerbliche BMS) keine oder nur sehr wenige Schulen gibt, die dieses Kriterium erfüllen, sind diese Strata nicht in der Feldtest-Stichprobe vertreten. Landwirtschaftliche BMS (Stratum 12) unterliegen nach dem Bundes-Verfassungsgesetz (§ 14a B-VG idF BGBl. I Nr. 138/2017) nicht der Bundes-gesetzgebung, die Schüler/innen dieser Schulen sind daher nach dem BIFIE-Gesetz (§ 6 Abs. 2 BGBl. I Nr. 25/2008 i. d. F. BGBl. I Nr. 138/2017) nicht zur Teilnahme an der PISA -Erhebung verpflichtet. Auf eine Beteiligung dieser Schulen wurde daher im Feldtest verzichtet (auch dies ist ausschließlich in einem Feldtest erlaubt).

6.1.2 Schüler/innen, die nicht getestet werden können

Jede teilnehmende Schule erstellte eine Liste aller Schüler/innen des Geburtsjahrgangs 2001 an der Schule. Diese Listen dienten als Basis für den zweiten Schritt der Stichproben-ziehung, die Auswahl der Schüler/innen. Nach Ziehung der Schülerstichprobe erhielt jede teilnehmende Schule eine Liste der i. d. R. 53 ausgewählten Schüler/innen an der Schule, die sogenannte PISA-Schülerliste.

66 6 – Rücklauf, Stichprobenausfälle und Stichprobengrößen bei PISA 2018

Die PISA-Schülerlisten enthalten mitunter Schüler/innen, die aus einem der folgenden Gründe nicht getestet werden können oder dürfen:

1. Schüler/innen, die fälschlicherweise auf der PISA-Schüler-liste angeführt sind, dürfen nicht getestet werden. Dazu gehören im Feldtest zu PISA 2018 Schüler/innen, die nicht im Jahr 2001 geboren wurden, sowie Schüler/innen, die sich auf der 6. Schulstufe oder darunter befinden (siehe Abschnitt 4.1 in Kapitel 4).

2. Schüler/innen, bei denen eine schwere und dauerhafte körperliche oder kognitive Beeinträchtigung vorliegt oder die unzureichende Deutschkenntnisse haben, können von der Testung ausgeschlossen werden (für eine genaue Definition der Ausschlussgründe siehe Tabelle 5.3 in Kapitel 5).

3. Schüler/innen, die zwischen der Erstellung der Liste aller Schüler/innen an der Schule und dem Testtermin die Schule verlassen oder an eine andere Schule gewechselt haben, kommen für die Testung nicht mehr in Frage und werden in weiterer Folge als „ineligible“ bezeichnet.

4. Schüler/innen lehrgangsmäßig organisierter Berufs-schulen, deren Lehrgang vollständig außerhalb des Test-fensters stattfindet, können nicht getestet werden. Auf nationaler Ebene fließen diese Berufsschüler/innen, die

während des Testfensters nicht erreichbar sind, nicht in die Berechnung der (ungewichteten) Rücklaufquoten ein. Nach internationalen Regeln werden Sie jedoch als ab-wesend gewertet und verringern damit die österreichische Teilnahmequote (weitere Ausführungen dazu folgen in Abschnitt 6.2.5 in diesem Kapitel).

Alle anderen, „testbaren“ Schüler/innen bilden die Basis für die Berechnung der (ungewichteten) Rücklaufquoten.

Ausgeschlossene Schüler/innen (siehe Punkt 2) und nicht in Frage kommende („ineligible“) Schüler/innen (siehe Punkt 3) betreffen die sogenannte Coverage-Rate (OECD, 2019), d. h. sie verringern den Prozentsatz der Zielpopulation eines Landes, der durch die getestete Stichprobe repräsentiert wird.

Tabelle 6.2 zeigt die Anteile an Schülerinnen und Schülern, die aufgrund einer der oben angeführten Bedingungen nicht am PISA-Feldtest 2018 teilnehmen konnten. Unter den 2.262 Schülerinnen und Schülern, die in den 43 Feldtest-schulen auf Basis der von den Schulen übermittelten Liste aller Schüler/innen für die Teilnahme am Feldtest ausgewählt wurden, befand sich eine Schülerin mit „falschem“ Ge-burtsjahr, die somit kein Teil der PISA-Population war. 156 Schüler/innen an lehrgangsmäßig geführten Berufsschulen

Tabelle 6.1: Rücklauf auf Schulebene nach Strata (PISA-Feldtest 2018)

StratumSchulen in Stichprobe

Teilnahme

original ausgewählte

Schulen

Replacement- Schulen

gesamt Prozent

1 Pflichtschulen 3 3 0 3 100 %

2 Polytechnische Schulen 2 1 1 2 100 %

3 AHS-Langform 11 11 0 11 100 %

4 AHS-Kurzform 4 4 0 4 100 %

5 Schulen mit Statut – Waldorfschulen 0 0 0 0 100 %

6 Schulen mit Statut – Sonstige 0 0 0 0 100 %

7 Berufsschulen kaufmännisch/gewerblich 7 7 0 7 100 %

8 Berufsschulen landwirtschaftlich 0 0 0 0 100 %

9 BMS gewerblich 0 0 0 0 100 %

10 BMS kaufmännisch 1 1 0 1 100 %

11 BMS wirtschaftlich 2 2 0 2 100 %

12 BMS landwirtschaftlich 0 0 0 0 100 %

13 BHS gewerblich 3 3 0 3 100 %

14 BHS kaufmännisch 4 1 3 4 100 %

15 BHS wirtschaftlich 3 3 0 3 100 %

16 BHS landwirtschaftlich 1 1 0 1 100 %

17 BAfEP/BASOP 2 2 0 2 100 %

Gesamt 43 39 4 43 100 %


waren darüber hinaus während des Testfensters nicht an der Schule erreichbar. 0,9 % der im Testfenster erreichbaren PISA-Zielschüler/innen wurden von der Testung ausgeschlossen, 3,8 % der Schüler/innen hatten zwischen der Erstellung der Liste aller Schüler/innen und dem Testtermin die Schule ver-lassen. Die Basis für die nationale Berechnung des Rücklaufs bildeten demnach für den Feldtest 2.006 Schüler/innen, die an der PISA-Testung teilnehmen sollten.

Schüler/innen in der Feldtest-Stichprobe 2.262

falsches Alter/falsche Schulstufe 1

Berufsschüler/innen im Testfenster nicht er-reichbar

156

Schüler/innen des Zielalters ab Schulstufe 7 im Testfenster erreichbar

2.105 100,0 %

Ausschlüsse aufgrund ...

körperlicher Beeinträchtigung 0 0,0 %

geistiger Beeinträchtigung 2 0,1 %

unzureichender Deutschkenntnisse 17 0,8 %

Ausschlüsse gesamt 19 0,9 %

Ineligible (nicht in Frage kommend), weil …

an andere Schule gewechselt 27 1,3 %

nicht mehr an der Schule 53 2,5 %

Ineligible GESAMT 80 3,8 %

Schüler/innen zu testen 2.006

Tabelle 6.2: Ausgeschlossene und nicht in Frage kommende („ineligible“) Schüler/innen (PISA-Feldtest 2018)

6.1.3 Der Rücklauf auf Schülerebene

In Österreich konnte beim Feldtest zu PISA 2018 auch auf Schülerebene ein sehr guter Rücklauf (und damit eine sehr hohe Teilnahmerate aller ausgewählten Schüler/innen) erzielt werden (ohne Berücksichtigung der während des Testfensters nicht erreichbaren Berufsschüler/innen): Wie in Tabelle 6.3 ersichtlich, nahmen 95,6 % der zu testenden Schüler/innen an einer Testsitzung im Rahmen des Feldtests zu PISA 2018 teil. Die Stichprobenausfälle (Non-Response) beliefen sich auf 4,4 %. Diese 89 Schüler/innen konnten nicht getestet werden, da sie am Testtag abwesend waren.

zu testende Schüler/innen 2.006 100 %

am Testtag gefehlt 89 4,4 %

getestete Schüler/innen 1.917 95,6 %

3 Eventuelle Abweichungen von 100 % bei der Summierung der Prozentangaben ergeben sich durch Runden (das gilt auch für Tabelle 6.6).

Tabelle 6.4 zeigt die Teilnahmerate auf Schülerebene getrennt nach Strata.

StratumSchüler/

innen zu testen

Schüler/innen teilgenommen

Anzahl Prozent



3 AHS-Langform 551 530 96,2 %

4 AHS-Kurzform 207 192 92,8 %

5Schulen mit Statut – Waldorfschulen

0 0 –

6Schulen mit Statut – Sonstige

0 0 –

7Berufsschulen kauf männisch/gewerblich

283 281 99,3 %

8Berufsschulen landwirtschaftlich

0 0 –

9 BMS gewerblich 0 0 –



12 BMS landwirtschaftlich 0 0 –





17 BAfEP/BASOP 106 99 93,4 %

Gesamt 2.006 1.917 95,6 %

6.1.4 Charakteristika der resultierenden Feldtest -Stichprobe

Abschließend sollen hier einige Charakteristika der im Feld-test realisierten Stichprobe gezeigt werden. Tabelle 6.5 ist zu entnehmen, wie die getesteten Schulen und Schüler/innen über die verschiedenen Schulformen (in Form der 17 Strata) streuen.3 Ziel des Feldtests ist nicht, eine selbst gewichtende, vollständig repräsentative Stichprobe zu erhalten (was schon allein aufgrund der geringen Stichprobengröße nicht mög-lich wäre), sondern 200 verwertbare Antworten je Testitem von Schülerinnen und Schülern aus verschiedenen Schul-formen zu erhalten. Dies wird durch die Einbeziehung von Schülerinnen und Schülern unterschiedlicher Strata erreicht.

Tabelle 6.3: Stichprobenausfälle (Non-Response) im PISA-Feldtest 2018

Tabelle 6.4: Rücklauf auf Schülerebene nach Strata (PISA-Feldtest 2018)


StratumSchulen Schüler/innen

Anzahl Prozent Anzahl Prozent

1 Pflichtschulen 3 7,0 % 42 2,2 %

2 Polytechnische Schulen 2 4,7 % 90 4,7 %

3 AHS-Langform 11 25,6 % 530 27,6 %

4 AHS-Kurzform 4 9,3 % 192 10,0 %

5Schulen mit Statut – Waldorfschulen

0 0,0 % 0 0,0 %

6Schulen mit Statut – Sonstige

0 0,0 % 0 0,0 %

7Berufsschulen kauf männisch/gewerblich

7 16,3 % 281 14,7 %

8Berufsschulen landwirtschaftlich

0 0,0 % 0 0,0 %

9 BMS gewerblich 0 0,0 % 0 0,0 %

10 BMS kaufmännisch 1 2,3 % 46 2,4 %

11 BMS wirtschaftlich 2 4,7 % 96 5,0 %

12 BMS landwirtschaftlich 0 0,0 % 0 0,0 %

13 BHS gewerblich 3 7,0 % 150 7,8 %

14 BHS kaufmännisch 4 9,3 % 193 10,1 %

15 BHS wirtschaftlich 3 7,0 % 146 7,6 %

16 BHS landwirtschaftlich 1 2,3 % 52 2,7 %

17 BAfEP/BASOP 2 4,7 % 99 5,2 %

Gesamt 43 100,0 % 1.917 100,0 %

Tabelle 6.5: Die realisierte Feldtest-Stichprobe nach Strata (PISA-Feldtest 2018)

Tabelle 6.6 zeigt die regionale Streuung in der Feldtest-Stich-probe. Schulen und Schüler/innen aller Bundesländer nahmen teil, wobei die größeren Bundesländer auch durch größere Anteile an getesteten Schülerinnen und Schülern vertreten sind (für Details zur Vorgehensweise bei der Stich-probenziehung im PISA-Feldtest 2018 siehe Kapitel 4, Ab-schnitt 4.5.2).

4 WESTAT ist der internationale Vertragspartner der OECD, der für das Sampling verantwortlich ist.5 Dies kann vorkommen, weil die Datenbasis, die der Stichprobenziehung auf Schulebene zugrunde liegt, auf den zum Zeitpunkt der Stichprobenziehung

aktuellsten verfügbaren Daten aus der Bildungsdokumentation der Statistik Austria beruht (beim PISA-Haupttest 2018 waren das jene des Schuljahrs 2016/17) und alle Schulen beinhaltet, an denen es im Schuljahr der PISA-Erhebung potenziell Schüler/innen des Zielalters geben kann. An 2 dieser 15 Schulen wurden zwar anfangs einzelne PISA-Schüler/innen des Geburtsjahrgangs 2002 gemeldet, diese verließen jedoch noch vor Durchführung des PISA-Tests die Schule.

6 Darunter befand sich eine Schule ohne potenzielle PISA-Schüler/innen, die nachträglich auf Schulebene ausgeschlossen wurde, weil die Unterrichtssprache durchgehend eine andere als Deutsch war.

BundeslandSchulen Schüler/innen


Burgenland 2 4,7 % 100 5,2 %

Kärnten 2 4,7 % 92 4,8 %

Niederösterreich 10 23,3 % 437 22,8 %

Oberösterreich 7 16,3 % 342 17,8 %

Salzburg 3 7,0 % 132 6,9 %

Steiermark 5 11,6 % 205 10,7 %

Tirol 4 9,3 % 186 9,7 %

Vorarlberg 3 7,0 % 123 6,4 %

Wien 7 16,3 % 300 15,6 %

Gesamt 43 100,0 % 1.917 100,0 %

Tabelle 6.6: Die realisierte Feldtest-Stichprobe nach Bundesländern (PISA-Feldtest 2018)

6.2 Rücklauf im PISA-Haupttest 2018

6.2.1 Der Rücklauf auf Schulebene

Für den Haupttest in Österreich wurden von WESTAT4 315 Schulen ausgewählt (siehe Abschnitt 4.6 in Kapitel 4). Im Screening-Prozess (Kontaktaufnahme und Kommunikation mit den Schulen zur Vorbereitung der Testungen) stellte sich heraus, dass sich an 15 der ausgewählten Schulen im Schuljahr 2017/18 keine Schüler/innen des relevanten Geburtsjahr-gangs 2002 befanden und die Durchführung des PISA-Tests an diesen Schulen daher nicht möglich war.5 An weiteren sieben Schulen wurden alle Schüler/innen des Zielalters auf-grund dauernder, schwerer körperlicher oder geistiger Beein-trächtigung oder unzureichender Deutschkenntnisse von der Testung ausgeschlossen. Auch an diesen Schulen konnte kein PISA-Test stattfinden.6 Die verbleibenden 293 Schulen, an denen PISA-Zielschüler/innen unterrichtet wurden, bilden die Basis für die Berechnung der Teilnahmequote auf Schulebene.


Anzahl ausgewählter Schulen 315

Schulen, an denen es im Schuljahr 2017/18 keine Schüler/innen des Zielalters gab

15

Schulen, an denen alle Schüler/innen vom Test ausgeschlossen wurden

7

Anzahl „leerer“ Schulen gesamt 22

Schulen mit PISA-Zielschülerinnen/ PISA-Zielschülern

293

Tabelle 6.7: Übersicht über die ausgewählten und teilnehmenden Schulen (PISA-Haupttest 2018)

Alle 293 Schulen erklärten sich zur Teilnahme am PISA-Haupt-test 2018 bereit. Auf den Einsatz von Replacement- Schulen konnte somit verzichtet werden. Bei PISA werden ko-operierende Schulen auch dann als „nicht teilgenommen“ gewertet, wenn sie die je Schule erforderliche Schülerteil-nahmequote von 25 % nicht erreichen. Dies war an zwei Schulen der Fall: An diesen Schulen gab es insgesamt drei Schüler/innen, die jedoch nicht zur Testsitzung erschienen, damit entfiel der PISA-Test an diesen beiden Schulen. Der ungewichtete Rücklauf auf Schulebene beträgt somit 99,3 %, womit die österreichischen Daten alle Vorgaben der OECD erfüllen und eindeutig in den Bereich der besten Kategorie „Acceptable“ fallen (siehe Abschnitt 4.4.1 in Kapitel 4).

Tabelle 6.8: Rücklauf auf Schulebene nach Strata (PISA-Haupttest 2018)

StratumSchulen in der

Stichprobe

Schulen mit PISA-Ziel schülerinnen/ PISA-Zielschülern

Teilnehmende Schulen

Retournierte Schulfragebögen


1 Pflichtschulen 38 34 33 97,1% 33 97,1%

2 Polytechnische Schulen 15 15 15 100,0% 15 100,0%

3 AHS-Langform 31 30 30 100,0% 30 100,0%

4 AHS-Kurzform 13 13 13 100,0% 13 100,0%

5 Schulen mit Statut – Waldorfschulen 10 9 9 100,0% 9 100,0%

6 Schulen mit Statut – Sonstige 7 5 5 100,0% 5 100,0%

7 Berufsschulen kaufmännisch/gewerblich 17 17 17 100,0% 17 100,0%

8 Berufsschulen landwirtschaftlich 3 3 3 100,0% 3 100,0%

9 BMS gewerblich 7 7 7 100,0% 7 100,0%

10 BMS kaufmännisch 6 6 6 100,0% 6 100,0%

11 BMS wirtschaftlich 6 6 6 100,0% 6 100,0%

12 BMS landwirtschaftlich 7 7 7 100,0% 7 100,0%

13 BHS gewerblich 20 20 20 100,0% 20 100,0%

14 BHS kaufmännisch 12 12 12 100,0% 12 100,0%

15 BHS wirtschaftlich 9 9 9 100,0% 9 100,0%

16 BHS landwirtschaftlich 2 2 2 100,0% 2 100,0%

17 BAfEP/BASOP 3 3 3 100,0% 3 100,0%

18 OOE – Pflichtschulen 27 21 21 100,0% 21 100,0%

19 OOE – Polytechnische Schulen 10 10 10 100,0% 10 100,0%

20 OOE – AHS 14 14 14 100,0% 14 100,0%

21 OOE – Schulen mit Statut - Waldorfschulen 1 1 1 100,0% 1 100,0%

22 OOE – Schulen mit Statut – Sonstige 12 4 3 75,0% 4 100,0%

23 OOE – Berufsschulen 12 12 12 100,0% 12 100,0%

24 OOE – BMS 9 9 9 100,0% 9 100,0%

25 OOE – BHS 24 24 24 100,0% 24 100,0%

Gesamt 315 293 291 99,3% 292 99,7%


Tabelle 6.8 zeigt den Rücklauf auf Schulebene getrennt nach Strata. 99,7 % aller Schulen mit Zielschülerinnen und Ziel-schülern haben den Schulfragebogen ausgefüllt an das BIFIE retourniert.7

6.2.2 Schüler/innen, die nicht getestet werden können

Wie im Feldtest können auch im Haupttest Schüler/innen auf die PISA-Schülerlisten (Listen der ausgewählten Schüler/innen) gelangen, die nicht getestet werden können oder dürfen. Schüler/innen können noch vor der Testsitzung von der PISA-Schülerliste einer Schule gestrichen werden8, wenn einer der folgenden Punkte zutrifft (siehe Abschnitt 6.1.2):

1. Schüler/innen, die nicht dem Zielalter (Geburtsjahr 2002) entsprechen oder die sich nicht mindestens auf der 7. Schulstufe befinden

2. Schüler/innen mit einer schweren, dauernden geistigen oder körperlichen Beeinträchtigung oder unzureichenden Deutschkenntnissen

3. Schüler/innen, die im Zeitraum zwischen der Erstellung der Liste aller Schüler/innen des Zielalters an der Schule und dem Testtermin die Schule verlassen oder an eine andere Schule gewechselt haben („ineligible“)

4. Schüler/innen lehrgangsmäßig geführter Berufsschulen, deren Schulbesuch außerhalb des festgelegten Testfensters liegt

Tabelle 6.9 gibt einen Überblick über die notwendigen Aus-schlüsse und nicht in Frage kommenden Schüler/innen beim Haupttest 2018 in Österreich:

� 6 ausgewählte Schüler/innen entsprachen nicht der vor-gegebenen Altersdefinition. � In der Haupttest-Stichprobe befanden sich an lehrgangs-

mäßig geführten Berufsschulen 23 „überzählige Platz-halter“. Wenn an lehrgangsmäßig geführten Berufs-schulen zum Zeitpunkt der Erstellung der Liste aller Schüler/innen des Zielalters (im Februar 2018) noch nicht alle Schülerdaten für das ganze Schuljahr bekannt waren, sollte die Anzahl der Schüler/innen je Lehrgang geschätzt und für jede erwartete Schülerin/für jeden erwarteten Schüler ein Platzhalter auf der Liste angelegt werden. Bei der Ziehung der Schülerstichprobe wurden diese Platz-halter wie alle anderen Schüler/innen behandelt, d. h., sowohl bekannte Schüler/innen als auch Platzhalter für noch unbekannte Schüler/innen konnten in die Stich-probe gelangen (siehe Abschnitt 6.2.5). Nach Bekannt-werden der Schülerdaten wurden diese von den Schulen nachgemeldet und die neu hinzugekommenen Schü -

7 Die Diskrepanz zwischen der Anzahl teilnehmender Schulen (291) und der Anzahl retournierter Schulfragebögen (292) erklärt sich wie folgt: An einer Schule gab es nur zwei PISA-Zielschüler/innen, die jedoch nicht zur Testung erschienen. Diese Schule wurde international als Nichtteilnahme gewertet, während die Schulleitung den Schulfragebogen bereits ausgefüllt hatte.

8 Praktisch bleiben diese Schüler/innen auf der PISA-Schülerliste, sie werden aber entsprechend gekennzeichnet.

ler/innen konnten nachträglich berücksichtigt werden. 23 Platz halter blieben jedoch „leer“, d. h., die Anzahl der Schü ler/innen in den Lehrgängen war zu „großzügig“ geschätzt worden.� 424 Schüler/innen der Zielgruppe aus lehrgangsmäßig

geführten Berufsschulen, die zur Teilnahme an PISA 2018 ausgewählt worden waren, hatten während des Test-fensters keinen Unterricht.� Die Ausschlüsse auf Schülerebene wegen körperlicher/

geistiger Beeinträchtigung oder unzureichender Deutsch-kenntnisse beliefen sich auf insgesamt 117 Schüler/innen (1,6 %). � 230 Schüler/innen (3,1 %) konnten nicht getestet werden,

weil sie zwischenzeitlich die Schule bzw. den Lehrgang gewechselt oder verlassen hatten.

Schüler/innen in der Haupttest-Stichprobe 7.931

falsches Alter/falsche Schulstufe 6

überzählige Platzhalter für Berufsschüler/innen 23

Berufsschüler/innen im Testfenster nicht er-reichbar

424

Schüler/innen des Zielalters ab Schulstufe 7 im Testfenster erreichbar

7.478 100,0 %

Ausschlüsse aufgrund ...

körperlicher Beeinträchtigung 7 0,1 %

geistiger Beeinträchtigung 49 0,7 %

unzureichender Deutschkenntnisse 61 0,8 %

Ausschlüsse gesamt 117 1,6 %

Ineligible (nicht in Frage kommend), weil …

an andere Schule gewechselt 83 1,1 %

nicht mehr an der Schule 147 2,0 %

Ineligible GESAMT 230 3,1 %

Schüler/innen zu testen 7131

Tabelle 6.9: Ausgeschlossene und nicht in Frage kommende („ineligible“) Schüler/innen (PISA-Haupttest 2018)

Die Basis für die Darstellung des Rücklaufs auf Schülerebene in Österreich bilden 7.131 Schüler/innen. Tabelle 6.10 zeigt, wie sich die Schüler/innen über die dem Sampling zugrunde liegenden Strata verteilen.


6.2.3 Der Rücklauf auf Schülerebene

Für die Rücklaufstatistik wird eine Schülerin/ein Schüler als teilgenommen gewertet, wenn sie/er die Bearbeitung der Testaufgaben und die Bearbeitung des Schülerfragebogens

9 Jene 3 Schüler/innen aus den in Abschnitt 6.2.1 erwähnten beiden Schulen, die die je Schule erforderliche Schülerteilnahmequote von mindestens 25 % nicht erreichten und daher bereits auf Schulebene als nicht teilgenommen in die Rücklaufquote eingingen, sind in dieser Zahl nicht mehr enthalten.

10 Im internationalen technischen Bericht (OECD, in preparation) wird eine geringere ungewichtete Rücklaufquote auf Schülerebene für Österreich an-gegeben (90 %), da international auch die 424 Berufsschüler/innen, die im Testfenster nicht erreichbar waren, als fehlend (Non-Response) gezählt werden (siehe unten).

zumindest begonnen hat. Beim PISA-Haupttest 2018 waren am Testtag 4,6 % der Schüler/innen abwesend. Die Daten-basis, die den Auswertungen zugrunde liegt, umfasst somit die Daten von 6.802 Schülerinnen und Schülern.9 Die un-gewichtete Rücklaufquote beträgt 95,4 %.10

Tabelle 6.10: Ausgeschlossene, nicht in Frage kommende („ineligible“) und zu testende Schüler/innen nach Strata (PISA-Haupttest 2018)

Stratum

Schüler/innen

erreichbar und 2002 geboren

ausgeschlossen ineligible zu testen

1 Pflichtschulen 216 20 4 192

2 Polytechnische Schulen 363 35 12 316

3 AHS-Langform 1.027 6 43 978

4 AHS-Kurzform 409 8 14 387

5 Schulen mit Statut – Waldorfschulen 167 8 3 156

6 Schulen mit Statut – Sonstige 13 0 0 13

7 Berufsschulen kaufmännisch/gewerblich 527 1 45 481

8 Berufsschulen landwirtschaftlich 21 0 2 19

9 BMS gewerblich 202 0 3 199

10 BMS kaufmännisch 147 0 3 144

11 BMS wirtschaftlich 125 1 2 122

12 BMS landwirtschaftlich 233 2 7 224

13 BHS gewerblich 704 1 17 686

14 BHS kaufmännisch 432 0 9 423

15 BHS wirtschaftlich 312 2 5 305

16 BHS landwirtschaftlich 61 0 1 60

17 BAfEP/BASOP 107 0 0 107

18 OOE – Pflichtschulen 172 11 1 160

19 OOE – Polytechnische Schulen 247 13 20 214

20 OOE – AHS 458 3 9 446

21 OOE – Schulen mit Statut - Waldorfschulen 17 0 0 17

22 OOE – Schulen mit Statut – Sonstige 5 0 0 5

23 OOE – Berufsschulen 417 1 18 398

24 OOE – BMS 234 5 3 226

25 OOE – BHS 862 0 9 853

Gesamt 7.478 117 230 7.131


zu testende Schüler/innen 7.131 100 %

am Testtag gefehlt 329 4,6 %

getestete Schüler/innen 6.802 95,4 %

Tabelle 6.11: Stichprobenausfälle (Non-Response) im PISA-Haupttest 2018

Tabelle 6.12 zeigt den Rücklauf auf Schülerebene auf-gegliedert nach Strata.

11 Seit dem Jahr 2008 ist das BIFIE-Gesetz in Kraft, in dem die verpflichtende Mitwirkung von Schülerinnen und Schülern an der PISA-Studie gesetzlich verankert wurde (§ 6 Abs. 2 BIFIE-Gesetz 2008, BGBl. I Nr. 25/2008 i. d. gültigen Fassung).

6.2.4 Vergleich mit vorhergehenden PISA-Erhebungen

Tabelle 6.13 zeigt den prozentuellen Anteil an ausgeschlos-senen und nicht in Frage kommenden Schülerinnen und Schülern vergleichend für alle PISA-Haupterhebungen seit dem Jahr 2000. Weiters gehen aus dieser Tabelle die An-teile an Schülerinnen und Schülern hervor, die sich bewusst nicht am PISA-Test beteiligen wollten11 oder am Testtag ab-wesend waren. Der ungewichtete Rücklauf (ohne Berück-sichtigung der während des Testfensters nicht erreichbaren Berufsschüler/innen) kann ebenfalls der Tabelle entnommen

Tabelle 6.12: Rücklauf auf Schülerebene nach Strata (PISA-Haupttest 2018)

StratumSchüler/innen

zu testen getestet – Anzahl getestet – Prozent



3 AHS-Langform 978 943 96,4 %

4 AHS-Kurzform 387 367 94,8 %

5 Schulen mit Statut – Waldorfschulen 156 151 96,8 %


7 Berufsschulen kaufmännisch/gewerblich 481 462 96,0 %

8 Berufsschulen landwirtschaftlich 19 19 100,0 %

9 BMS gewerblich 199 187 94,0 %



12 BMS landwirtschaftlich 224 219 97,8 %





17 BAfEP/BASOP 107 104 97,2 %

18 OOE – Pflichtschulen 160 147 91,9 %

19 OOE – Polytechnische Schulen 214 198 92,5 %

20 OOE – AHS 446 428 96,0 %

21 OOE – Schulen mit Statut - Waldorfschulen 17 16 94,1 %

22 OOE – Schulen mit Statut – Sonstige 5 5 100,0 %

23 OOE – Berufsschulen 398 390 98,0 %

24 OOE – BMS 226 216 95,6 %

25 OOE – BHS 853 808 94,7 %

Gesamt 7.131 6.802 95,4 %


werden (Vergleichszahlen aus Haider & Wallner-Paschon, 2001, für PISA 2000; Reiter, 2004, für PISA 2003; Breit & Schreiner, 2007, für PISA 2006; Pareiss, Pointinger & Schwantner, 2010, für PISA 2009; Pareiss, 2013, für PISA 2012; Pareiss, 2016, für PISA 2015).

6.2.5 Besondere Maßnahmen an Berufsschulen zur Erreichung der erforderlichen Teilnahmequote auf Schülerebene

Die beiden Organisationsformen österreichischer Berufs-schulen stellen für PISA eine gewisse Herausforderung dar:

� Berufsschulen mit Jahresunterricht, an denen die Schüler/innen während des ganzen Schuljahrs für einen Tag oder maximal zwei Tage pro Woche die Schule besuchen, er-fordern meist die Abhaltung mehrerer Testtermine an verschiedenen Wochentagen, um allen Schülerinnen und Schülern unterschiedlicher Kurse die Teilnahme an der Testung zu ermöglichen. Bei PISA 2018 führte dies dazu, dass an einzelnen Schulen bis zu vier Testsitzungen not-wendig waren, um alle ausgewählten Schüler/innen zu erreichen.

� An Berufsschulen mit lehrgangsmäßig geführten Klassen (Blockunterricht) kann ein großer Teil der Schüler/innen nicht getestet werden, weil PISA vorsieht, Tests aus-schließlich innerhalb eines sechswöchigen Testfensters (bei PISA 2018 im Frühling) abzuhalten. Aufgrund der österreichischen Gegebenheiten gibt der internationale Vertragspartner WESTAT seit PISA 2003 die Zu-stimmung, das Testfenster für diese Berufsschulen auf drei Monate auszuweiten (bei PISA 2018 von März bis Mai). Auf diese Weise können mehr Schüler/innen er-reicht und getestet werden. Bei PISA 2018 konnten Schüler/innen, die nur im Herbst bzw. Winter die Schule besuchten, folglich nicht getestet werden.

Diese beiden Herausforderungen treten in einigen Fällen in Kombination auf, d. h., an einigen Berufsschulen gibt es sowohl Klassen mit Jahresunterricht als auch solche, deren Unterricht geblockt in Lehrgängen stattfindet.

Berufsschulen bzw. Berufsschüler/innen, die in die erste oben angeführte Kategorie fallen, verursachen zwar in organisatorischer und finanzieller Hinsicht einen erheb-lichen Mehraufwand; für den Rücklauf stellen sie aber kein Problem dar, sofern durch entsprechende Maßnahmen (das Anbieten mehrerer Testtermine) gesichert werden kann, dass Schüler/innen aller Unterrichtstage getestet werden können.

Berufsschulen bzw. Berufsschüler/innen der zweiten Kate-gorie erschweren hingegen in erster Linie das Erlangen der erforderlichen Rücklaufquoten. Wie nach internationalen Richtlinien mit diesem Problem umzugehen ist und welche Folgen das hat, wird im Folgenden beschrieben.

Im Zuge des Screenings wird von den ausgewählten Schulen eine Liste aller Schüler/innen des Zielalters an der Schule er-beten. Die Listen von Berufsschulen sollen alle Zielschüler/innen enthalten, die im Lauf des gesamten Schuljahrs an der Schule unterrichtet werden, d. h. sowohl Schüler/innen, die während des Testfensters die Schule besuchen werden, als auch Schüler/innen, deren Unterricht vollständig außerhalb dieses Zeitraums liegt. Für zum Zeitpunkt der Erstellung der Liste aller Schüler/innen (im Jänner 2018) noch unbekannte Schüler/innen sollen auf der Liste Platzhalter eingefügt und die entsprechenden Schülerdaten nach Bekanntwerden nach-gemeldet werden (siehe Abschnitt 6.2.2). Die Ziehung der Schülerstichprobe erfolgt nach dem gleichen Prinzip wie bei nicht lehrgangsmäßig geführten Schulen. Es muss aus allen Schülerinnen/Schülern und Platzhaltern (erreichbaren und nicht erreichbaren) ausgewählt werden, und zwar so, dass auf der resultierenden PISA-Schülerliste 36 erreich-bare Schüler/innen bzw. Platzhalter enthalten sind (darüber hinaus sind auf der PISA-Schülerliste ebenfalls nicht erreich-

PISA 2000

PISA 2003

PISA 2006

PISA 2009

PISA 2012

PISA 2015

PISA 2018

ausgeschlossen 0,9 % 1,3 % 1,7 % 0,6 % 0,9 % 1,1 % 1,6 %

nicht in Frage kommend (ineligible) 4,7 % 2,3 % 3,1 % 2,2 % 2,5 % 3,4 % 3,1 %

Schüler/innen nicht zu testen – gesamt 5,6 % 3,6 % 4,8 % 2,8 % 3,4 % 4,5 % 4,6 %

Teilnahme verweigert 2,0 % 1,6 % 2,3 % 1,0 % 0,0 % 0,0 % 0,0 %

am Testtag abwesend 6,2 % 5,8 % 4,1 % 6,5 % 4,8 % 4,1 % 4,6 %

Schüler/innen nicht teilgenommen – gesamt 8,2 % 7,4 % 6,4 % 7,5 % 4,8 % 4,1 % 4,6 %

Rücklaufquote (ungewichtet) 91,8 % 92,6 % 93,6 % 92,5 % 95,2 % 95,9 % 95,4 %

Tabelle 6.13: Ausgeschlossene und nicht in Frage kommende („ineligible“) Schüler/innen sowie Stichprobenausfälle (Non-Response) für alle PISA-Haupterhebungen


Tabelle 6.14: Rücklauf in Berufsschulen mit und ohne Berücksichtigung der im Testfenster nicht erreichbaren Berufsschüler/innen (PISA-Haupttest 2018)

Tabelle 6.15: Die realisierte Haupttest-Stichprobe nach Strata und Schulsparten (PISA-Haupttest 2018)

SchulsparteSchulen Schüler/innen


Allgemeinbildende Pflichtschulen:

HS, NMS und Sonderschulen 54 18,6 % 318 4,7 %

Polytechnische Schulen 25 8,6 % 500 7,4 %

APS gesamt 79 27,1 % 818 12,0 %

Allgemeinbildende höhere Schulen:

AHS-Langform 39 13,4 % 1230 18,1 %

AHS-Kurzform 18 6,2 % 508 7,5 %

AHS gesamt 57 19,6 % 1738 25,6 %

Schulen mit Statut:

Waldorfschulen 9 3,1 % 163 2,4 %

Sonstige Schulen mit Statut 9 3,1 % 21 0,3 %

Statutschulen gesamt 18 6,2 % 184 2,7 %

Berufsschulen:

BS kaufmännisch/gewerblich 29 10,0 % 852 12,5 %

BS landwirtschaftlich 3 1,0 % 19 0,3 %

BS gesamt 32 11,0 % 871 12,8 %

Berufsbildende mittlere Schulen:

BMS gewerblich 9 3,1 % 235 3,5 %

BMS kaufmännisch 8 2,7 % 151 2,2 %

BMS wirtschaftlich 7 2,4 % 145 2,1 %

BMS landwirtschaftlich 11 3,8 % 339 5,0 %

BMS gesamt 35 12,0 % 870 12,8 %

Berufsbildende höhere Schulen:

BHS gewerblich 30 10,3 % 988 14,5 %

BHS kaufmännisch 18 6,2 % 613 9,0 %

BHS wirtschaftlich 15 5,2 % 494 7,3 %

BHS landwirtschaftlich 3 1,0 % 89 1,3 %

BAfEP/BASOP 4 1,4 % 137 2,0 %

BHS gesamt 70 24,1 % 2321 34,1 %

Gesamt 291 100,0 % 6802 100,0 %

Berufsschüler/innen 2002 geboren

im Test-fenster nicht erreichbar

aus-geschlossen/

ineligibleRücklauf bezogen auf ...

zu testen

getestet gefehlt Rücklauf

1389 424 67

alle erreichbarenBerufsschüler/innen

898871 27

97,0 %

alle Berufsschüler/innen 1322 65,9 %


bare Schüler/innen enthalten, aliquot zum Anteil der nicht erreichbaren Schüler/innen auf der ursprünglichen Liste aller Schüler/innen an der Schule; gibt es an einer Schule weniger als 36 erreichbare Schüler/innen bzw. Platzhalter, werden alle Schüler/innen und Platzhalter ausgewählt).

Für die in diesem Kapitel für Österreich präsentierten un-gewichteten Rücklaufstatistiken wurden die nicht erreich-baren Schüler/innen, die zwar gesampelt werden mussten, aber nicht getestet werden konnten, nicht in die Be-rechnungen miteinbezogen (siehe unten). Von internationaler Seite werden diese Schüler/innen bei den Berechnungen der Rücklaufquoten aber so behandelt, als hätten sie am Testtag gefehlt (sie zählen also zu den Stichprobenausfällen). Damit reduziert sich die ungewichtete Rücklaufquote für Öster-reich auf Schülerebene von 95,4 % (national berechnet) auf 90 % (international berechnet). Allerdings wird bei der Gewichtung der einzelnen Schülerdaten an Berufsschulen berücksichtigt, ob die Schülerin/der Schüler erreichbar war oder nicht, wodurch sich die international berichtete ge-wichtete Rücklaufquote für Österreich auf Schülerebene auf 92,5 % erhöht. Die nicht testbaren Schüler/innen müssen in die gewichteten OECD-Rücklaufquoten miteinbezogen werden, weil die getesteten Schüler/innen einer Schule mit ihren Ergebnissen alle Schüler/innen des Zielalters an der Schule repräsentieren, in einer lehrgangsmäßig geführten Berufsschule also auch alle Schüler/innen, die während des Testfensters nicht zur Schule gehen.

Tabelle 6.14 zeigt, wie sich der tatsächliche Rücklauf an den Berufsschulen (bezogen auf alle testbaren Schüler/innen) vom fiktiven Rücklauf unter Einbeziehung der nicht erreich-baren und damit nicht testbaren Schüler/innen unterscheidet. 1.389 Berufsschüler/innen entsprechen der Altersdefinition bei PISA 2018 und sind somit Teil der Zielgruppe (ohne überzählige Platzhalter). Die obere Zeile der Tabelle zeigt, wie sich der ungewichtete Rücklauf bei den Berufsschülerinnen und Berufsschülern bei PISA 2018 berechnet, wenn sich dieser nur auf erreichbare Schüler/innen bezieht. Es ergibt sich eine Rücklaufquote von 97,0 %. Bei Einbeziehung der während des Testfensters nicht erreichbaren Schüler/innen in die Gruppe der zu Testenden läge die ungewichtete Rück-laufquote hingegen nur bei 65,9 %, wodurch die über alle Schulen hinweg zu berechnende ungewichtete Rücklaufquote auf Schülerebene um über 5 Prozentpunkte sinken würde.

Ohne erweitertes Testfenster für Berufsschulen mit lehr-gangsmäßig geführten Klassen wäre die Erreichung der auf Schülerebene über alle Schulen hinweg vorgeschriebenen gewichteten Rücklaufquote von mindestens 80 % (siehe Ab-schnitt 4.4.2 in Kapitel 4) gefährdet.

6.2.6 Charakteristika der resultierenden Haupttest -Stichprobe

Nach der Darstellung des Rücklaufs in Österreich auf Schul- und Schülerebene soll nun abschließend gezeigt werden, wie sich die realisierte Stichprobe bezogen auf einige Variablen – vor allem solche, die bei der Stichprobenziehung eine Rolle gespielt haben – zusammensetzt. Es ist dies als reine Charakterisierung der realisierten Stichprobe zu verstehen. Die Berechnungen in diesem Abschnitt basieren deshalb auf ungewichteten Daten. Analyseergebnisse, die in den inter-nationalen und nationalen Berichtbänden zu PISA 2018 publiziert werden, basieren auf gewichteten Daten, die in Abschnitt 6.2.9 dargestellt werden.

Tabelle 6.15 zeigt die Verteilung der getesteten Schulen und Schüler/innen der Haupttest-Stichprobe auf die verschiedenen Schulsparten. Die prozentuellen Angaben auf Schulebene sind für die Bewertung der Repräsentativität der Stichprobe weniger relevant, da sie die unterschiedliche Anzahl 15-/16-Jähriger in den Schulen der verschiedenen Schulsparten nicht berück-sichtigen. In den allgemeinbildenden Pflichtschulen gibt es z. B. meist nur eine kleine Zahl 15-/16-Jähriger. Um in dieser Schulsparte eine repräsentative Zahl an Schülerinnen und Schülern des Zielalters erreichen zu können, müssen deshalb relativ viele Schulen in die Stichprobe aufgenommen werden.

Tabelle 6.16 zeigt die regionale Verteilung der getesteten Schulen und Schüler/innen. Eine regionale Streuung der Stichprobe wird bei der Stichprobenziehung durch die Berücksichtigung des Bundeslands als implizites Stratum (d. h. als Sortierkriterium) gesichert (siehe Abschnitt 4.6.2 in Kapitel 4). Das Land Oberösterreich beauftragte bei PISA 2018 die Testung einer erweiterten Stichprobe, um valide Schätzungen auf Bundesländerebene zu erhalten. Das erklärt den relativ hohen Anteil oberösterreichischer Schulen und Schüler/innen in der Stichprobe.

BundeslandSchulen Schüler/innen


Burgenland 6 2,1 % 128 1,9 %

Kärnten 15 5,2 % 399 5,9 %

Niederösterreich 46 15,8 % 967 14,2 %

Oberösterreich 94 32,3 % 2.208 32,5 %

Salzburg 20 6,9 % 506 7,4 %

Steiermark 27 9,3 % 673 9,9 %

Tirol 24 8,2 % 519 7,6 %

Vorarlberg 14 4,8 % 296 4,4 %

Wien 45 15,5 % 1.106 16,3 %

Gesamt 291 100,0 % 6.802 100,0 %

Tabelle 6.16: Die realisierte Haupttest-Stichprobe nach Bundesländern (PISA-Haupttest 2018)


Tabelle 6.17 zeigt eine Aufgliederung der 2018 getesteten Schüler/innen nach besuchter Schulstufe und Geschlecht. Beide Variablen wurden mittels der Listen aller Schüler/innen des Zielalters von den Schulen erhoben.

6.2.7 Der Rücklauf der Waldorfschulen

Wie schon bei den vorangegangenen PISA-Erhebungen nahmen die Schulen des österreichischen Waldorfbunds auch am PISA-Haupttest 2018 zusätzlich zur Stichprobe für den internationalen Vergleich in Form einer Vollerhebung der 15-/16-Jährigen teil. Insgesamt kamen an den elf zur Voll-erhebung vorgesehenen Waldorfschulen 202 Schüler/innen an 10 verschiedenen Waldorfschulen für die Teilnahme am PISA-Test in Frage. Acht Schüler/innen wurden von der Testung ausgeschlossen, weitere 3 Schüler/innen konnten nicht teilnehmen, weil sie vor dem Test die Schule gewechselt bzw. verlassen hatten; das entspricht einem Stichprobenaus-fall von insgesamt 5,5 %. Von den verbleibenden 191 zu testenden Schülerinnen und Schülern nahmen 184 am Test teil, was einer Rücklaufquote von 96,3 % entspricht. Eine Übersicht darüber gibt Tabelle 6.18.

6.2.8 Zur Gewichtung der PISA-2018-Stichprobe

Bei der Haupttest-Stichprobe handelt es sich um keine selbst gewichtende Stichprobe per se, d. h., dass die Stichprobe in Bezug auf wichtige Verteilungsmerkmale nicht exakt der Population entspricht. Erst durch nachträgliche Gewichtung werden im Samplingdesign beabsichtigte (siehe Kapitel 4) sowie unbeabsichtigte Ungenauigkeiten in der Repräsentativi-tät ausgeglichen und Analysen, die für die Population Gültig-keit besitzen, ermöglicht. Folgende Umstände werden bei der Gewichtung insbesondere berücksichtigt:

� Unter- bzw. Übersampeln einzelner Populationsteile (z. B. Schüler/innen an Schulen mit geringer Anzahl an PISA-Schülerinnen und -Schülern; Schüler/innen der ober-österreichischen Zusatzstichprobe; Schüler/innen in Waldorfschulen)� Diskrepanzen zwischen der tatsächlichen Anzahl

15-/16-jähriger Schüler/innen an einer Schule und der Schätzung auf Basis der Zahlen aus dem Vorjahr� Stichprobenausfälle (Non-Response) auf Schulebene

(z. B. Verweigerung der Teilnahme, ohne Ausgleich durch Replacement-Schule; Unterschreitung der Mindestteil-nahmequote auf Schülerebene von mindestens 25 % je Schule) � Stichprobenausfälle (Non-Response) auf Schülerebene

(z. B. abwesende Schüler/innen, nicht erreichbare Schü-ler/innen in Berufsschulen)

Tabelle 6.17: Die realisierte Haupttest-Stichprobe nach Schulstufe und Geschlecht (PISA-Haupttest 2018)

Schulstufe

7 8 9 10 11 Gesamt

Ges

chle

cht w

eib

lich

Anzahl weiblich 8 133 1.475 1.700 5 3.321

% Schulstufe/weiblich 0,2 % 4, % 44,4 % 51,2 % 0,2 % 100,0 %

% weiblich/Schulstufe 26,7 % 40,9 % 48,2 % 50,3 % 55,6 %

% der Gesamtzahl 0,1 % 2,0 % 21,7 % 25,0 % 0,1 % 48,8 %

män

nlic

h

Anzahl männlich 22 192 1.585 1.678 4 3.481

% Schulstufe/männlich 0,6 % 5,5 % 45,5 % 48,2 % 0,1 % 100,0 %

% männlich/Schulstufe 73,3 % 59,1 % 51,8 % 49,7 % 44,4 %

% der Gesamtzahl 0,3 % 2,8 % 23,3 % 24,7 % 0,1 % 51,2 %

GesamtAnzahl 30 325 3.060 3.378 9 6.802

% der Gesamtzahl 0,4 % 4,8 % 45,0 % 49,7 % 0,1 % 100,0 %

Tabelle 6.18: Übersicht über den erzielten Rücklauf an den Schulen des österreichischen Waldorfbunds (PISA-Haupttest 2018)

Schüler/innen in der Stichprobe der Waldorfschulen

202

falscher Jahrgang/falsche Schulstufe 0

Schüler/innen des Zielalters ab Schulstufe 7 202 100,0 %

... ausgeschlossen 8 4,0 %

... nicht erreichbar, weil Schule gewechselt/verlassen

3 1,5 %

zu testende Schüler/innen 191 100,0 %

... am Testtag gefehlt 7 3,7 %

getestete Schüler/innen 184 96,3 %


Der Gewichtungsfaktor jeder Schülerin/jedes Schülers der Stichprobe setzt sich aus Informationen über die Auswahl-wahrscheinlichkeit der Schule, die Auswahlwahrscheinlich-keit einer Schülerin/eines Schülers innerhalb der Schule und gegebenenfalls einem Ausgleich von Stichprobenausfällen auf Schul- und/oder Schülerebene zusammen. Würde bei einer Stichprobe keiner der oben angeführten Punkte zutreffen, hätten alle Schüler/innen den gleichen Gewichtungsfaktor und man spräche von einer selbst gewichtenden Stichprobe.

Der Gewichtungsfaktor wird für die Schätzung von Popula-tionsparametern (Punktschätzungen) benötigt. Für die Be-rechnung von Konfidenzintervallen oder die Durchführung von Signifikanztests ist zusätzlich die Sampling-Varianz zu berücksichtigen. Bei PISA fließt die aus der Stichprobe ge-schätzte Sampling-Varianz in Form von mehreren replizierten Gewichtungen in die Berechnungen ein. Die konkret ver-wendete Methode heißt „Balanced Repeated Replication“; angewendet wird die Variante, die als „Fay’s Method“ bekannt ist (für eine detaillierte Beschreibung der verwendeten Methode siehe OECD [in preparation, S. 123]).

6.2.9 Der Rücklauf auf Schülerebene entsprechend der internationalen Gewichtung

Werden die österreichischen Daten aus PISA 2018 ent-sprechend gewichtet, beläuft sich die Rücklaufquote auf Schülerebene auf 92,5 %. Die international festgelegte Mindestrücklaufquote auf Schülerebene von 80 % wird damit deutlich überschritten. Die Analysen auf nationaler und internationaler Ebene werden ausschließlich mit ge-wichteten Daten durchgeführt.

Tabelle 6.19 zeigt einen Vergleich von ungewichteten und gewichteten Stichprobendaten mit der Gesamtpopulation.

Tabelle 6.20 zeigt weiters getrennt für die Schulsparten, dass die Geschlechterverteilung in der Stichprobe jene in der Population widerspiegelt. Dieser Vergleich von gewichteter Stichprobe und Population belegt die hohe Qualität bei der Stichprobenziehung und zeigt, dass die PISA-Stichprobe ein gutes Abbild der Zielpopulation darstellt.

Schulsparte

Stichprobe gewichtet

Population

männl. weibl. männl. weibl.

Allgemeinbildende Pflichtschulen

60,2 % 39,8 % 62,0 % 38,0 %

Allgemeinbildende höhere Schulen

43,2 % 56,8 % 42,9 % 57,1 %

Schulen mit Statut 54,5 % 45,5 % 52,5 % 47,5 %

Berufsschulen 65,9 % 34,1 % 66,8 % 33,2 %

Berufsbildende mittlere Schulen

52,0 % 48,0 % 45,6 % 54,4 %

Berufsbildende höhere Schulen

47,1 % 52,9 % 47,7 % 52,3 %

GESAMT 50,8 % 49,2 % 51,1 % 48,9 %

Tabelle 6.20: Vergleich von gewichtetem Rücklauf und Populationszahlen nach Schulsparten und Geschlecht

(PISA-Haupttest 2018)

Tabelle 6.19: Ungewichteter und gewichteter Rücklauf im Vergleich mit den Populationszahlen nach Schulsparten

(PISA-Haupttest 2018)

Schulsparte Stichprobe Popu lation

ungewichtet gewichtet

Allgemeinbildende Pflichtschulen:

HS, NMS und Sonderschulen 4,7 % 7,2 % 7,1 %

Polytechnische Schulen 7,4 % 7,4 % 8,8 %

APS gesamt 12,0 % 14,6 % 15,9 %

Allgemeinbildende höhere Schulen:

AHS-Langform 18,1 % 18,7 % 18,6 %

AHS-Kurzform 7,5 % 8,7 % 7,1 %

AHS gesamt 25,6 % 27,4 % 25,8 %

Schulen mit Statut:

Waldorfschulen 2,4 % 0,2 % 0,2 %

Sonstige Schulen mit Statut 0,3 % 0,1 % 0,6 %

Statutschulen gesamt 2,7 % 0,4 % 0,9 %

Berufsschulen:

BS kaufmännisch/gewerblich 12,5 % 11,7 % 13,5 %

BS landwirtschaftlich 0,3 % 0,1 % 0,1 %

BS gesamt 12,8 % 11,7 % 13,6 %

Berufsbildende mittlere Schulen:

BMS gewerblich 3,5 % 3,2 % 2,8 %

BMS kaufmännisch 2,2 % 2,2 % 2,6 %

BMS wirtschaftlich 2,1 % 2,0 % 3,2 %

BMS landwirtschaftlich 5,0 % 4,3 % 4,4 %

BMS gesamt 12,8 % 11,8 % 12,9 %

Berufsbildende höhere Schulen:

BHS gewerblich 14,5 % 15,0 % 13,7 %

BHS kaufmännisch 9,0 % 8,3 % 8,1 %

BHS wirtschaftlich 7,3 % 7,3 % 6,2 %

BHS landwirtschaftlich 1,3 % 1,0 % 0,8 %

BAfEP/BASOP 2,0 % 2,5 % 2,2 %

BHS gesamt 34,1 % 34,1 % 31,0 %

Gesamt 100,0 % 100,0 % 100,0 %


Bibliografie

Breit, S. & Schreiner, C. (2007). Rücklauf, Stichprobenausfälle und Stichprobengrößen. In C. Schreiner & G. Haider (Hrsg.), PISA 2006. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. Verfügbar unter https://www.bifie.at/ material/internationale-studien/pisa/pisa-2006/

Haider, G. & Wallner-Paschon, C. (2001). Rücklauf, Stichprobenausfall und Stichprobengrößen. In G. Haider (Hrsg.), PISA 2000. Technischer Report. Ziele, Methoden und Stichproben des österreichischen PISA-Projekts (S. 185−210). Innsbruck: StudienVerlag.

OECD (2019). PISA 2018 Results (Volume I). Whan Students Know and Can Do. Paris: OECD Publishing.


Pareiss, M. (2013). Sampling-Design und Stichproben. In U. Schwantner & C. Schreiner (Hrsg.), PISA 2012. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. Verfügbar unter https://www.bifie.at/material/internationale-studien/pisa/pisa-2012/

Pareiss, M. (2016). Rücklauf, Stichprobenausfälle und Stichprobengrößen bei PISA 2015. In B. Suchań & S. Breit (Hrsg.), PISA 2015. Technischer Bericht. Verfügbar unter https://www.bifie.at/material/internationale-studien/pisa/pisa-2015/

Pareiss, M., Pointinger, M. & Schwantner, U. (2010). Rücklauf, Stichprobenausfälle und Stichprobengrößen. In U. Schwantner & C. Schreiner (Hrsg.), PISA 2009. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. Verfügbar unter https://www.bifie.at/buch/1293

Reiter, C. (2004). Rücklauf, Stichprobenausfälle und Stichprobengrößen. In C. Reiter, B. Lang & G. Haider (Hrsg.), PISA 2003. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. Verfügbar unter https://www.bifie.at/material/ internationale-studien/pisa/pisa-2003/






https://www.bifie.at/buch/1293




7 Coding Bettina Toferer

Bei PISA werden die Schülerantworten auf offen gestellte Fragen auf Basis internationaler Richtlinien bewertet und in Zahlencodes umgewandelt. Dies wird unter dem Begriff „Coding“ zusammengefasst. Das vorliegende Kapitel erklärt grundlegende Begrifflichkeiten und beschreibt den umfangreichen Coding-Prozess in Österreich.1

1 Dieser Text ist eine Aktualisierung des entsprechenden Kapitels 7 (Coding) im nationalen technischen Bericht zu PISA 2015 (Toferer, 2016).

7.1 Die Grundlagen des Codings

Die kognitiven Testaufgaben bei PISA umfassen verschiedene Fragenformate. Neben einfachen und komplexen Multiple-Choice-Fragen gibt es offene Fragen, die entweder eine kurze oder eine längere selbst konstruierte Antwort der Schüler/innen verlangen. Während die Antworten der Schüler/innen auf Multiple-Choice-Fragen durch die Festlegung der richtigen Antwortoption vorab „automatisch“ vercodet (in einen Zahlen-code umgewandelt) werden, ist bei Fragen mit offenem Antwort-format eine Vercodung durch Expertinnen und Experten not-wendig. Unter dem Begriff Coding oder human coding wird bei PISA somit das Bewerten offener Schülerantworten und die Zuordnung von Zifferncodes durch Expertinnen und Experten zusammengefasst. Die Schüler/innen erhalten dabei je nach Qualität und Richtigkeit ihrer Antworten Punkte, sogenannte Codes. Welche Kriterien eine Schülerantwort erfüllen muss, um einen bestimmten Code zu erhalten, wird für jeden Kompetenz-bereich in den internationalen Bewertungsrichtlinien – den Coding Guides – beschrieben und für alle Teilnehmerländer verpflichtend festgelegt.

7.1.1 Die Coding Guides

Die Coding Guides für die drei Kompetenzbereiche be-schreiben zunächst die allgemeinen Richtlinien für das Coding der offenen Schülerantworten und einige häufige Probleme, wie z. B. mit widersprüchlichen Antworten umzu-gehen ist. Im Hauptteil der Coding Guides wird schließlich für jede offene Frage die Bewertungsrichtlinie ausführlich dargelegt. Dazu wird für jede Aufgabe (Unit) bzw. jedes Item zuerst die Fragestellung abgebildet. Es folgt eine kurze Be-schreibung, welche Fähigkeit mit der Aufgabe erfasst werden soll. Anschließend werden die einzelnen Codes zu Bewertung der Antwort beschrieben, absteigend von Full Credit zu No Credit. Jede Schülerantwort muss entsprechend diesen vor-gegebenen Kriterien bewertet werden. Besonders wichtig für diesen Prozess sind die Beispielantworten, die unterhalb der Codebeschreibungen zu finden sind und die Workshop-Materialien aus den internationalen Codertrainings (siehe dazu Abschnitt 7.2). Diese stellen wesentliche Entscheidungs-hilfen im Coding-Prozess dar und erleichtern eine konsistente Zuordnung der Antworten zu den Codes.

Eine detaillierte Sammlung aller bis 2012 freigegebenen papierbasierten Testaufgaben inklusive Lösungen und Bewertungsrichtlinien auf Deutsch finden sich auf der BIFIE- Homepage unter https://www.bifie.at/material/ internationale-studien/pisa/freigegebene-aufgaben-aus-den - pisa-tests. Die freigegebenen computerbasierten Aufgaben aus PISA 2015 sind unter dem Link http://www.oecd.org/pisa/test/ abrufbar. Freigegebene Leseaufgaben zu PISA 2018 werden nach der Veröffentlichung der ersten Ergebnisse (Dezember 2019) im ersten Quartal 2020 auf der OECD-Homepage veröffentlicht.

7.1.2 Die Codevergabe

PISA erfasst mithilfe kognitiver Aufgaben die Kompetenzen der Schüler/innen. Die Aufgaben sind so konzipiert, dass sie die reale Kompetenz möglichst exakt erfassen und somit von der Testleistung auf die tatsächliche Fähigkeit einer Schülerin/eines Schülers schließen lassen. Um zwischen Schüler-antworten differenzieren zu können, die hohe oder niedrige Fähigkeiten widerspiegeln, werden bei jeder Frage inhaltlich sinnvolle Grenzen gezogen. Entsprechend diesen inhaltlichen Grenzen wird entweder Full Credit oder No Credit vergeben. Full Credit entspricht Code 1 und bedeutet, dass die Antwort ausreichend ist und den Kriterien im Coding Guide ent-spricht. No Credit bedeutet Code 0 und wird vergeben, wenn die Antwort unzureichend oder zu vage ist. Wird eine Frage zur Gänze nicht beantwortet, wird dies als Missing vercodet (Code 9). Bei komplexen Items wird eine zweite inhaltliche Grenze gezogen und die Kategorie Partial Credit hinzugefügt. Dadurch ergibt sich folgende Codevergabe: Full Credit ent-spricht Code 2, Partial Credit Code 1, No Credit Code 0 und Missing Code 9.

Bei einigen Trendaufgaben (jene Aufgaben, die bereits in früheren Erhebungen eingesetzt wurden) aus den Bereichen Mathematik und Naturwissenschaft wird anstelle der oben beschriebenen einstelligen Codevergabe eine zweistellige Vercodung angewendet. Bei diesem Codiersystem – dem so genannten Double-Digit-Coding – werden zusätzlich Informationen über den gewählten Lösungsweg und/oder über die Art und Weise des Fehlers erfasst. Dies bildet sich in der zweiten Ziffer ab (z. B. Code 11 oder Code 12). Beispiel-




http://www.oecd.org/pisa/test/

http://www.oecd.org/pisa/test/

80 7 – Coding

haft hierfür ist die naturwissenschaftliche Aufgabe „Körper-liche Aktivität“. Zu Beginn wird erläutert, dass regelmäßige, aber mäßige körperliche Aktivität gut für die Gesundheit ist. Die Fragestellung im Anschluss lautet: „Warum muss man bei körperlicher Aktivität stärker atmen als bei körper-licher Ruhe?“ Die Bewertungsvorschriften im Coding Guide sehen zwei Lösungswege vor: Code 11 wird vergeben, wenn sich die Antwort auf „die Entfernung größerer Mengen von Kohlenstoffdioxid UND die Zufuhr von mehr Sauerstoff zum Körper bezieht (inkl. des Hinweises, dass Luft anstelle von Kohlenstoffdioxid oder Sauerstoff nicht akzeptiert werden darf“). Der zweite Lösungsweg bekommt Code 12, wenn sich die Antwort auf „die Entfernung größerer Mengen von Kohlenstoffdioxid aus dem Körper ODER die Versorgung des Körpers mit mehr Sauerstoff, aber nicht beides“ bezieht (inkl. des Hinweises, dass Luft anstelle von Kohlenstoffdioxid oder Sauerstoff nicht akzeptiert werden darf“).

7.2 Das Coder-Training

Um eine einheitliche Anwendung der Codevergaben in allen Teilnehmerländern zu gewährleisten, findet vor Beginn der Coding-Prozesse in den nationalen Zentren ein inter-nationales Coder-Training statt, an dem alle Länder ver-pflichtend teilnehmen müssen. Jedes Teilnehmerland sendet Vertreter/innen, sogenannte Supervisorinnen und Supervisoren, zu diesem Training. Für jeden Kompetenzbereich – also Lesen, Mathematik und Naturwissenschaft – werden eigene Trainings abgehalten.

Grundlage der Trainings sind die internationalen Coding Guides und Workshop-Materialien. Das Workshop-Material jedes Kompetenzbereichs umfasst international ausgewählte Schülerantworten für jedes Item. Die Teilnehmer/innen be-reiten sich im Vorfeld auf das Training vor, indem sie jede Schülerantwort im Workshop-Material mithilfe des Coding Guides bewerten. Im Training selbst wird die Codevergabe, die international von einem Experten-Team festgelegt wird, besprochen und diskutiert. Diese Codevergabe dient ebenfalls – so wie die Bespielantworten in den Coding Guides – als Ent-scheidungshilfe im Coding-Prozess. In Österreich gab es für jeden der drei Kompetenzbereiche eine hauptverantwortliche Coding-Supervisorin, die das internationale Coder-Training besucht hat. Nach dem internationalen Training leiten die Supervisorinnen die nationalen Schulungen und sind für den richtlinienkonformen Coding-Ablauf im Teilnehmerland ver-antwortlich. Das Coding selbst wird von speziell geschulten Expertinnen und Experten, den Coderinnen und Codern, durchgeführt (siehe Abschnitt 7.3.2).

7.3 Der Coding-Prozess in Österreich

Nach dem Abschluss aller PISA-Testungen (siehe Kapitel 5) und dem Auslesen aller Schülerantworten aus der Testsoft-ware (siehe Kapitel 8 sowie der folgende Abschnitt in diesem Kapitel) begann in Österreich der Coding-Prozess, basierend auf Vorgaben des internationalen Konsortiums.

Abbildung 7.1: Workflow im Coding-Prozess (PISA 2018)


7.3.1 Die technische Aufbereitung der Schüler-antworten

Bei PISA 2018 werden die Schülerdaten computerbasiert erhoben und auf USB-Sticks gespeichert. Die Daten auf den USB-Sticks werden im Rahmen der Rücklaufkontrolle (siehe Kapitel 5 und Kapitel 8) am BIFIE ausgelesen. Für die Weiterverarbeitung der Schülerdaten sind zwei Programme notwendig, die international für alle Teilnehmerländer zur Verfügung gestellt werden: das DME (Data Management Expert) und das OECS (Open-Ended Coding System). Die DME-Software ist verantwortlich dafür, dass die Antwortfiles der Schüler/innen von den USB-Sticks in FTE-Files (Free-Text-Entry-Files) transformiert werden, die dann in das OECS importiert werden können. Das OECS ist eine Webanwendung und teilt die Schülerantworten je nach Co-ding-Design im Zufallsprinzip den Coderinnen und Codern zu. Nach Ende des Codings werden die kodierten Schüler-antworten aus dem OECS wieder als FTE-Files in die DME-Software exportiert und weiterverarbeitet (siehe Kapitel 8).

Abbildung 7.1 zeigt im Überblick den Workflow und das Zu-sammenspiel der beiden Programme im Coding-Prozess 2018.

7.3.2 Die Coder/innen

Als Coder/innen werden bei PISA jene Expertinnen und Experten bezeichnet, die im Coding-Prozess für die Ver-codung der offenen Schülerantworten mitverantwortlich sind. Als Voraussetzung müssen Coder/innen ein laufendes oder abgeschlossenes Studium aus den Bereichen Sprachen, Mathematik, Naturwissenschaften oder Sozialwissenschaften aufweisen und über ausgezeichnete analytische Fähigkeiten verfügen. Die internationalen Richtlinien sehen außerdem vor, dass zwei Coder/innen jedes Kompetenzbereichs über ausreichend Englischkenntnisse verfügen müssen, da im Co-ding-Prozess auch englischsprachige Schülerantworten, die international vorgegeben werden, zu vercoden sind. Diese englischsprachigen Schülerantworten sind ein Teil der Quali-tätssicherungsmaßnahmen im Coding-Prozess und müssen in allen Teilnehmerländern bewertet werden. (siehe Abschnitt 7.4).

In Österreich mussten die Bewerber/innen im Rahmen eines Vorstellungsgesprächs Schülerantworten von freigegebenen PISA-Aufgaben aus früheren Erhebungen mithilfe der Be-wertungsrichtlinien vercoden. Dadurch erhalten einerseits die Bewerber/innen einen besseren Einblick in ihre Aufgabe als Coder/in und andererseits können die Bewerber/innen auf ihre Qualifizierung hin überprüft werden.

Insgesamt waren 19 Coder/innen für drei Kompetenzbereiche tätig: acht Coder/innen für Lesen, vier für Mathematik und fünf für Naturwissenschaft. Alle Coder/innen unter-zeichneten vor Beginn ihrer Tätigkeit eine Verpflichtung zur Verschwiegenheit und zur Einhaltung des Datenschutzes.

Darin verpflichteten sie sich, die Inhalte der gesamten PISA-Testmaterialien (Aufgaben, Coding Guides und Work-shop-Materialien) vertraulich zu behandeln und die Daten-schutzrichtlinien des BIFIE einzuhalten.

7.3.3 Der Coding-Ablauf

Das Coding erfolgte über eine gesicherte Webplattform des internationalen Zentrums. Die Coder/innen konnten daher ihre privaten PCs/Laptops für den Coding-Prozess verwenden, sie mussten lediglich zu den Schulungen ans BIFIE kommen. Zur Kommunikation mit den Coderinnen und Codern wurde vom BIFIE eine Server-Infrastruktur (Terminal-Server) zur Verfügung gestellt, der den Austausch von vertraulichen Daten und eine gesicherte Kommunikation ermöglichte.

Vor den nationalen Coder-Schulungen mussten sich die Coder/innen mit den Aufgaben und dem Coding-Prozess vertraut machen. Dazu erhielten sie vorab den Coding Guide sowie die Workshop-Materialien per Einschreiben zugesendet, die sie vorbereitet und ausgefüllt zur Schulung mitnehmen mussten.

Für den Coding-Prozess wurden die Items mit offenen Schüler-antworten von internationaler Seite aus organisatorischen Gründen zu Sets zusammengefasst. Für den Bereich Lesen mussten insgesamt 85 Items vercodet werden, die in vier Sets organisiert waren. Es gab insgesamt vier Schulungstermine, an denen jeweils vier Coder/innen teilnahmen, d. h. jede Coderin/jeder Coder wurde in zwei Item Sets trainiert (siehe Tabelle 7.1).

Lesen Coder/innen

Item Set 1 2 3 4 5 6 7 8

Set 1 x x x x

Set 2 x x x x

Set 3 x x x x

Set 4 x x x x

Tabelle 7.1: Das Coding-Design für Lesen (PISA 2018)

Für den Kompetenzbereich Mathematik waren 18 Items in einem Set zu vercoden. Es gab eine Schulung, an der alle vier Coder/innen teilnahmen (siehe Tabelle 7.2).

Mathematik Coder/innen

Item Set 1 2 3 4

Set 1 x x x x

Tabelle 7.2: Das Coding-Design für Mathematik (PISA 2018)

82 7 – Coding

Im Bereich Naturwissenschaft mussten insgesamt 32 Items vercodet werden, die in einem Set organisiert waren. Ins-gesamt gab es zwei Schulungstermine, an denen alle fünf Coder/innen teilnahmen (siehe Tabelle 7.3).

Naturwissenschaft Coder/innen

Item Set 1 2 3 4 5

Set 1 x x x x x

Tabelle 7.3: Das Coding-Design für Naturwissenschaft (PISA 2018)

Die Coder/innen wurden laut internationalen Vorgaben intensiv in die Bewertung der PISA-Aufgaben eingeschult, um eine einheitliche Anwendung der Codevergaben zu ge-währleisten. Alle Schulungen fanden am BIFIE statt und es bestand Anwesenheitspflicht. Zu Beginn der Schulung wurden allgemeine Informationen zum Coding präsentiert und die Bedeutung von „Coding Item by Item“ erklärt (vollständige Bewertung aller Schülerantworten, die es zu einer Aufgabe gibt, bevor mit dem nächsten Item begonnen wird). Für die komplexeren Items wurde festgelegt, dass es eine Einarbeitungsphase (Vercodung von 30 Schüler-antworten pro Coder/in) gibt, die auch eine Rückmeldung der Supervisorinnen inkludiert, um gleich zu Beginn mög-liche Unklarheiten klären zu können.

Ein Teil der Schulung widmete sich der Qualitätssicherung. Mithilfe der Coding-Plattform OECS kann laufend die Übereinstimmung der Coder/innen kontrolliert werden. Dabei wird zwischen Within-country Inter-rater Reliability und Cross-country Inter-rater Reliability unterschieden. Die „Within-country Inter-rater Reliability“ dokumentiert, wie hoch die Übereinstimmung ist, wenn 4 Coder/innen dieselbe Schülerantwort vercoden, d. h., je höher der Prozentwert, desto mehr Antworten wurden durch die Coder/innen ident bewertet. Der internationale Richtwert bei dieser Überprüfung liegt für jedes Item bei 85 %. Wird dieser Wert nicht er-reicht, ist eine Nachschulung mit anschließendem Nachcoden zwingend vorgeschrieben. Sind alle Schülerantworten eines Kompetenzbereichs vercodet, muss die Übereinstimmung der Bewertungen aller Items mindestens 92 % betragen. Um die Qualität des Codings über alle Teilnehmerländer hinweg vergleichbar zu machen, wird die „Cross-country Inter-rater Reliability“ berechnet. Dazu werden 30 englische Schülerantworten pro Item in jedem Teilnehmerland von je 2 Coderinnen/Codern vercodet (Anchor Coding). Dieser Prozess gewährleistet, dass die Bewertungsrichtlinien inter-national korrekt angewendet werden.

Im Anschluss an den theoretischen Input wurde in den Schulungen für jedes im Coding Guide angeführte Beispielitem die Codevergabe besprochen und anschließend die vergebenen Codes im Workshop-Material diskutiert, bis

unter allen Coderinnen und Codern ein Konsens über die Codevergabe erreicht war. Nach der Coderschulung konnten die Coder/innen mit dem Bewerten der Schülerantworten beginnen. Die Coder/innen gingen dabei nach einer vor-gegebenen Reihenfolge vor und vercodeten Item für Item. Diese Vorgehensweise gewährleistet, dass bei der Bewertung einer Aufgabe durchgehend die gleichen Bewertungsricht-linien angewendet wurden. Die Codevergabe wurde von den Supervisorinnen während des Coding-Prozesses stichproben-artig überprüft und die Coder/innen erhielten laufend Rück-meldung über die Qualität ihrer Arbeit. Wenn die Coder/innen eine Schülerantwort nicht bewerten konnten bzw. un-sicher bei der Codevergabe waren, konnten sie diese Antwort im OECS als Defer markieren und mit einem Codevorschlag sowie ihrer Begründung an die Supervisorinnen weiterleiten. Diese Antworten wurden dann von den Supervisorinnen vercodet und die Coder/innen mussten diese Codevergabe weiterhin beim Vercoden des Items berücksichtigten oder bereits vergebene Codes ausbessern. Konnte eine Schüler-antwort auch von der Supervisorin nicht bewertet werden, wurde die Antwort mit einem Codevorschlag an die zu-ständigen internationalen Expertinnen und Experten ge-sendet (Coder Query System), deren Antwort zwingend an-zuwenden war.

7.4 Das automatisierte Coding

Für knapp 1/3 der bei PISA eingesetzten Items aus den Be-reichen Lesen, Naturwissenschaft und Mathematik ist ein Experten-Coding notwendig. Da sich das Coding durch ein Experten-Team kostenintensiv und zeitaufwändig gestaltet und auch Abweichungen bei Reliabilitätsanalysen zwischen Coderinnen und Codern und zwischen Teilnehmerländern erkennbar sind, gibt es seit 2015 bei PISA das Bestreben eines „automatisierten Codings“. Diese Möglichkeit bietet sich erstmals durch die Umstellung auf eine computerbasierte Testung im Rahmen von PISA 2015. Ziel des automatisierten Codings ist es, den zeitlichen und finanziellen Coding-Auf-wand in den nächsten Erhebungszyklen zu minimieren und gleichzeitig die Coding-Qualität zu maximieren.

Die erste Pilotstudie wurde mit 13 Leseitems aus PISA 2015 in 7 Ländern durchgeführt (vgl. Yamamoto et al., 2017). Diese Items verlangten von den Schülerinnen und Schülern eine kurze, selbst konstruierte oder numerische Antwort, sodass eindeutige Antwortkategorien festgelegt werden konnten (z. B. 15 km, 15km, 15 Kilometer). Im Feldtest zu PISA 2018 wurden 21 Aufgaben aus Mathematik, 58 Aufgaben aus dem Bereich Naturwissenschaft und 51 Leseaufgaben für einen weiteren Probelauf des Machine-Supported Coding Systems (MSCS) ausgewählt. Für jede Schülerantwort wurde zunächst geprüft, ob eine der vordefinierten Antwortkate-gorien eindeutig zuordenbar ist. Wenn ja, wurde die Antwort automatisiert vercodet und den Coder/innen nicht zur Be-


wertung vorgelegt. Konnte keine exakte Übereinstimmung der Schülerantwort mit den vordefinierten Antworten erzielt werden, kam die Antwort in die Bewertungsplattform für die „händische“ Codierung (OECS). Sämtliche „leere“/un-beantwortete Schülerantworten wurden vorab mithilfe dieses Codingsystems herausgefiltert und mit dem entsprechenden Code 9 (Missing) versehen. Durch die Definition eindeutiger Antwortkategorien für diese ausgewählten Aufgaben konnten die Schülerantworten automatisch vercodet werden. Zur Qualitätssicherung wurden die nationalen Zentren gebeten, die vorab international festgelegten richtigen Antworten für diese ausgewählten Aufgaben sowie die Codevergabe des Systems zu überprüfen und ggf. zu korrigieren. Im Haupt-test 2018 bedeutete das, dass Teile von Schülerantworten jedes Items aus allen drei Kompetenzbereichen automatisiert vercodet werden (dies gilt zumindest immer für Code 9 „Missing“), für die restlichen Antworten war weiterhin ein Experten-Coding notwendig. Der Prozess des „auto-matisierten Codings“ fand nach dem Import der FTE-Files im OECS statt, sodass den Coderinnen und Codern nur mehr jener Teil der Schülerantworten zugeteilt wurde, der Experten-Coding verlangte.

7.5 Qualitätssicherung

Qualitätssicherung im Bereich des Coding ist von großer Bedeutung, da es um die Vergleichbarkeit der gewonnenen Leistungsdaten sowohl auf nationaler als auch auf inter-nationaler Ebene geht. Mängel bei der Bewertung der Schüler-antworten würden die erhobenen Daten im schlechtesten Fall unbrauchbar bzw. nicht vergleichbar machen. Deshalb werden enorme Anstrengungen unternommen, um eine hohe Qualität beim Coding zu erreichen.

Alle Prozeduren zu Qualitätssicherung und -kontrolle werden durch internationale Richtlinien vorgegeben und müssen auf nationaler Ebene umgesetzt werden. Dies stellt sicher, dass die folgenden Qualitätssicherungsmaßnahmen nach einem international einheitlichen Standard ablaufen und dadurch die PISA-Leistungsdaten über die Teilnehmerländer hinweg vergleichbar sind.

� Feldtest: Das Ziel des Feldtests ist die Überprüfung und Verbesserung der Instrumente und Prozeduren. Der Feld-test ist somit eine entscheidende Maßnahme zur Sicher-stellung verlässlicher Daten im Haupttest. Eine gute Qualität der Coding Guides äußert sich durch sinnvolle und praktisch gut anwendbare Richtlinien für die Zu-ordnung von Codes zu Schülerantworten. Reliabilitäts-analysen ermöglichen es auch im Feldtest, jene Items zu

erkennen, die für einen Einsatz im Haupttest (entweder national oder international) nicht geeignet sind. Anhand der im Feldtest gewonnenen Erkenntnisse über die Quali-tät der Items und deren Coding Guides werden diese für den Haupttest entweder überarbeitet, ausgeschlossen oder es werden die Bewertungsrichtlinien in den Coding Guides für den Haupttest modifiziert.� Kriteriumsorientierte Rekrutierung der Coder/innen:

Coder/innen müssen über ein abgeschlossenes oder lau-fen des Studium aus den Bereichen Sprachen, Mathe-matik, Naturwissenschaften oder Sozialwissenschaften und über ausgezeichnete analytische Fähigkeiten ver-fügen. Die Eignung der Coder/innen wird in persön-lichen Gesprächen getestet. � Standardisierte Coder-Schulungen: Auf Basis des inter-

nationalen Coder-Trainings werden nationale Coder-Schulungen durchgeführt. Diese Schulungen inklusive der Diskussion über die Codevergabe finden verpflichtend am nationalen Zentrum statt. Dafür werden die inter-national standardisierten Coding Guides und das Work-shop-Material verwendet. Die Codevergabe für die Schülerantworten im Workshop-Material wird im Rahmen der Schulung gemeinsam besprochen und es wird ein verbindlicher Code für jede Antwort festgelegt. Dieses Vorgehen stellt sicher, dass die Coder/innen ein einheitliches Verständnis bei der Codevergabe aufweisen.� Coding „Item by Item“: Durch das Coding Item by Item

wird sichergestellt, dass bei der Bewertung einer Aufgabe durchgehend die gleichen Bewertungsrichtlinien an-gewendet werden.� Qualitätskontrolle im Coding-Prozess: Laufende Kontrollen

während des Coding-Prozesses und damit verbundene Rückmeldungen stellen eine weitere Vereinheitlichung der Coder-Bewertungen sicher und machen Schwierig-keiten beim Coding bestimmter Antworten frühzeitig sichtbar und behebbar. � Reliabilitätsanalysen: Bei PISA 2018 gibt es laut den inter-

nationalen Richtlinien unterschiedliche Reliabilitätsana-lysen, um a) sicherzustellen, dass die Übereinstimmung bei der Codevergabe zwischen den Teilnehmerländern gewährleistet wird und b) um sicherzustellen, dass die Coderinnen und Coder innerhalb eines Landes die Be-wertungskriterien des Coding Guides einheitlich an-wenden. Diese internationalen Vorgaben werden im Co-dingprozess von den Supervisorinnen laufend überprüft. Falls diese nicht erreicht werden, wird durch die Supervisorinnen überprüft, ob systematische Fehler vor-liegen oder einzelne Coder/innen die Bewertungsvor-schriften nicht korrekt umgesetzt haben. In beiden Fällen erhalten die Coder/innen für das betreffende Item eine Nachschulung und vercoden die Antworten des jeweiligen Items erneut.

84 7 – Coding

Bibliografie

Yamamoto, K., He, Q., Jeong Shin, H. & von Davier, M. (2017). Developing a Machine-Supported Coding System for Constructed-Response Items in PISA. ETS Research Report. No. RR-174–47.

Toferer, B. (2016). Coding. In B. Suchań & S. Breit (Hrsg.), PISA 2015. Technischer Bericht. Verfügbar unter https://www.bifie.at/wp-content/uploads/2017/04/07_TB_Kapitel7_PISA15_final.pdf



8 Datenverarbeitung Romana Lindemann & Anna Glaeser

Im Rahmen des Haupttests zu PISA 2018 wurden in Österreich 6.802 Schülerinnen und Schüler aus 291 Schulen getestet. Die Leistungs- und Kontextdaten der Schüler/innen wurden, wie bereits bei PISA 2015, ausschließlich mittels eines com-puterbasierten Testsystems erhoben. Kontextdaten zu den ausgewählten Schulen wurden mithilfe eines Onlinefragebogens für Schulleiter/innen gesammelt. Dieses Kapitel beschreibt, wie die Schülerantworten – welche mithilfe des elektronischen Testsystems erhoben wurden – elektronisch erfasst und verarbeitet wurden und welche Prozesse notwendig waren, um eine internationale Datenbasis aller an PISA teilnehmenden Länder zu erstellen. Der vorliegende Text beinhaltet Informationen zum zeitlichen Ablauf, zur Organisation und Umsetzung der Datenerfassung, zu den dafür verwendeten Programmen sowie zu den implementierten Kontrollschritten und Cleaningverfahren zur Qualitätssicherung. Ebenso werden die Daten-übermittlung an das internationale Zentrum und die dort stattfindende weitere Datenaufbereitung beschrieben. Da der Feldtest im Hinblick auf die Datenerfassung und -verarbeitung hauptsächlich der Erprobung der Prozeduren diente und diese im Feld- und Haupttest zu PISA 2018 weitgehend übereinstimmten, beschränken sich die Darstellungen in diesem Kapitel auf den Haupttest.1

1 Dieser Text ist eine Aktualisierung des entsprechenden Kapitels im nationalen technischen Bericht zu PISA 2015 (Pointinger, 2016).

8.1 Überblick über den zeitlichen und organisatorischen Ablauf der Daten-verarbeitung

Die Testsitzungen, die im Rahmen des Haupttests zu PISA 2018 durchgeführt wurden, fanden in der Regel zwischen 9. April und 18. Mai 2018 statt. Um auch Schüler/innen der Berufsschulen erreichen zu können, deren Lehrgang bereits vor dem Beginn des regulären Testfensters endete, wurde das Testfenster – in Absprache mit der OECD – erweitert. Testungen an Berufsschulen waren somit ab 12. März 2018 möglich. Die Testmaterialien (vgl. Abschnitt 5.4.3), die die Testleiter/innen (TL) bei den Schulungen erhalten hatten, wurden von den TL gleich nach Abschluss aller Testungen an einer Schule per Post an den zuständigen Logistikpartner des BIFIE retourniert. Die Retournierung der jeweiligen USB-Box an das BIFIE erfolgte erst nach Abschluss aller Testsitzungen der TL. Ab Ende April 2018 wurden die Retoursendungen der TL laufend sowohl von studentischen Hilfskräften als auch von Mitarbeiterinnen und Mitarbeitern des BIFIE auf Vollständigkeit und Richtigkeit der Unterlagen kontrolliert. Hierbei wurden die PISA-Schülerlisten und Anwesenheitslisten sowie die Testsitzungsprotokolle für die elektronische Erfassung sortiert, in weiterer Folge abgetippt bzw. direkt in die Soft-ware KeyQuest (vgl. Abschnitt 8.2.3) eingegeben. Die USB-Sticks wurden auf Vollständigkeit geprüft und der IT-Ab-teilung zur Weiterverarbeitung übergeben, wo die Daten der USB-Sticks ausgelesen wurden. Parallel dazu wurde mittels R-Skript kontrolliert, ob für alle Schüler/innen, die an einer Testsitzung teilgenommen haben, die entsprechenden Dateien aus den USB-Sticks ausgelesen wurden.

Die von den USB-Sticks extrahierten Dateien wurden im Anschluss daran (ab Anfang Mai 2018) in das dafür vom

internationalen Vertragspartner ETS (Educational Testing Service [vgl. Abschnitt 1.2]) bereitgestellte Programm Data Management Expert (DME) importiert und für das Co-ding (vgl. Abschnitt 7.3.1) der Schülerantworten aufbereitet. Die Klassifizierung der Schülerangaben zu den Berufen der Eltern/Erziehungsberechtigten (im Schülerfragebogen) wurde ebenso im Anschluss daran durchgeführt (ISCO-Kodierung, vgl. Abschnitt 8.2.2).

Nach der Erfassung der Daten zu den Testsitzungen (Teil-nahme- & Testsitzungsprotokolldaten) wurden die in der Soft ware KeyQuest vorgesehenen Plausibilitäts- und Voll-ständig keitschecks (vgl. Abschnitt 8.2.3) sowie einige zusätz-liche Kontrollschritte durchgeführt, bevor Ende Mai 2018 in einem ersten Schritt diese sogenannten Samplingdaten via KeyQuest an das internationale Zentrum übermittelt wurden. Nach Abschluss der Kodierungen wurden im Juli 2018 in der ebenfalls international zur Verfügung gestellten Software DME weitere international vorgeschriebene Plausibilitäts- und Vollständigkeitschecks der Daten (vgl. Abschnitt 8.3) vorgenommen. Gefundene Inkonsistenzen wurden geprüft bzw. sofern möglich beseitigt. Nach der Übermittlung der vollständigen Daten an das internationale Zentrum (vgl. Ab-schnitt 8.3.3) erfolgte dort eine weitere Überprüfung sowie die Aufbereitung der österreichischen Rohdaten für die inter-nationale Datenbasis (vgl. Abschnitt 8.4).

8.2 Workflow und Softwareanwendungen der Datenverarbeitung

Die Ausgangsbasis für den Datenverarbeitungsprozess nach Ab-schluss aller Testsitzungen stellten drei unterschiedliche Daten-

86 8 – Datenverarbeitung

quellen dar: als primäre Datenquelle dienten USB-Sticks, auf welchen die Antworten aller teilnehmenden Schüler/innen auf die Testaufgaben sowie auf die Hintergrundfragen des Schülerfragebogens gespeichert waren. Eine weitere Daten-quelle stellten die Angaben der TL auf PISA-Schülerlisten, Anwesenheitslisten sowie Testsitzungsprotokollen dar. Angaben der Schulleiter/innen der teilnehmenden Schulen wurden darüber hinaus mittels Onlinefragebogen erhoben.

8.2.1 Verarbeitung der Schülerdaten der USB-Sticks

Die USB-Sticks wurden bei PISA 2018 erstmals mehrfach verwendet. Jede/jeder TL erhielt eine USB-Box mit 27 USB - Sticks, die für alle durchgeführten Testsitzungen der/des jeweiligen TL verwendet wurden. Auf jedem USB-Stick wurden daher Datenfiles mehrerer Schüler/innen ver-schiedener Schulen gespeichert. Für das Auslesen der Daten wurde ein USB-Multiport-Hub mit 60 Steckplätzen ver-wendet, mit dem jeweils alle USB-Sticks einer USB-Box in einem Auslesevorgang extrahiert werden konnten. Als Software wurde in diesem Prozess der sogenannte „Result Extractor“ verwendet – ein vom internationalen Vertrags-partner ETS entwickeltes Software-Tool, welches der Reihe nach jeden angesteckten USB-Stick nach Ergebnisdaten des Testsystems durchsucht und diese in einen zuvor definierten Ordner im Filesystem speichert. Das Testsystem erzeugt je Schüler/in zwei Datenfiles: eines für die beiden PISA-Test-teile (Antworten auf die Testaufgaben) und eines für die drei Teile des Schülerfragebogens (Angaben zu den Kontext-fragen). Somit wurden für jede Schülerin/jeden Schüler zwei Datenfiles von den USB-Sticks ausgelesen und in einem Ordnersystem nach Auslesedatum und Testleiter-ID elektronisch abgespeichert. Die USB-Sticks wurden in den USB-Boxen nach Testleiter-ID geordnet aufbewahrt.

Im nächsten Schritt wurden diese Datenfiles der Schüler/innen mittels R-Skript in einen Importordner kopiert und tranchenweise in die Software DME importiert. Nach Ab-schluss dieses Importvorgangs waren somit sämtliche Roh-daten/Schülerantworten für die weitere Verarbeitung in DME enthalten. Die Datenverarbeitung der geschlossenen Antwort-formate (v. a. Antworten der Schüler/innen auf Multiple-Choice-Items) war mit deren Import bereits abgeschlossen.

8.2.2 Verarbeitung der offenen Schülerantworten (Coding/ISCO-Coding)

Die Antworten der Schüler/innen auf die offenen Testauf-gaben wurden im nächsten Schritt aus DME exportiert und in die international vorgeschriebene und zur Verfügung gestellte Coding-Software (OECS – Open Ended Coding System) importiert. Dort wurden – nach einem zuvor definierten Coding-Design – die Schülerantworten im Zufallsprinzip

2 Der Begriff „indirekt personenbezogen“ entspricht in der seit 2018 gültigen Fassung der DSGVO den Richtlinien der „pseudonymisierten Daten“.

den Coderinnen und Codern zugewiesen (vgl. Kapitel 7). Die mit Bewertungen versehenen Schülerantworten wurden aus OECS exportiert und die Daten für den Import in DME bereitgestellt. Beim Import in DME wurden die bewerteten Schülerantworten anhand der Schüler-ID wieder mit den ursprünglichen Schülerantworten verknüpft, sodass in DME im Anschluss daran sowohl die offenen (originalen) Schüler-antworten sowie auch die zugehörigen Bewertungen in Form von Codes enthalten waren.

Im PISA-Schülerfragebogen wurden die Schüler/innen nach dem Beruf der Eltern/Erziehungsberechtigten gefragt, wobei sie sowohl die Berufsbezeichnung als auch eine Tätigkeits-beschreibung angeben sollten. Darüber hinaus wurden die Schüler/innen auch zu ihrem eigenen Berufswunsch befragt. Die Angaben der Schüler/innen auf diese Fragen dienen zur Bildung der ISCO-Kategorien (international standardisierte Klassifizierung der Berufe – vgl. z. B. Pareiss & Schwantner, 2013). Für die Verkodung der offenen Fragen in ISCO-Codes wurden diese im Rohtextformat aus DME exportiert und die entsprechend aufbereiteten Daten in die Kodiersoftware des BIFIE (CORA – Plattform für Coding und Rating) im-portiert. Nachdem die Klassifizierung der Berufsangaben mittels CORA erfolgt war, wurden die Rohdaten inklusive ISCO-Codes für den Import in DME exportiert. Im weiteren Prozess der Datenaufbereitung bzw. der Erstellung der inter-nationalen Datenbasis werden die ISCO-Codes zusätzlich in Werte des internationalen sozioökonomischen Index (ISEI – International Socio-Economic Index) transferiert (vgl. z. B. Ganzeboom, 2010).

8.2.3 Erfassung der Teilnahmedaten

Für die Erfassung der Angaben der TL auf PISA-Schüler- und Anwesenheitslisten stand bei PISA die Software KeyQuest zur Verfügung. Diese Softwareanwendung, welche bereits u. a. bei der Zufallsziehung der Schülerstichprobe inner-halb der Schulen zum Einsatz kam (vgl. Abschnitt 4.3.5), enthält für jede ausgewählte PISA-Schule eine vollständige (indirekt personenbezogene2) Auflistung aller Schüler/innen der PISA-Zielpopulation. Nach erfolgter Testdurchführung wurden die Angaben der TL zur Teilnahme der ausgewählten Schüler/innen in KeyQuest übertragen, d. h., es wurde für jede Schülerin/jeden Schüler vermerkt, ob sie/er am PISA-Test teilgenommen hat, wobei die Teilnahme bei Test und Fragebogen getrennt erfasst wurde; darüber hinaus wurden dokumentierte Änderungen an den Ausschlusscodes der Schüler/innen (vgl. Abschnitt 5.2.3) sowie eventuell not-wendige Aktualisierungen der demografischen Daten in KeyQuest manuell übertragen.

Neben der Dokumentation der Teilnahme auf der Anwesen-heitsliste und der Aktualisierung der PISA-Schülerliste fertigten


die TL für jede durchgeführte Testsitzung ein Protokoll an. Auf diesem Protokoll wurden das Datum der Testsitzung, die Zeiten der einzelnen Testteile sowie Anmerkungen zu Problemen mit den allgemeinen Rahmenbedingungen bzw. Verbesserungsvorschläge dokumentiert. Diese Angaben wurden mithilfe eines für den Import in DME bereit-gestellten Excel-Templates zuerst manuell erfasst (in Excel eingetippt) und anschließend über eine Importschnittstelle in DME importiert.

8.2.4 Import von Daten aus dem Online-Schul-fragebogen und KeyQuest in DME

Zur Erfassung von Kontextinformationen zu den von den Schülerinnen und Schülern besuchten Schulen gibt es bei PISA einen Schulfragebogen, der seit dem Haupttest 2009 online administriert wird. Nach der Beantwortung des On-linefragebogens durch die Schulleitungen wurden die Daten exportiert und für die weitere Verarbeitung und die an-schließende Übermittlung der Daten in DME importiert.

Die Daten der Schüler/innen (Teilnahmestatus, Ausschluss-codes, Geschlecht, Geburtsdaten etc.) wurden nach der Aktualisierung/Erfassung in KeyQuest ebenfalls in DME importiert, da diese für das Cleaning der Daten (vgl. Ab-schnitt 8.3) benötigt wurden.

8.3 Datenchecks und Datenübermittlung

Um eine hohe Qualität der Daten zu gewährleisten, müssen die nationalen Zentren vor der Übermittlung der Daten an das internationale Zentrum eine Reihe von vorgeschriebenen Kontrollen durchführen. Im Zuge dieser Kontrollen werden die eingegebenen Daten geprüft, indem die Werte verschiedener Tabellen und Listen bzw. Instrumente miteinander ver-glichen, Unstimmigkeiten und unplausible Werte aufgezeigt und mögliche Fehlerquellen ausgewiesen werden. Treten bei den Kontrollen Diskrepanzen auf, müssen diese noch vor der Übermittlung der Daten an das internationale Zentrum ge-prüft und Dateneingabe- bzw. Datenerfassungsfehler beseitigt werden. Verbleibende Unstimmigkeiten müssen gegenüber dem internationalen Zentrum erklärt werden.

Sämtliche Kontrollen dieser Art wurden softwareunterstützt durchgeführt, wobei ein Teil der Kontrollen in KeyQuest und ein anderer Teil in DME stattgefunden haben.

8.3.1 „Sampling Validity Reports“ in KeyQuest

KeyQuest produziert sogenannte „Sampling Validity Reports“, die die Richtigkeit und Vollständigkeit der demografischen und testadministrativen Daten prüfen. Sämtliche Validity

Reports listen auf Schul-, Testsitzungs- oder Schülerebene alle Fälle auf, bei denen fehlende Angaben, auffällige Werte oder Unstimmigkeiten in den Daten aufscheinen. Bei den Kontrollen wird zum einen geprüft, ob die Angaben innerhalb der einzelnen Listen und Instrumente konsistent sind, zum anderen werden die Angaben zwischen den Instrumenten auf ihre Gültigkeit hin kontrolliert.

Die Übermittlung der demografischen und testadministra-tiven Daten musste innerhalb von vier Wochen nach Abschluss der Testungen an das internationale Zentrum erfolgen. Dieser Zeitrahmen wurde vom BIFIE eingehalten. Zuvor musste die vorgeschriebene „Sampling Validation“ in KeyQuest durch-laufen werden. Diese Checks lassen sich inhaltlich in zwei Gruppen einteilen:

� Kontrolle der demografischen Daten und Teilnahmedaten auf Schülerebene (STF-Checks)� Kontrolle des Teilnahmestatus der ausgewählten Schulen

(SCP-Checks)

STF-Checks (Student Tracking Form)

Die STF-Checks haben zwei Funktionen: Zum einen über-prüfen sie die testadministrativen Daten der PISA-Schüler-liste und der Anwesenheitsliste (die die TL während der Test-sitzungen vervollständigt hatten). Es wurde kontrolliert, ob genau jene Schüler/innen an der Erhebung teilgenommen haben, die dafür vorgesehen waren und ob die Vergabe von bestimmten Codes (Ausschluss- und Teilnahmecodes) stimmig ist. Gab es z. B. Schüler/innen mit einem Ausschluss-code auf der PISA-Schülerliste, die aber laut Anwesenheitsliste am Test teilgenommen haben, generierte KeyQuest eine ent-sprechende Fehlermeldung. Zum anderen überprüfen die STF-Checks die demografischen Daten der ausgewählten Schüler/innen. So wurde beispielsweise geprüft, ob diese voll-ständig vorlagen und ob die Angaben zum Geburtsdatum und zur Schulstufe aller Schüler/innen der Alters- bzw. Schul-stufendefinition von PISA entsprachen.

SCP-Checks (School Participation)

Die SCP-Checks überprüfen die Daten auf Schulebene. Der Teilnahmestatus der ausgewählten Schulen wurde dabei mit den Anwesenheitsdaten der Schüler/innen verglichen. Hat eine Schule z. B. einen positiven Teilnahmestatus, sind laut Anwesenheitsliste aber bei der Testdurchführung an dieser Schule keine Schüler/innen anwesend, wird dies von KeyQuest als Inkonsistenz identifiziert.

Vor der Übermittlung der Daten an das internationale Zentrum mussten sämtliche Fehler- oder Warnmeldungen entweder korrigiert oder auf den entsprechenden Reports begründet werden.


8.3.2 Validity Reports/Datenchecks in DME

Die Leistungs- und Kontextdaten mussten innerhalb von zwei Monaten nach Abschluss der Testungen an das inter-nationale Zentrum übermittelt werden. Zuvor mussten die vorgeschriebenen und in DME implementierten Daten-kontrollen durchgeführt werden. Analog zum Vorgehen bei den Kontrollen der KeyQuest-Daten mussten gefundene Inkonsistenzen sowie fehlende oder auffällige Werte so weit wie möglich korrigiert oder ansonsten gegenüber dem inter-nationalen Zentrum begründet werden.

Die durchzuführenden Kontrollen können dabei wie folgt gruppiert/kategorisiert werden:

� Kontrolle der Eindeutigkeit der Identifikationsvariablen (Unique-ID-Checks): Damit wird die Eindeutigkeit der Datensätze in Bezug auf die eindeutigen Identifikationsvariablen überprüft. So wird z. B. geprüft, ob im Datensatz für den Schüler-fragebogen jede Schüler-ID einzigartig ist.

� Kontrolle der auffälligen Werte aller Variablen (Validation-Checks): Für jede einzelne Variable, die in DME enthalten ist, sind entweder gültige Werte oder ein Wertebereich definiert, innerhalb dessen die eingetragenen/erfassten Daten liegen sollten.

� Kontrolle von inkonsistenten/widersprüchlichen Werten (Record-Consistency-Checks): Bei dieser Art der Prüfung der Daten wird sowohl inner-halb einzelner Instrumente/Tabellen als auch zwischen diesen hinsichtlich widersprüchlicher Daten kontrolliert. Ein Beispiel für inkonsistente Angaben innerhalb eines Instruments wäre etwa eine Schulleitung, die im Schul-fragebogen bei der Anzahl der Lehrkräfte für Deutsch eine höhere Anzahl angibt als zuvor bei der Frage nach der Gesamtanzahl der Lehrer/innen an der Schule. Typische Kontrollen, die im Rahmen der Prüfung der Konsistenz der Daten zwischen unterschiedlichen Datenquellen statt-finden, sind z. B. der Vergleich der Teilnahmedaten mit dem Vorhandensein von Daten des Testsystems (Test- und Schülerfragebogendaten) oder die Prüfung der Überein-stimmung von demografischen Daten (Alter, Geschlecht) zwischen PISA-Schülerliste und den Angaben der Schüler/innen im Schülerfragebogen.

8.3.3 Übermittlung der Daten an das internationale Zentrum

Die Übermittlung der Daten an das internationale Zentrum erfolgte – wie international vorgesehen – in zwei Tranchen.

Die erste Datenübermittlung, welche nach internationalen Vorgaben von den Teilnehmerländern vier Wochen nach

Ende des Testfensters zu erfolgen hatte, wurde für die öster-reichischen Daten am 24. Mai 2018 durchgeführt. Im Rahmen dieser ersten Datenübermittlung – welche inter-national als „Sampling Data Submission“ bezeichnet wird – wurden sämtliche Daten übermittelt, welche in der Soft-ware KeyQuest enthalten waren. Dies sind zum einen Daten auf Schul- und Schülerebene, die im Rahmen des Samplings entstehen, sowie die Teilnahme- und Ausschlusscodes, welche nach der Testdurchführung in KeyQuest erfasst wurden (vgl. Abschnitt 8.2.3).

Die restlichen Daten wurden nach Abschluss der Datenver-arbeitung sowie der in Abschnitt 8.3.2 beschriebenen Checks Ende Juli 2018 an das internationale Zentrum übermittelt. Damit wurde das Ziel der internationalen Weiterverarbeitung der Daten in Batch 1, also zum frühestmöglichen Zeitpunkt, erreicht.

Folgenden Materialien wurden dabei an das internationale Zentrum gesendet:

� DME-Exportfile: Die DME-Datenbank, die sämtliche Test- und Frage-bogendaten der Schüler/innen sowie die Onlinedaten des Schulfragebogens, die Daten der Testsitzungsprotokolle und die Trackingdaten aus KeyQuest enthält.

� Coding-Reliability-Files:Jeweils eine mit dem Online Coding System (OECS) erstellte Dokumentation zur Qualität/Übereinstimmung der Kodierungen der offenen Testaufgaben für jede Domäne.

� Originaldaten von den USB-Sticks und Schulfragebögen: Alle Rohdaten, die durch die Erhebung mittels Testsystem (SDS) auf den USB-Sticks gespeichert wurden, sowie die Daten aus dem Onlinefragebogen für Schulleitungen.

� Anmerkungen zu den Daten:Eine Dokumentation sämtlicher Besonderheiten der nationalen Daten, welche für das internationale Zentrum im Rahmen der weiteren Datenaufbereitung/Analysen relevant waren.

8.4 Internationales File-Cleaning und internationale Datenbasis

Nach der Übermittlung sämtlicher nationalen Daten wurden diese unter Berücksichtigung der ergänzenden Informationen und Erläuterungen vom internationalen Zentrum kontrolliert und anschließend für die internationale Datenbasis auf-bereitet. Zu diesem Zeitpunkt wurden auch Rekodierungen von Fragebogenitems vorgenommen. Dies betrifft Variablen aus den Fragebögen, die mit Genehmigung von inter-


nationaler Seite für die Datenerhebung an nationale Ge-gebenheiten angepasst wurden und anschließend vom inter-nationalen Zentrum − wie im Vorfeld festgelegt − in die einheitliche, internationale Version rekodiert werden müssen.

Das File-Cleaning durch das internationale Zentrum erfolgte in mehreren Schritten und verwendete ähnliche, wenn auch differenziertere Kontrollen als die vorausgehende nationale Bereinigung der Daten.

Dazu wurden die demografischen und testadministrativen Angaben im Hinblick auf ihre Konsistenz in den ver-schiedenen Instrumenten und Listen abermals verglichen. Hatte eine Schülerin/ein Schüler z. B. laut Anwesenheitsliste am Test teilgenommen, lagen von dieser Schülerin/diesem Schüler jedoch keine Antwortdaten aus dem Test vor, musste dies vom nationalen Zentrum geprüft und ggf. begründet werden (z. B. technische Probleme während der Testdurch-führung). Anhand der testadministrativen Daten wurde auch die Einhaltung der vorgeschriebenen Regeln zur Testdurch-führung (z. B. hinsichtlich der Testdauer) kontrolliert.

Die erfassten Schülerfragebogendaten wurden im Hinblick auf ihre Korrektheit und Plausibilität geprüft, mögliche Fehlerquellen wurden identifiziert. Werte verschiedener korrelierender Variablen wurden Plausibilitätschecks unter-zogen, Ausreißer und auffällige Antworten (z. B. mit außer-gewöhnlich hohen oder niedrigen Werten), wurden zur Prüfung durch das nationale Zentrum aufgelistet.

Während dieses Cleaning-Prozesses kooperierte das inter-nationale Zentrum eng mit den Mitarbeiterinnen und Mit-arbeitern des BIFIE, die im Zeitraum von acht Wochen nach der Datenübermittlung für Rückfragen des internationalen Zentrums zur Verfügung stehen mussten. Diese Rückfragen enthielten Auflistungen unplausibler Daten. Die BIFIE-Mitarbeiter/innen kontrollierten diese Daten anhand der Rohdaten und/oder Originaldokumente und vermerkten eventuell notwendige Korrekturen. Diese Korrekturen wurden vom internationalen Zentrum in die Datenbasis übernommen.

Schließlich erhielten die Länder, die die Daten bis Ende Juli 2018 eingereicht hatten (Batch 1; darunter auch Österreich), Ende Oktober 2018 eine erste Version der aufbereiteten nationalen Datenfiles sowie Fragebogen- und Item-Analyse-Berichte. Diese mussten von den Ländern auf ungewöhn-liche und unplausible Werte hin geprüft werden. Besonders die für die Datenerhebung national adaptierten und vom internationalen Zentrum im Zuge der Aufbereitung re-kodierten Variablen mussten in diesem Schritt eingehend kontrolliert werden. Auch für die Testaufgaben wurden vom internationalen Zentrum Datenfiles mit Häufigkeiten und statistischen Kennwerten der einzelnen Testaufgaben zur Ver-fügung gestellt, damit das nationale Zentrum auffällige Daten prüfen und ggf. Rückmeldung dazu geben konnte.

Nachdem dieser Prozess der Datenaufbereitung, der Prüfung und der Säuberung der Daten unter Einbeziehung des nationalen Zentrums abgeschlossen war, wurde den nationalen Zentren Anfang Juli 2019 eine erste Version der internationalen PISA-Datenbasis übermittelt, in der die Leistungsdaten bereits skaliert und gewichtet waren, jedoch die Zuordnung der Daten zu den konkreten Teilnehmer-ländern noch nicht möglich war. Jene Version der Daten, die für die Berechnung des internationalen Berichts sowie der ersten nationalen Ergebnisse verwendet wurde, wurde den nationalen Zentren Anfang September 2019 übermittelt, wobei an diesen Daten – von internationaler Seite – auch danach noch Aktualisierungen/Korrekturen vorgenommen und in Österreich umgehend implementiert wurden. Die ersten Ergebnisse von PISA 2018 wurden in Österreich zeit-gleich mit der OECD am 3. Dezember 2019 veröffentlicht. Die internationale Datenbasis ist seither öffentlich auf der PISA-Homepage der OECD (www.oecd.org/pisa) verfügbar. Darüber hinaus steht dort auch ein Tool zur webbasierten Analyse/Auswertung der Daten zur Verfügung („PISA Data Explorer“).

8.5 Qualitätssicherung

Um eine hohe Qualität und Vergleichbarkeit der Daten aller teilnehmenden Länder zu gewährleisten, sind für die Daten-verarbeitung – sowie bei sämtlichen anderen Prozessen des PISA-Programms – umfangreiche Maßnahmen zur Quali-tätssicherung vorgesehen. Nur so kann sichergestellt werden, dass die Daten aller Länder, welche später in der finalen inter-nationalen Datenbasis enthalten sind, eine hohe Qualität aufweisen und eine Vergleichbarkeit der daraus berechneten Ergebnisse ermöglichen.

Folgende Rahmenbedingungen leisten dabei wesentliche Bei-träge zu einer hohen Qualität der Datenverarbeitungsprozesse aller Teilnehmerländer:

� Verwendung standardisierter Software für sämtliche Prozesse der Datenverarbeitung:Für die nationalen Zentren stellen die internationalen Vertragspartner der OECD Software-Anwendungen zur Verfügung, die für die notwendigen Schritte der Daten-verarbeitung zu verwenden sind. Diese Anwendungen wurden spezifisch für die jeweiligen Verwendungs-zwecke programmiert/konfiguriert und teilweise bereits über mehrere Zyklen hinweg eingesetzt und weiter-entwickelt. Die Verwendung dieser Anwendungen stellt sicher, dass – unabhängig von den sonstigen infra-strukturellen Gegebenheiten in den nationalen Zentren – die Verarbeitung der Daten in allen teilnehmenden Ländern (jedenfalls im Kern) in gleicher Art und Weise durchgeführt wird. Darüber hinaus wird so auch sicher-gestellt, dass die von den nationalen Zentren über-

www.oecd.org/pisa


mittelten Daten und Dokumentationen ein durch die jeweiligen Anwendungen definiertes, einheitliches Format aufweisen. Die nationalen Datenmanager/innen werden im Rahmen von Präsenzschulungen/-workshops von den internationalen Vertragspartnern in der Handhabung der verwendeten Software-Produkte geschult.

� Handbücher mit exakten Anleitungen und Vorgaben zur Datenverarbeitung:Ergänzend zu den oben beschriebenen Anwendungen werden umfangreiche Handbücher und Anleitungen zur Verfügung gestellt, welche klare Anweisungen und Richtlinien für die einzelnen Datenverarbeitungsschritte enthalten. Durch diese Dokumente bzw. die darin ent-haltenen Anweisungen wird den nationalen Zentren z. B. vorgeschrieben, welche Kontrollen die nationalen Daten jeweils durchlaufen müssen, bevor diese an das inter-nationale Zentrum übermittelt werden.

� Permanenter Support durch das internationale Zentrum: Während des gesamten Prozesses der Datenverarbeitung

können an den unterschiedlichsten Stellen Fragen oder Probleme (z. B. mit den Software-Anwendungen) auf-treten. Der vom internationalen Zentrum geleistete Support bezüglich technischer, aber auch inhaltlicher Fragen und Problemstellungen leistet daher einen wesent-lichen Beitrag zur Qualität des Datenverarbeitungs-prozesses.� Umfangreicher Prozess der Datenkontrolle nach Ver-

arbeitung am internationalen Zentrum:Einen wesentlichen Baustein zur Sicherung der Qualität der internationalen PISA-Datenbasis stellt der Prozess der mehrmaligen Datenprüfung durch die nationalen Zentren dar. In mehreren Stadien der Datenaufbereitung werden den Teilnehmerländern vom internationalen Ver-tragspartner ETS Daten und Ergebnisse mit der Möglich-keit, diese zu prüfen und ggf. Korrekturen zu veranlassen, bereitgestellt. Eine Involvierung der nationalen Zentren ist hier von großer Wichtigkeit, da die Identifikation be-stimmter Auffälligkeiten in den Daten nur von Personen erfolgen kann, welche die nationalen Besonderheiten im jeweiligen Schulsystem kennen.

Bibliografie

Ganzeboom, H. B. G. (2010, Mai 1.). „A new international socio-economic index [ISEI] of occupational status for the Interna-tional Standard Classification of Occupation 2008 [ISCO-08] constructed with data from the ISSP 2002–2007; with an analy-sis of quality of occupational measurement in ISSP.“ Beitrag zur Jahreskonferenz des International Social Survey Programme, Lissabon.

Pareiss, M. & Schwantner, U. (2013). Datenverarbeitung. In U. Schwantner & C. Schreiner (Hrsg.), PISA 2012. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. Verfügbar unter https://www.bifie.at/buch/2431/8

Pointinger, M. (2016). Datenverarbeitung. In B. Suchań & S. Breit. (Hrsg.), PISA 2015. Technischer Bericht. Salzburg: BIFIE. Verfügbar unter https://www.bifie.at/wp-content/uploads/2017/04/05_TB_Kapitel5_PISA15_final.pdf

https://www.bifie.at/buch/2431/8


www.bifie.atwww.bifie.at

https://www.bifie.at

PISA 2018. Technischer Bericht - BIFIE · 2019-12-03 · 27 3.2 Das Testdesign von PISA 2018 30 3.4...

Documents

Transcript of PISA 2018. Technischer Bericht - BIFIE · 2019-12-03 · 27 3.2 Das Testdesign von PISA 2018 30 3.4...