D. Leutner Tests im Spannungsfeld 1 [30]
Tests im Spannungsfeld von Individualdiagnostik und Bildungsmonitoring
Detlev Leutner
Universität Duisburg-Essen Lehrstuhl für Lehr-Lernpsychologie
Dank an Jens Fleischer, Christian Spoden & Joachim Wirth
D. Leutner Tests im Spannungsfeld 2 [30]
Was Sie erwartet…
EinleitungTests
– Interpretation von Testergebnissen: TestmodelleTests im Spannungsfeld
– Individualdiagnostik versus Bildungsmonitoring– Lernstandserhebungen/Vergleichsarbeiten als Bindeglied?
Konsequenzen– Testentwicklung– Testdurchführung – Umgang mit Testergebnissen
Ausblick: DFG-Schwerpunktprogramm „Kompetenzmodelle“
D. Leutner Tests im Spannungsfeld 3 [30]
Was Sie erwartet…
EinleitungTests
– Interpretation von Testergebnissen: TestmodelleTests im Spannungsfeld
– Individualdiagnostik versus Bildungsmonitoring– Lernstandserhebungen/Vergleichsarbeiten als Bindeglied?
Konsequenzen– Testentwicklung– Testdurchführung – Umgang mit Testergebnissen
Ausblick: DFG-Schwerpunktprogramm „Kompetenzmodelle“
D. Leutner Tests im Spannungsfeld 4 [30]
Einleitung
Seit PISA: Ergebnisse von Bildungs- und Ausbildungsprozessen vermehrt im Fokus der Aufmerksamkeit („Produkte statt Zertifikate“)
– erworbenes Wissen, ausgebildete Fähigkeiten, Fertigkeiten, – Einstellungen und Bereitschaften, verfügbare Qualifikationen Kompetenzen (als „Kontextspezifische kognitive Leistungsdisposition,
die sich funktional auf Situationen und Anforderungen in einer bestimmten Domäne beziehen“; Klieme & Leutner, 2006).
Tests als notwendige Instrumente zur Erfassung von– Lernvoraussetzungen (z.B. individuelle Sprachstandsfeststellung in NRW)– Lernergebnissen
(Ebene einzelner Schüler, Ebene einzelner Klassen & Schulen, Ebene der Bildungssysteme) „evidence-based policy and practice“ (Slavin, 2002)
D. Leutner Tests im Spannungsfeld 5 [30]
Einleitung
Ziele der Nutzung von (standard-bezogenen) Testverfahren in der Bildungspraxis(„Klieme“-Expertise zur Entwicklung nationaler Bildungsstandards; Klieme et al., 2003)
– Bildungsmonitoring » Das Erreichen von Bildungsstandards kontrollieren – zum Beispiel:
Werden die Mindeststandards von allen Schülern erreicht? Entspricht die Verteilung der Schüler über die Kompetenzstufen den Erwartungen?
– Schulevaluation » Rückschlüsse auf den Erfolg schulischer Programme oder unterrichtlicher Maßnahmen ziehen,
um damit eine Grundlage für die Verbesserung von Schule zu haben– Individualdiagnostik
» Etwas über den einzelnen Schüler erfahren, über seine Stärken und Defizite, damit Entscheidungen über gezielte Fördermaßnahmen getroffen werden können
D. Leutner Tests im Spannungsfeld 6 [30]
Einleitung Jeder kennt Tests…
Zweck des Tests unmittelbar erkenntlich?
D. Leutner Tests im Spannungsfeld 7 [30]
Einleitung Jeder
kennt Tests…
Zweck des Tests unmittelbar erkenntlich?
Wie komme ich preisgünstig und schnell von A nach B?
D. Leutner Tests im Spannungsfeld 8 [30]
Einleitung Jeder
kennt Tests…
Zweck des Tests unmittelbar erkenntlich?
D. Leutner Tests im Spannungsfeld 9 [30]
Was Sie erwartet…
EinleitungTests
– Interpretation von Testergebnissen: TestmodelleTests im Spannungsfeld
– Individualdiagnostik versus Bildungsmonitoring– Lernstandserhebungen/Vergleichsarbeiten als Bindeglied?
Konsequenzen– Testentwicklung– Testdurchführung – Umgang mit Testergebnissen
Ausblick: DFG-Schwerpunktprogramm „Kompetenzmodelle“
D. Leutner Tests im Spannungsfeld 10 [30]
Tests: Interpretation von Testergebnissen
KTT ItemPerson 1 2 3 4 5 6 7 8 Summe
1 0 0 0 0 0 0 0 0 02 0 0 1 0 0 0 0 0 13 0 1 0 1 0 0 0 0 24 1 1 0 0 0 1 0 0 35 0 0 1 0 1 0 1 0 36 0 1 1 0 1 0 1 0 47 1 1 0 1 0 1 1 0 58 0 1 1 1 0 1 1 1 69 1 0 1 1 1 1 1 1 7
10 0 1 1 1 1 1 1 1 7Summe 3 6 6 5 4 5 6 3 38
Grundstruktur eines Tests:
– Beobachtung einerVerhaltensstichprobe
P x S R – Schluss auf ein
(latentes) Konstruktin Abhängigkeit von einemgeeigneten Testmodell
D. Leutner Tests im Spannungsfeld 11 [30]
Tests: Interpretation von Testergebnissen
„Kompetenz“ als Konstrukt– Vgl. (kognitivistische) Lehrzieldefinition nach Klauer (1987),
vgl. Klauer & Leutner (2007)
Lehrziel(Soll-Zustand)
S-Komponente(Inhalt und Situation)
R-Komponente(Erwartete Handlung)
Aufgabenmenge(Lehrstoff)
Lösungs-wahrscheinlichkeit Kompetenz bzw.
Verhaltensdisposition(Ist-Zustand)
Geforderter Ausprägungsgrad
D. Leutner Tests im Spannungsfeld 12 [30]
Testmodelle: Justus hat 4 Punkte
im Mathe-Test erreicht.– ??? (Justus hat mehr Punkte als Johanna.)
Justus hat 4 von 8 Aufgaben im Mathe-Test richtig gelöst.
– Justus hat 50 % richtig. Justus hat 4 von 8 Aufgaben im
lehrziel-orientierten Mathe-Testrichtig gelöst.
– Justus hat nach dem „binomialen“ Testmodell eine Kompetenz von 50 % (95 %-Vertrauensintervall 50 +/- 34.3 %).
Tests: Interpretation von Testergebnissen
KTT ItemPerson 1 2 3 4 5 6 7 8 Summe
1 0 0 0 0 0 0 0 0 02 0 0 1 0 0 0 0 0 13 0 1 0 1 0 0 0 0 24 1 1 0 0 0 1 0 0 35 0 0 1 0 1 0 1 0 36 0 1 1 0 1 0 1 0 47 1 1 0 1 0 1 1 0 58 0 1 1 1 0 1 1 1 69 1 0 1 1 1 1 1 1 7
10 0 1 1 1 1 1 1 1 7Summe 3 6 6 5 4 5 6 3 38
D. Leutner Tests im Spannungsfeld 13 [30]
Tests: Interpretation von TestergebnissenTestmodelle: Justus hat 4 von 8 Aufgaben im
Guttman- oder Rasch-skalierten Mathe-Test richtig gelöst.
– Justus hat Kompetenzniveau xyz erreicht. Empirisch prüfbare Datenstruktur,
setzt „kumulative“ Aufgaben voraus.
0.0
1.0
0.5
Kompetenz
Items mit ICC
Lösu
ngsw
ahrsc
heinl
ichke
t Guttman-Items Rasch-Items
Guttman ItemPerson 1 2 3 4 5 6 7 8 Summe
1 0 0 0 0 0 0 0 0 02 1 0 0 0 0 0 0 0 13 1 1 0 0 0 0 0 0 24 1 1 1 0 0 0 0 0 35 1 1 1 0 0 0 0 0 36 1 1 1 1 0 0 0 0 47 1 1 1 1 1 0 0 0 58 1 1 1 1 1 1 0 0 69 1 1 1 1 1 1 1 0 7
10 1 1 1 1 1 1 1 1 8Summe 9 8 7 5 4 3 2 1 39
Rasch ItemPerson 1 2 3 4 5 6 7 8 Summe
1 0 1 0 0 0 0 0 0 12 1 0 1 0 0 0 0 0 23 1 0 1 0 0 0 0 0 24 1 1 0 1 0 0 0 0 35 1 1 1 0 1 0 0 0 46 1 1 1 0 1 0 0 0 47 1 1 1 1 0 0 1 0 58 1 1 1 1 0 1 0 1 69 1 1 1 1 1 0 1 0 6
10 1 1 1 1 1 1 0 1 7Summe 9 8 8 5 4 2 2 2 40
D. Leutner Tests im Spannungsfeld 14 [30]
Tests: Interpretation …
PISA 2003:Zuordnung der „Anschlusszüge“-Aufgabe zu den Stufen der Problemlösekompetenz
D. Leutner Tests im Spannungsfeld 15 [30]
Tests: Interpretation von TestergebnissenLernstandserhebungen
NRW 2004:MathematischeModellierkompetenz
– M4/4+: Komplexes Modellieren, Modelle entwickeln
– M3: Einschrittiges Modellieren
– M2: Elementares Situationsverständnis
– M1: Kontextbezogenes Rechnen
D. Leutner Tests im Spannungsfeld 16 [30]
Was Sie erwartet…
EinleitungTests
– Interpretation von Testergebnissen: TestmodelleTests im Spannungsfeld
– Individualdiagnostik versus Bildungsmonitoring– Lernstandserhebungen/Vergleichsarbeiten als Bindeglied?
Konsequenzen– Testentwicklung– Testdurchführung – Umgang mit Testergebnissen
Ausblick: DFG-Schwerpunktprogramm „Kompetenzmodelle“
D. Leutner Tests im Spannungsfeld 17 [30]
Tests im Spannungsfeld: Individualdiagnostik versus Bildungsmonitoring
Individualdiagnostik Bildungsmonitoring(der KMK)
Funk-tion
Vorbereitung von Entscheidungen im Einzelfall(Selektion, Platzierung)
Vorbereitung politischer Entscheidungen auf Schulsystemebene(Fremdevaluation)
Fokus Inhaltliche Tiefein einem Fachgebiet:
Itemstichprobe
Kompetenzschätzung des Individuums
Fachliche Tiefeund zugleich fachliche Breite:
Item- und Personenstichprobe; „rotiertes“ Testdesign
Kompetenzverteilung in Bundesländern, Staaten(keine Individualdiagnostik, keine Aussagen auf Schul- und Klassenebene)
D. Leutner Tests im Spannungsfeld 18 [30]
Tests im Spannungsfeld: Lernstandserhebungen/ Vergleichsarbeiten als Bindeglied?
Individualdiagnostik Lernstandserhebungen(in NRW)
Bildungsmonitoring(der KMK)
Funk-tion
Vorbereitung von Entscheidungen im Einzelfall(Selektion, Platzierung)
Vorbereitung päd./ did./ curricularer Entscheidungen auf Schul- und Unterrichtsebene(Selbstevaluation)
Vorbereitung politischer Entscheidungen auf Schulsystemebene(Fremdevaluation)
Fokus Inhaltliche Tiefein einem Fachgebiet:
Itemstichprobe
Kompetenzschätzung des Individuums
Erst Tiefe in einem Fachgebiet, dann Breite:
Vollerhebung aller Personen; Itemstichprobe
Kompetenzverteilung in Klassen, Schulen(keine Individualdiagnostik)
Fachliche Tiefeund zugleich fachliche Breite:
Item- und Personenstichprobe; „rotiertes“ Testdesign
Kompetenzverteilung in Bundesländern, Staaten(keine Individualdiagnostik, keine Aussagen auf Schul- und Klassenebene)
D. Leutner Tests im Spannungsfeld 19 [30]
Was Sie erwartet…
EinleitungTests
– Interpretation von Testergebnissen: TestmodelleTests im Spannungsfeld
– Individualdiagnostik versus Bildungsmonitoring– Lernstandserhebungen/Vergleichsarbeiten als Bindeglied?
Konsequenzen– Testentwicklung– Testdurchführung – Umgang mit Testergebnissen
Ausblick: DFG-Schwerpunktprogramm „Kompetenzmodelle“
D. Leutner Tests im Spannungsfeld 20 [30]
Konsequenzen: Testentwicklung & Testdurchführung
Gewährleistung der Testgütekriterien
– Objektivität» Durchführung, Auswertung & Interpretation: Externe Testleiter versus Lehrkräfte „vor Ort“
– Reliabilität» Unsystematischer Messfehler bei (kompetenzbezogenen) Aussagen über einzelne Personen » Unsystematischer Stichprobenfehler bei (kompetenzbezogenen) Aussagen über Personengruppen
– Validität» Gültigkeit aller Aussagen: Kontent, Konstrukt & Testmodell; aber auch: Curriculum
Nicht trivial.
D. Leutner Tests im Spannungsfeld 21 [30]
Konsequenzen: Testentwicklung & TestdurchführungBeispiel Reliabilität & Objektivität bei den
Lernstandserhebungen 2004 Klasse 9 in NRW, Deutsch schreiben– Ursprünglich: Je Schreibaufgabe 6 „Dimensionen“ (Items),
die auf einer von 4 Lösungsstufen (A bis D) zu bewerten waren.
– Überarbeitet: Dimension 1 ausgeschärft („Lupenmodell“) und skaliert; Reliabilität als „person seperation reliability“ der Raschskala.
Schreibaufgabe Reliabilität auf Skalen-Ebene(Interne Konsistenz, Erst-Rater)
Objektivität auf Item-Ebene(mittleres Item-Gamma zweiter Rater)
A 1 .94 .57A 2 .91 .67A 3 .92 .54A 4 .93 .39
Reliabilität Objektivität (Mittleres Item-Gamma)Deutsch (Schreiben) .87 .72
D. Leutner Tests im Spannungsfeld 22 [30]
Konsequenzen: Testentwicklung & Testdurchführung
Beispiel Reliabilität: 95 %-Vertrauensintervallefür Kompetenstufenzuordnungauf Ebene
– des Individuums – der Klasse – der Schule
Lernstandserhebung 2007Klasse 8 in NRW, Deutsch Leseverständnis
WLE-Para-meter
0
1
2
3
-.67-.33
+.24
+.83
+1.66
+3.84
5
4
3
2
1
Individu-um N=1
KlasseN=25
SchuleN=100
Kompetenz-stufen
D. Leutner Tests im Spannungsfeld 23 [30]
Konsequenzen: Testentwicklung & TestdurchführungBeispiel Validität:
Lernstandserhebung 2005 Klasse 9 in NRW, KonstruktvaliditätNMDS (stress < .001)Radex-Struktur
– Fach als „Circumplex“-Facette– Kompetenzskala innerhalb des Faches
als „Simplex“-Facette(rezeptiv Lesen rezeptiv Hören produktiv Schreiben/ Problemlösen)
Hörverst
LesenSchreiben
Problem-lösen
Hörverst
Schreiben
Mathematik Deutsch
Englisch
D-L D-S D-H E-H E-S M-PD-Lesen 1,00 0,54 0,70 0,63 0,64 0,60D-Schreiben 0,54 1,00 0,51 0,40 0,47 0,38D-Hörverst. 0,70 0,51 1,00 0,57 0,56 0,55E-Hörverst. 0,63 0,40 0,57 1,00 0,67 0,57E-Schreiben 0,64 0,47 0,56 0,67 1,00 0,51M-Probleml. 0,60 0,38 0,55 0,57 0,51 1,00
D. Leutner Tests im Spannungsfeld 24 [30]
Konsequenzen: Umgang mit Testergebnissen(LSE 2004 NRW, Ergebnisrückmeldung)
Verständlichkeit & Akzeptanz– Deutsch & Englisch (Lesen):
unauffällig– Mathematik (Modellieren):
anders (homogener) als in Referenzgruppen, aber gleiches Niveau
D. Leutner Tests im Spannungsfeld 25 [30]
Konsequenzen: Umgang mit Testergebnissen(LSE 2004 NRW, Ergebnisrückmeldung)
Verständlichkeit & Akzeptanz– Deutsch & Englisch (Lesen):
Niveau höher als in Referenzgruppen
– Mathematik (Modellieren): unauffällig
D. Leutner Tests im Spannungsfeld 26 [30]
Was Sie erwartet…
EinleitungTests
– Interpretation von Testergebnissen: TestmodelleTests im Spannungsfeld
– Individualdiagnostik versus Bildungsmonitoring– Lernstandserhebungen/Vergleichsarbeiten als Bindeglied?
Konsequenzen– Testentwicklung– Testdurchführung – Umgang mit Testergebnissen
Ausblick: DFG-Schwerpunktprogramm „Kompetenzmodelle“
D. Leutner Tests im Spannungsfeld 27 [30]
Ausblick: DFG-Schwerpunktprogramm „Kompetenzmodelle“
„Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen“
– Das … Schwerpunktprogramm soll … kognitiv orientierte Experten auf den Gebieten einzelner bereichsspezifischer Kompetenzen mit Experten auf dem Gebiet des Messens und Testens zusammenbringen. Ziel ist es, Kompetenzstruktur- und Kompetenzentwicklungsmodelle zu erarbeiten und empirisch zu prüfen, anhand derer sich valide und faire Messinstrumente auf zwei Ebenen konstruieren lassen: zum einen auf der Ebene der Förderung individueller Lernprozesse (im Sinne einer individuellen „Kompetenzdiagnostik“), zum anderen auf der Ebene von Untersuchungen zum Monitoring von Bildungsinstitutionen und Bildungssystemen („Assessment“)….
– Kompetenz = „Kontextspezifische kognitive Leistungsdisposition, die sich funktional auf Situationen und Anforderungen in einer bestimmten Domäne bezieht“ (Klieme & Leutner, 2006).
D. Leutner Tests im Spannungsfeld 28 [30]
Kompetenz-modelle
Strukturen und Niveaus
Kognitive Grund-voraussetzungen
Messkonzepteund Messverfahren
psychometrischeModelle
Nutzung vonDiagnostik und Assessment
1
2
3
4
1
2
3
4
1
2
3
4
Ausblick: DFG-Schwerpunktprogramm „Kompetenzmodelle“
D. Leutner Tests im Spannungsfeld 29 [30]
Ausblick: DFG-Schwerpunktprogramm „Kompetenzmodelle“
Fruchtbare Kooperation dreier „fremder Schwestern“??? (in Anlehnung an Terhart, 2002)
Positiv-Beispiele koord. DFG-Forschungsprogramme» NWU-Essen: FG und GK „Naturwissenschaftlicher Unterricht“» Bamberg: FG „Bildungsprozesse, Kompetenzentwicklung
und Selektionsentscheidungen im Vor- und Grundschulalter“» Tübingen: FG "Analyse und Förderung effektiver Lehr-
Lernprozesse“» Landau: GK „Unterrichtsprozesse» SPP 1293: „Kompetenzmodelle zur Erfassung individueller
Lernergebnisse und zur Bilanzierung von Bildungsprozessen“
Perspektiven der Einbindung weiterer sozial- & geisteswissenschaftlicher Fachdidaktiken???
Psychologie:Orientierung
am Individuum
Fachdidaktik:Orientierungam Unterricht
Bildungsforschung:Orientierungan Schule & Schulsystem
Psychologie:Orientierung
am Individuum
Fachdidaktik:Orientierungam Unterricht
Bildungsforschung:Orientierungan Schule & Schulsystem
D. Leutner Tests im Spannungsfeld 30 [30]
Kontakt: [email protected]; http://www.uni-due.de/LLPsychhttp://kompetenzmodelle.dipf.de
Veröffentlichungen:– Klieme, E. & Leutner, D. (2006). Kompetenzmodelle zur Erfassung individueller Lernergebnisse
und zur Bilanzierung von Bildungsprozessen. Beschreibung eines neu eingerichteten Schwerpunktprogramms der DFG. Zeitschrift für Pädagogik, 52, 876-903.
– Leutner, D., Fleischer, J., Spoden, C. & Wirth, J. (2007). Landesweite Lernstandserhebungen zwischen Bildungsmonitoring und Individualdiagnostik. Zeitschrift für Erziehungswissenschaft, Sonderheft 8, 149-167.
– Klieme, E., Leutner, D. & Kenk, M. (2010). Kompetenzmodellierung. Eine aktuelle Zwischenbilanz des DFG-Schwerpunktprogramms (Editorial). Zeitschrift für Pädagogik, Beiheft 56, 9-11. Online unter http://www.pedocs.de/frontdoor.php?source_opus=3342&la=de.
