Post on 05-Apr-2015
transcript
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 1
Definition
Ein Test ist ein Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder zur Untersuchung eines oder mehrerer empirisch abgrenzbarer mehrerer empirisch abgrenzbarer Persönlichkeits-merkmale mit dem mit dem Ziel einer möglichst Ziel einer möglichst quantitativen Aussage über den relativen Grad der Aussage über den relativen Grad der individuellen Merkmalsausprägungindividuellen Merkmalsausprägung
(G.A.Lienert)(G.A.Lienert)
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 5
Warum eine Theorie über Tests?
• Eigentlich: Theorie über verschiedene Arten von Tests, ihren Aufbau und ihre Konstruktionsprinzipien, weil:
• Testauswertung =
Antwortverhalten Merkmal
• Dies bedarf einer Theorie!
• Die Testtheorie beschäftigt sich mit dem Zusammenhang von Testverhalten und dem zu erfassenden Merkmal
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 6
Messfehlertheorie
X = T + e
Axiome der klassischen Testtheorie1. (e) = 0, d.h. bei wiederholter Messung an der gleichen Vp heben sich die Messfehler
gegenseitig auf2. (T,e) = 0, d.h. die Höhe des Messfehlers ist unabhängig vom getesteten Merkmal3. (ex,Ty) = 0, d.h. die Höhe des Messfehlers ist unabhängig vom Ausprägungsgrad
anderer Persönlichkeitsmerkmale4. (ex, ey) = 0, d.h. die Messfehler verschiedener Testanwendungen sind unabhängig
voneinander
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 7
GütekriterienGüt ekr it er ien eines T es t s
V alid it ät
R eliab ilit ät
O b j ek t ivit ät
H aupt k r it er ien
F air ness
N üt z l ic hke it
Ö konomie
V er gle ic hbar ke it
N or mie r ung
N eb enk r it er ien
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 8
Objektivität oder
wie unabhängig ist der Test?
Durchführungsobjektivität
Auswertungsobjektivität
Interpretationsobjektivität
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 9
Reliabilität oder
wie genau misst der Test?
Retest-Reliabilität
Paralleltest-Reliabilität
Innere Konsistenz, gemessen durch Testhalbierung oder
Konsistenzanalyse (Itemanalysen)
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 10
Validität oder
was misst der Test?
•Inhaltliche Validität: z.B. Schulleistungstest
•Konstruktvalidität: direkte Ableitung aus Theorie (z.B. Angst, Aggression)
•Kriteriumsvalidität: Außenkriterium
•„Augenscheinvalidität“: Expertenrating
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 11
Wechselbeziehungen
Objektivität
Interpretation / Auswertung / Durchführung
ReliabilitätInnere Konsistenz
Parallel- und Retest
Validität
kriteriumsbezogen
• Die Parallel- oder Retestreliabilität kann nicht höher sein als die Konsistenz oder die Objektivität
•Ein Test kann nicht valider sein als er reliabel ist
•Hohe Validität bedeutet zwangsläufig auch hohe Objektivität, Konsistent und Reliabilität
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 12
Ende des 1. Teils
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 13
Güt ekr it er ien eines T es t s
V alid it ät
Reliab ilit ät
O b j ek t ivit ät
H aupt k r it er ien
F air ness
N üt z lichkeit
Ö konomie
V er gle ichb ar keit
N or mier ung
N eb enk r it er ien
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 14
Testaufgabentypen Gebundene Aufgabenbeantwortung
• Einfache Auswertung
• Kurze Lösungszeit
• Frageformulierung nicht immer leicht (Negativfragen!!)
• hohe Ratewahrscheinlichkeit Verringerung der Reliabilität
• Entscheidung für den Pb manchmal schwierig
Dichotomer Antworttyp
Essen Sie gerne Spaghetti? ja nein
Das Jahr 2000 ist ein Schaltjahr stimmt stimmt nicht
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 15
Testaufgabentypen dichotome Antwortmöglichkeitdichotome Antwortmöglichkeit
Geeignet wenn ...
• ein Test schnell konstruiert bzw. improvisiert werden soll
• die Testdurchführung wenig Zeit beanspruchen soll
• Auswertung durch Hilfspersonal geschieht
• Aufgabeninhalt leicht verständlich ist
• Informationen über ein Persönlichkeitsmerkmal auf möglichst breiter Basis durch möglichst viele Fragen und Aufgaben erzielt werden soll
• gedankliche Verarbeitung und Gedächtnisleistung keine Rolle spielt
• Zufallslösungen irrelevant sind oder berücksichtigt werden (Zufallskorrektur)
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 16
Testaufgabentypen Gebundene Aufgabenbeantwortung
Testaufgabentypen Gebundene Aufgabenbeantwortung
• ökonomische Durchführung und Auswertung
• geringe Ratewahrschein-lichkeit, wenn Distraktoren gut sind
• Erfahrung zur Formulierung von Items nötig
•Spontaneität bei Vpn behindert
Mehrfach-Wahl-Aufgabe (multiple choice)Mehrfach-Wahl-Aufgabe (multiple choice)
Deutschland war Fußballweltmeister ... Deutschland war Fußballweltmeister ...
a)a) 19681968 b) 1980b) 1980 c) 1974c) 1974 d) 1984d) 1984
Ich komme gerne in dieses Seminar: Immer oft manchmal selten nie
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 17
Testaufgabentypen multiple choicemultiple choice
Testaufgabentypen multiple choicemultiple choice
Gut geeignet weil ...
• beste Anwendungsmöglichkeit für geeichte Tests
Weniger gut geeignet wenn ...
• die Lösungsfindung selbstständig erfolgen soll
• die Erstellung von Antwortalternativen (Distraktoren) schwierig ist, wie das folgende Beispiel verdeutlicht:
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 18
Testaufgabentypen multiple choicemultiple choice
Testaufgabentypen multiple choicemultiple choice
Bild der Frau vom 3.9.01Bild der Frau vom 3.9.01
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 19
Testaufgabentypen offene Antwortmöglichkeitoffene Antwortmöglichkeit
Offene AntwortenOffene Antworten
Woher kommt der Wind? ____________________________________
Wie beurteilen Sie dieses Seminar? ___________________________
• wichtige Form zur Erfassung bestimmter Eigenschaften wie z.B. Ausdrucksfähigkeit, Wortschatz etc.
• Auswertungsobjektivität problematisch zu erreichen
• Auswertung zeitaufwendig
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 20
Testaufgabenbeispiele halboffene Antwortmöglichkeithalboffene Antwortmöglichkeit
An welchen Flüssen liegen die folgenden Städte?
Nürnberg:____________ Frankfurt:_____________
Hamburg:____________ Berlin:________________
Bremen:_____________ Saarlouis:_____________
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 21
Testaufgabenbeispiele
ZuordnungsaufgabenZuordnungsaufgabenWelches Verb gehört zu welchem Substantiv?
1) ein Vortrag a) erzählen
2) eine Geschichte b) machen
3) eine Erklärung c) halten
4) ein Gespräch d) abgeben
5) einen Vorschlag e) führen
• eignen sich gut zur Feststellung erworbenen Wissens
• Informiert schnell über elementares Tatsachenwissen
• große Anzahl von Aufgaben auf kleiner Fläche möglich
• Freiheitsgrad = 1
• Lösungsfindung erfolgt nicht selbstständig, da Antworten vorgegeben
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 22
Testaufgabenbeispiele
Blitz : Donner = Hören : ?
Gewitter / Sehen / Regen / Fühlen / Wolken
ErgänzungsaufgabenErgänzungsaufgaben
Sortiere die folgenden Brüche der Größe nach, beginne mit dem Größten
4/9 ......... 3/4 ......... 2/3 ......... 7/12 ......... 5/6
UmordnungsaufgabenUmordnungsaufgaben
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 23
Testaufgabenbeispiele
LückentextLückentextDie menschliche Persönlichkeit und deren ___________ ist eine sehr _______________ Angelegenheit.
Unstrittig ist, dass es sich bei den Entwicklungs_________ um eine Interaktion, also ein Zusammenspiel zwischen _________-________ Veranlagungen und _________ handelt. Jeder Teil für sich genommen führt nicht zwingend und unmittelbar zu bestimmten __________; sondern die Reaktion des einen Teils (_______) auf entsprechende Veranlagungen steuert die _________ einer menschlichen Persönlichkeit.
• frei von Zufallseinflüssen
• Antwortformulierung nach freiem Ermessen ->
• Gefahr von Suggestivwirkung
• Antwortformulierung nach freiem Ermessen
• zeitaufwendig
• nicht immer eindeutig (Objektivität!)
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 24
Formale Kriterien einer guten Testaufgabe
• Objektivität: Sie muss von verschiedenen Auswertern gleichermaßen als „richtig“ oder „falsch“ bewertet werden
• Reliabilität: Gleiche Antworten bei kurzzeitiger Testwiederholung muss erwartet werden
• Validität: Eine Aufgabe ist dann valide, wenn sie von Pbn mit starker Merkmalsaufprägung häufiger richtig beantwortet wird als von Pbn mit geringer Merkmalsausprägung („Trennschärfe“)
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 25
Inhaltliche Kriterien einer guten Testaufgabe
• Die Aufgabe als inhaltliche Ganzheit soll einen wesentlichen Aspekt des untersuchten Merkmals betreffen
• Jede Aufgabe soll von jeder anderen inhaltlich unabhängig sein. Die Lösung einer Aufgabe darf keinen Hinweis auf die Lösung einer anderen Aufgabe enthalten und schon gar nicht von deren Lösung abhängig sein
• Jede Aufgabe soll, soweit dies mit dem Testziel vereinbar ist, speziell, konkret und wirklichkeitsnah gestaltet sein und nicht allgemein, abstrakt und wirklichkeitsfern
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 26
Regeln für den sprachlichen Aufbau einer Testaufgabe
1. Vermeide mehrdeutige Begriffe (u.a. „oft“)2. Vermeide Begriffe, die nur einem Teil der Pbn geläufig sind3. Jede Aufgabe soll nur einen Aspekt oder Gedanken enthalten, d.h. keine durch „und“
verbundenen Aussagen4. Möglichst positive Aussagen, Fragen oder Formulierungen
( doppelte Verneinung)5. Vermeide Verallgemeinerungen jeder Art, besonders solche, die nur zeitweise Gültigkeit
haben6. Vermeide umständliche Länge oder telegrafische Kürze im Aufgabentext7. Prüfe die Eindeutigkeit der Frage an einer kleinen Teststichprobe („Fragentext ist
eindeutig / nicht ganz / unklar“)8. Gleiches gilt für die Testanweisung
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 27
Ende des 2. Teils
Kriteriumsorientierte Leistungsmessung
Abgrenzung
Konstruktion
Analyse
Praxis
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 29
Abgrenzung
• Frage: Kann ein Schüler Aufgaben lösen, die ein Kriterium um- oder beschreibt?
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 30
Abgrenzung
• ... nicht auf Erfassung individueller Differenzen (wie klassische Persönlichkeitstests), also auf die Ermittlung eines Rangplatzes in einer Normgruppe, ab
• ... sondern auf Feststellung der Leistung eines Schülers bzgl. eines vorgegebenen spezifischen Aufgabenbereichs
Kriteriumsorientierte Test zielen ...
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 31
Definitionen
• Ein Test zur Erfassung eines Persönlichkeitsmerkmals, sofern dieses durch die ´Bewältigung´ einer wohldefinierten Aufgabe gekennzeichnet ist (nach Klauer, 1987)
• Kriteriumsorientiert ist ein Test, der die Gesamtheit einer wohldefinierten Menge von Aufgaben enthält oder repräsentiert und der zu dem Zweck konstruiert ist,
– die Fähigkeit des Schülers zur Lösung der definierten Aufgabe zu schätzen und/oder
– ihn gemäß dieser Fähigkeit einer Klasse von Schülern zuzuordnen (dto.)
• Informelle Schulleistungstests sind Verfahren der Pädagogischen Diagnostik, die durch Lehrer konstruiert werden, um die Ergebnisse der von ihnen geplanten Lernvorgänge in ihrer Klasse möglichst objektiv zu erfassen und für ihr pädagogisches Handeln nutzbar zu machen.
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 32
Definitionen
• Kurz: wir messen, ob ein Schüler das vorher festgesetzte Kriterium oder Leistungsniveau erreicht hat oder nicht
• Dies setzt einen absoluten Gütemaßstab voraus
• Dieser ist nicht von der Leistung der anderen Schüler abhängig, die den gleichen Unterricht und gleichen Test erhalten haben
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 33
Das bedeutet im Prinzip ...
Es geht nur um die Entscheidung:
„bestanden“ oder „nicht bestanden“
Trotzdem sind Vergleiche zwischen Schülerleistungen möglich
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 34
Definitionen
„Kriterium“ kann dabei bedeuten:
•ein Lernziel (das erreicht oder nicht erreicht worden sein kann)
•ein Leistungskontinuum, in dem unterschiedlich gute Schüler unterschiedliche Positionen einnehmen können
•ein Leistungsstandard, an dem sich Vorhersagen bestätigen oder nicht
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 35
Alltags-Beispiele
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 36
Alltags-Beispiele
http://www.psychologie.uni-trier.de/personen/phank/veranstaltungen/Diagnostik0001/Diagnostik0001.pdf
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 37
Alltags-Beispiele
http://www.psychologie.uni-trier.de/personen/phank/veranstaltungen/Diagnostik0001/Diagnostik0001.pdf
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 38
Einsatzmöglichkeiten
• Beurteilung individualisierter Lernprogramme• Diagnose individueller Schwierigkeiten einzelner Schüler• Einschätzung der Fähigkeit eines Schülers in einem bestimmten
Bereich• Messung dessen, was ein Schüler gelernt hat• Nachweis von Kompetenz• Eingangskontrolle zu Beginn einer neuen Lerneinheit
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 39
Merkmale
• Die materiale Basis für die Erstellung und Durchführung ist die Unterrichtseinheit oder Teile davon.
• Die Tests orientieren sich an den vorher aufgestellten Lernzielen.
• Die Tests erwachsen in Inhalt und Methode dem vorhergehenden Unterricht.
• In einer Aufgabe wird nur ein Lernziel getestet.
• Art der Durchführung, Lösungsschlüssel und Auswertungsschemata sind nach verbindlichen Kriterien vorher festgelegt.
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 40
Vorgehensweise: Konstruktion
• Die Konstruktion geschieht durch den Lehrer („teacher made tests“). Der methodische Konstruktionsaufwand richtet sich nach Ausbildung, Verfügbarkeit technischer Hilfsmittel und Arbeitszeit des Lehrers. Das bedeutet z. B. Abstriche beim Umfang (Aufgabenniveaus, Ableitung der Testaufgaben, Genauigkeit...)
• Der Test orientiert sich an den pädagogischen Bedürfnissen einer oder weniger Schulklassen. Diese Tests sind nicht auf überregionale Anwendbarkeit angelegt.
• Die Objektivität wird weitgehend durch die Standardisierung der Prüfungssituation, der Aufgabenstellung und Rohpunktauswertung erreicht.
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 41
Vorgehensweise: Konstruktion
• Bei sorgfältiger Testkonstruktion können auch für informelle Tests Zuverlässigkeit und Gültigkeit angenommen werden, werden aber nicht durch statistische Verfahren nachgewiesen.
• Diese Tests sollen dazu beitragen, dass viele traditionellen Kurzarbeiten und mündlichen Prüfungen durch objektivere Methoden ersetzt werden.
• Es werden dieselben Aufgabentypen wie für formelle Tests benutzt, wobei Alternativformen und Kurzantworten überwiegen.
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 42
Vorgehensweise: Konstruktionsphasen
Curriculare Phase:
• Der Lehrer orientiert sich nur an den Lehrzielen, die er für seine Klasse ausgewählt hat. Meist untersucht er kleinere Unterrichtseinheiten.
• Die Lehrziele werden häufig operationalisiert und in Testaufgaben umgesetzt.
• Spezifikationstabellen sollen helfen, sich über inhaltliche und kognitive Anforderungen klar zu werden und diese angemessen zu berücksichtigen.
• Die Aufgabenkonstruktion unterscheidet sich nicht wesentlich von den formellen Tests. Auch Karten, Demonstrationen von Versuchen usw. können in die Aufgabenstellung mit einbezogen werden. Die Lehrer sollten ihre Entwürfe mit Kollegen diskutieren
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 43
Vorgehensweise: Analyse
• Eine Aufgabenanalyse wird nach vereinfachten Verfahren durchgeführt. Diese Verfahren der Aufgabenanalyse sind überwiegend an Prinzipien bezugsgruppenorientierter Tests orientiert.
• Oft fehlt die Zeit und Möglichkeit, die Versuchsform des Tests an einer anderen Klasse zu erproben.
• Eine Eichung und eine Überprüfung der Testgütekriterien finden bei informellen Tests nicht statt. Von den geeigneten Aufgaben zählt der Lehrer die Punkte zusammen und kann seine Schüler in eine Rangordnung bringen.
• Nach der Verteilung der Lösungen auf die einzelnen Testaufgaben kann er für die Klasse oder den einzelnen Schüler eine Art Profil der Stärken und Schwächen erstellen und an diesen Informationen seine didaktischen Bemühungen ausrichten.
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 44
Praxis
• Außer in Versuchsschulen spielen informelle Tests in unserem Schulwesen bisher eine unbedeutende Rolle. Der Aufwand wird von den Lehrern gescheut. Der informelle Test könnte viele schriftliche Arbeiten und mündliche Wiederholungsaufgaben durch mess-methodisch und curricular überlegenes Verfahren ersetzen.
• Das System des Itembanking oder der Testaufgabensammlung sollte die Vorteile des informellen Testens mit Reduzierung des Arbeits-aufwands bei gleichzeitiger Steigerung der Testgüte verbinden. Zu diesem Zweck werden aus operationalisierten Lernzielen Test-aufgaben entwickelt, in formellen Verfahren empirische erprobt und mit den wichtigsten Kenndaten gespeichert. Sie können von Lehrern abgerufen werden.
Ende des 6. Teils
Lernziel-OperationalisierungLernziel-Operationalisierung
Folien: Andrea Kloß / C. Paulus
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 47
Überblick
• Verfahren der Leistungsbeurteilung(subjektiv, objektiv: formell, informell)
• Lernziel-Niveaus nach Bloom (präzisiert, Bsp.)
• Lernziel-Analyse • Orientierung an Bildungsstandards
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 48
LeistungsbeurteilungLeistungsbeurteilung
• Objektive Verfahren– alle formellen, standardisierten
Verfahren– alle informellen,
kriterienbezogene Verfahren
• Subjektive Verfahren– alle Formen von Lehrerurteilen
(traditioneller Art):• Verhaltensbeobachtung• Aufsatzbeurteilung
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 49
Formelle SchulleistungstestsFormelle Schulleistungstests
• Formale Testkonstruktion wurde aus der Psychologie auf den schulischen Bereich übertragen:
mangelnder Zusammenhang von Leistungsfeststellung und Unterricht
Problem der Validität:Gütekriterien also weniger verwirklicht
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 51
Formale TestsFormale Tests
• von Interesse, wenn überregional die Leistungen von Schülern gemessen werden sollen
• jedoch ist die Bindung von standardisierten Tests an den Unterricht gering
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 52
Informelle SchulleistungstestsInformelle Schulleistungstests
• Messinstrument zur gerechten Beurteilung von Schülerleistungen– wodurch wird Gerechtigkeit erreicht?
Informelle Tests werden auf der Basis von Lernzielen konstruiert
Die Notengebung orientiert sich an der konkreten Unterrichtssituation
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 53
Voraussetzungen der LeistungsmessungVoraussetzungen der Leistungsmessung
• Exakte Planung von Unterrichtseinheiten• Operationalisierte Lernziele
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 54
Vorteile operationalisierter LernzieleVorteile operationalisierter Lernziele
• Es wird gemessen, was unterrichtet wurde.
• Gemessene Schülerleistung liefert Ansatzpunkte für Förderungsmaßnahmen.
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 55
Operationalisieren von LernzielenOperationalisieren von Lernzielen
• Festlegen der Fertigkeiten und Verhaltens-weisen, die der Schüler am Ende der Unterrichtseinheit an den Tag legen soll.
• Die Verhaltensweisen müssen beobachtbar sein:– nennen, aufschreiben, lösen ...
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 56
Beispiele für LernzieleBeispiele für Lernziele
• Im Naturkundeunterricht die Pflanzenteile Stengel, Blatt, Blüte richtig benennen können.
• Im Biologieunterricht die prokaryontischen Zellorganellen richtig benennen können.
• Im Deutschunterricht die Kommasetzung richtig anwenden können.
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 57
Lernziel-Niveaus Lernziel-Niveaus nach Bloomnach Bloom
• Wissen
• Verstehen
• Anwendung
• Analyse
• Synthese
• Evaluation
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 58
Klassifikation der geistigen FähigkeitenKlassifikation der geistigen Fähigkeitennach Bloom, aber präzisiertnach Bloom, aber präzisiert
• Wissen – als Reproduktion
– Der Schüler soll anhand einer Zeichnung die Leitungsbahnen einer Pflanze ankreuzen können.
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 59
Klassifikation der geistigen FähigkeitenKlassifikation der geistigen Fähigkeitennach Bloom, aber präzisiertnach Bloom, aber präzisiert
• Verstehen – als Übertragung von einer Kommunikationsform in eine andere,
– als richtige Interpretation des Wissens
– Wie wirkt sich die unterschiedliche Wasserspeicherkapazität in verschiedenen Böden auf das Wachstum von Pflanzen aus, die mehr oder weniger Wasser vertragen?
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 60
Klassifikation der geistigen FähigkeitenKlassifikation der geistigen Fähigkeitennach Bloom, aber präzisiertnach Bloom, aber präzisiert
• Anwendung – als Übertragung gelernter Regeln auf Situationen, die für den
Schüler neu sind,
– als Voraussage von Effekten von Veränderungen verschiedener Faktoren
– Welche Folge hat die Anwendung entlaubend wirkender Stoffe für die Pflanzen?
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 61
Klassifikation der geistigen FähigkeitenKlassifikation der geistigen Fähigkeitennach Bloom, aber präzisiertnach Bloom, aber präzisiert
• Analyse – als Beurteilung von Situationen anhand von Richtlinien
– als Überprüfen der Richtigkeit von Schlussfolgerungen an gegebenen Annahmen
– Wenn eine Pflanze wenig H2O verdunsten kann...a) wächst sie langsamer b) erzeugt sie mehr Nährstoffe c) bildet sich die Wurzel besser aus d) werden die Blätter größer
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 62
Klassifikation der geistigen FähigkeitenKlassifikation der geistigen Fähigkeitennach Bloom, aber präzisiertnach Bloom, aber präzisiert
• Synthese – als Herstellen von mehreren Lösungen, die zumindest für
die Testperson neu sind– als Finden von Wegen, die eine Überprüfung von
Hypothesen ermöglichen– Wie lässt sich nachprüfen, ob die Pflanze nachts in den Blättern
Stoffe bildet, die nicht weitergeleitet werden?
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 63
Klassifikation der geistigen FähigkeitenKlassifikation der geistigen Fähigkeitennach Bloom, aber präzisiertnach Bloom, aber präzisiert
• Evaluation – als Beurteilung von Situationen an internalisierten
Wertsystemen• Zuordnung evtl. zur Klasse der Analyse???
• Schlecht operationalisierbar!!!– da Lernziel-Erarbeitung nicht in kleine UE passt.– da dieses Lernziel nur sehr schwierig zu überprüfen ist.
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 64
Operationalisieren komplexer LernzieleOperationalisieren komplexer Lernziele
– Aufgliedern komplexer Lernziele
• in ein kognitives Grundmuster
• in den konkreten fachspezifischen Inhalt
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 65
Orientierung an Bildungsstandards
• Deutsch (MBA):
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 66
Orientierung an Bildungsstandards
• Operationalisierung (Deutsch (MBA)):
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 67
Orientierung an Bildungsstandards
• Mathematik (MBA):
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 68
Orientierung an Bildungsstandards
• Operationalisierung (Mathematik (MBA)):
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 69
Orientierung an Bildungsstandards
• Folgende Bildungsstandards existieren bereits:
• http://www.kmk.org/schul/Bildungsstandards/bildungsstandards-neu.htm
• http://www.bildung-staerkt-menschen.de/unterstuetzung/schularten/Gym/bildungsstandards
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 70
Beispiel
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 71
Effiziente UnterrichtsgestaltungEffiziente Unterrichtsgestaltung
– durch Lernziel-Analyse des Lehrplans
– durch Analyse der Komplexitätsstufe eines in einer UE umzusetzenden Lernziels
– durch Planung einer UE so, dass der Ablauf der Lernzielkomplexität angemessen ist
– durch Konstruktion der Prüfungsaufgaben parallel zur Unterrichtsplanung
– durch Bekanntgabe operation. Lernziele an die SchülerInnen (schnellerer Lernerfolg)
– [Umsetzung der Unterrichtsplanung]
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 72
LernzielanalyseschemaLernzielanalyseschema
• Kann zwischen Inhalt und Grundmuster unterschieden werden?ja nein Wissen
Sind alle Informationen für die Lösung vorhanden?nein ja Verständnis
Müssen vom Schüler Informationen zur Lösung des Problems beigesteuert werden?nein ja Anwendung
Wird vom Schüler eine Untersuchung vom Sachverhalt nach vorgegebenen Kriterien erwartet?nein ja Analyse
Ist es möglich, mehr als eine Lösung für das Problem zu finden?ja Synthese
Ende des 6. Teils
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 74
Itemanalyse
• Rohwerteverteilung
• Schwierigkeitsgrad
– Richtig/Falsch (0 P., 1 P.):
– Mehr-Punkte-Aufgaben:
N
Np R
sx,
Punktzahlkmitp kn
xn
ii
.max,*1
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 75
Itemanalyse: Schwierigkeit
Vpn Frage 1 Frage 2 Frage 3 Summe
Max. Punktzahl
5 3 1 9
1 3 2 0 5
2 5 1 1 7
3 4 3 1 8
Summe 12 6 2 20
P = 12 : (5*3) = 0,806 : (3*3) =
0,662 : 3 =0,66
20 : (9*3)= 0,74
0 0,35 1
schwer mittel leicht
0,70
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 76
Itemanalyse
• Trennschärfe:
- Mehr-Punkte-Skala
- Dichotome Antworten(ja-nein; richtig-falsch)
),( TestscoreXr i
p
p
s
MMr
x
xrpbis
1*
Mr = Mittelwert des Gesamtscores derjenigen Pbn, die Items X richtig gelöst haben
Mx = Mittelwert des Gesamtscores
Sx = Standardabweichung des Gesamtscores
p = Schwierigkeitsindex des Items X
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 77
Itemanalyse
Item1 Item2 Item3 Summe2 3 1 61 3 1 53 5 2 105 4 1 104 5 3 122 3 2 73 4 3 101 3 4 82 5 2 93 3 3 94 2 2 82 3 3 83 4 2 9
0,69 0,69 0,41
KorrelationKorrelation
Die Trennschärfe ist die Korrelation der Itemwerte, dessen Trennschärfe bestimmt werden soll, mit dem Summenscore
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 78
Itemselektion
1. Inhaltliche Kriterien2. Statistische Kriterien3. Sonstige Kriterien
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 79
Itemselektion: Inhaltskriterien
• Sind bestimmte Items als Eisbrecher notwendig?
• Kann man auf bestimmte Items verzichten, weil genügend ähnliche vorhanden sind?
• Repräsentieren bestimmte Items ein Testmerkmal besonders prägnant trotz ungünstiger Itemkennwerte?
• Lassen sich bestimmte Items trotz guter Kennwerte nicht theoretisch-inhaltlich korrekt einordnen?
• Sind die Items (besonders bei ja/nein-Antworten) ausbalanciert, d.h. gibt es etwa gleich viele „Ja“-Antworten wie „Nein“-Antworten?
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 80
Itemselektion: Statistik
Bestimmung des Selektionskennwertes:
rit=Trennschärfep = Schwierigkeit
)1(*2 pp
rSel it
Beispiel:Item rit p
3 0,60 0,30
65,0
21,0*2
60,0
)30,01(30,0*2
60,0
Sel
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 81
Itemselektion: Statistik
0,00
0,10
0,20
0,30
0,40
0,50
0,60
0,70
0,80
0,90
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Schwierigkeit
Trennschärfe
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 82
Itemselektion: Weitere Kriterien
• Häufen sich Items in unerwünschten Bereichen (z.B. 0,60<p<0,80)?
• Sind schwierige und leichte Antworten in etwa gleichem Umfang vertreten (bei power-Tests)?
• Sind die Übergänge in der Schwierigkeit zwischen den Items nicht zu groß?
Ende des 7. Teils
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 84
Reliabilitätsbestimmung
• Reliabilität ist umso höher, je geringer der zu einem Messwert X gehörende Messfehler ist
• Möglichkeiten der Reliabilitätbestimmung:– Retest (niedrige Fehlervarianz = hohe Rel. = hohe Korr.)– Paralleltest (Vorgehen: Itempool 2 Testversionen kurz hintereinander dargeboten
Itemanalyse Itemzwillinge Paralleltests)– Testhalbierung (split-half; Sonderform der Paralleltestmethode, da die Rel. mit der Zahl der
Items zunimmt, unterschätzt diese Methode die Rel. wegen der halbierten Testlänge Spearman-Brown-Korrektur:
– interne Konsistenz (Cronbach´s )
12
12
1
2
r
r*lRe corr
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 85
Validität• Inhaltsvalidität (Augenschein, Logische Validität, Face validity, content validity)
– kann nicht berechnet werden, – meist geprüft, wenn das Testverhalten das Merkmal direkt darstellt (Rechts-Linkshändigkeit, Farbenblindheit,
Wissenstests, ...)• Kriteriumsvalidität
– Liegt vor, wenn das Testergebnis mit einem Außenkriterium übereinstimmt (z.B. Studienerfolg)– Meist in Form von prognostischer Validität, da Kriterium erst später eintritt– Übereinstimmungsvalidität ist bei direkter Kriteriumsmessung bestimmbar– Expertenrating
• Konstruktvalidität– Bestimmungsmöglichkeiten:
- Korrelation mit Außenkriterien, - Korrelation mit vergleichbaren Tests- Faktorenanalyse
Ende des 5. Teils
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 87
Normierung
Definition
Unter Norm versteht man einen Vergleichswert, an dem man sich bei der Beurteilung einer Leistung orientiert.
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 88
Normierung
Äquivalentnorm - Variabilitätsnorm
• Äquivalentnorm
– orientieren sich an den Mittelwerten von Gruppen
– der Testwert eines Probanden wird als äquivalent zu einem bestimmten mittleren Testwert einer Gruppe angesehen
– der Rohwert wird einem Zeitäquivalent zugeordnet
– Bsp.: IQ = IA / LA
( IA – Intelligenzalter ; LA – Lebensalter )– Diese Normierungsmethode wird
zunehmend abgelöst von der Variabilitätsnorm
• Variabilitätsnorm
– geben die Stellung eines Probanden innerhalb einer Häufigkeitsverteilung an
– man ermittelt einen Standardwert, der angibt wie weit der Testwert entfernt ist vom mittleren Standardwert des Tests
– man unterscheidet zwischen Standardnorm und Prozentrangnorm
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 89
Standardnormen
• Es gibt verschiedene Standardnormen, die sich nur in der Skalierung voneinander unterscheiden
• Alle Standardnormen werden von der Standardnormalverteilung ( = 0 ; = 1 ) abgeleitet (durch lineare Transformation)
• Jede Standardnorm lässt sich nach folgender Formel berechnen :
• Dabei bedeuten :
– X´ transformierte Standardnorm
vorgegebene Standardabweichung
vorgegebener Mittelwert
– M im Test berechneter Mittelwert
– s im Test berechnete Standardabweichung
– X beobachteter Testwert
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 90
typische Standardnormen
• z – Norm
( = 1 ; = 0)
z = (x - M) / s
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 91
typische Standardnormen
• Z – Norm
( = 10 ; = 100)
Z = 100 + 10 (x - M) / s
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 92
typische Standardnormen
• T – Werte
( = 10 ; = 50)
T = 50 + 10 (x - M) / s
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 93
Berechnung von StandardnormenEin Test mit 5 Aufgaben sei an 40 Pbn geeicht worden.
Die Rohwerte sind normal verteilt(N = 40 ; M = 2,95 ; s = 1,06)
X X – M (X – M) / s = z Z T
0 -2,95 -2,78 72,2 22,2
1 -1,95 -1,84 81,6 31,6
2 -0,95 -0,90 91,0 41,0
3 0,05 0,05 100,2 50,5
4 1,05 1,00 110,1 59,9
5 2,05 1,93 119,3 69,3
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 94
Transformation von Testwerten
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 95
Prozentrangnormen
• Prozentrangnormen können unabhängig von der Häufigkeitsverteilung aufgestellt werden
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 96
Berechnung von Prozentrangnormen
• Durchführung eines Tests
– 40 Teilnehmer
– Rohwerte, die erreichbar waren liegen zwischen 0 und 15
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 97
Berechnung von Prozentrangnormen
die Prozentränge werden berechnet nach der Formel fcum% = fcum / N *100N (Anzahl der Probanten) = 40
Rohwerte Häufigkeit
f
summierte
Häufigkeit fcum
fcum %
14 – 15 2 40 100
12 – 13,5 9 38 95
10 – 11,5 19 29 73
8 – 9,5 6 10 25
5 – 7,5 3 4 10
0 – 4,5 1 1 3
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 98
Prozentrangnormen
• Prozentrangnormen können unabhängig von der Häufigkeitsverteilung aufgestellt werden
• die Auswertung kann mittels Summenprozentkurve erfolgen– x-Achse : Rohwerte– y-Achse : Prozentwerte
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 99
Auswertung von Prozentrangnormen
• Die Summenprozent-kurven liefern zweierlei Informationen
– Zu jedem beliebigen Rohwert kann der entsprechende Prozentrang abgelesen werden
– Umgekehrt kann zu jedem Prozentrang die zugehörige Maßzahl aufgesucht werden
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 100
Prozentrangnormen
• Prozentrangnormen können unabhängig von der Häufigkeitsverteilung aufgestellt werden• die Auswertung kann mittels Summenprozentkurve erfolgen
– x-Achse : Rohwerte– y-Achse : Prozentwerte
• dabei bedeutet der Prozentrang 40, dass die Leistung dieses Schülers die Leistungen von 40 % der Schüler der Vergleichsgruppe übertrifft, während seine Leistung von 60 % der Gruppe überboten wird
• Vorsicht : die Prozentränge dürfen nicht verwechselt werden mit dem Prozentsatz richtiger Lösungen in einem Test
• Eigenart : die Prozentrangnorm lassen Unterschiede zum Mittelbereich der Skala stärker erscheinen; am Rand werden die Unterschiede nivelliert
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 101
Transformation von Prozenträngen (PR) in T-Werte
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 102
Ende des 7. Teils
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 103
Konstruktion eines informellen TestsKonstruktion eines informellen Tests
• Operationalisierung der Lernziele• Erstellung der Spezifikationstabelle• Aufgabenkonstruktion• Entwicklung der Testvorform• Erste praktische Durchführung des Tests• Itemanalyse• Überprüfung der Reliabilität• Überprüfung der Validität• Normierung• Testendform
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 104
Operationalisierung der LernzieleOperationalisierung der Lernziele
• Festlegen der Fertigkeiten und Verhaltens-weisen, die der Schüler am Ende der Unterrichtseinheit an den Tag legen soll.
• Die Verhaltensweisen müssen beobachtbar sein:– nennen, aufschreiben, lösen ...
• Was will ich lehren?• Welche Verhaltensänderungen will ich beim Schüler bewirken?
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 105
Erstellen der SpezifikationstabelleErstellen der Spezifikationstabelle
• Untersuchung, ob der Unterrichtsstoff in der Form von operational definierten Lernzielen vorliegt (evtl. Umschreibung in operational. Lernziele)
• Entscheidung, welche Lernziele Gegenstand des Tests sein sollen (Ermittlung der Komplexität)
• Festlegung der Zahl der Items ( Komplexität)
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 106
SpezifikationstabelleSpezifikationstabelle
Verhalten 1 2 3 4 5 6
Aufgabe Wissen Verständnis Anwendung Analyse Synthese Evaluation Total
1. 2. ...
total
WS 2005/06 - Dr. C. Paulus - FR Erziehungswissenschaft Universität Saarbrücken 107
Inhalte einer SpezifikationstabelleInhalte einer Spezifikationstabelle
• Inhalte könnten im Geschichtsunterricht z.B. folgende sein:• Grundherr und Bauer
• Mittelalterliche Stadt, Bauten
• Bürger, Bauern und Mönche im Osten
• Die Hanse in EuropaIn die Zellen der Matrix wird die festgelegte Itemzahl eingetragen (Bedeutung des Lernziels Itemzahl).
Die Spalte „total“ gibt Aufschluss über die Gewichtung der einzelnen Lernzielkomponenten, Verhaltenskomponenten.