Date post: | 05-Apr-2015 |
Category: |
Documents |
Upload: | parsifal-kaul |
View: | 118 times |
Download: | 2 times |
Auswahl von Aufgabenformaten und Formulierung von Items
Seminar: Testtheorie und Testkonstruktion
Referenten: Annekathrein Frenkel, Sara Dürr
10.05.06
Gliederung
Einführung Definition: Aufgabenformate (auch:
Aufgabentypen) Hauptteil
Darstellung der verschiedenen Aufgabenformate Vor- und Nachteile der jew. Aufgabenformate Leitfaden Formatauswahl Leitfaden Itemkonstruktion Mögliche Biases
Schlussteil Fragen???
Lernziele
Was sind die Vor- und Nachteile der verschiedenen Aufgabenformate?
Was ist bei der Konstruktion von Testitems zu beachten?
Mit welchen biases (wie z.B. der Antwort-tendenz) muss man u. U. rechnen?
Was ist ein Aufgabenformat?
Die Art und Weise, in der die Beantwortung einer Testaufgabe erfolgt
Man unterscheidet…
Gebundene Aufgabenformate = es sind festgelegte Antwortkategorien
vorgegeben
Freie Aufgabenformate = die Aufgabenbeantwortung erfolgt frei
oder teilstrukturiert (Teile der Lösung sind vorgegeben)
Gebundene Aufgabenformate
1. Richtig-Falsch-Aufgaben (RF-Aufg.)
2. Mehrfach-Wahl-Aufgaben (MF-Aufg.)
3. Zuordnungsaufgaben (ZO-Aufg.)
4. Umordnungsaufgaben (UO-Aufg.)
1. Richtig-Falsch-Aufgaben
Bestehend aus nur zwei Antwortmöglich-keiten
(Richtig-Falsch, Ja-Nein etc.)
Oft verwendet z.B. in Leistungs- oder Persön-lichkeitstests
Beispiel: Ich gehe abends gerne aus
stimme zu – stimme nicht zu
Vorteile – Nachteile
Bearbeitungs-, Auswertungs- und Lösungszeit meist kurz
i.d.R. leichtes Verständnis der Testinstruktionen
Formulierungsschwierig-keiten
(Notwendigkeit eindeutiger Beantwortung)
Hoher Prozentsatz an Zufallslösungen mögl.
(bis 50%)
Wenig differenzierte Information
Hinweise für eine erhöhte Ja-Sage-Tendenz
z.B. Krosnick, 1999. S.552
2. Mehrfach-Wahl-Aufgaben
Bestehend aus mehr als zwei Antwortalternativen (z.B. multiple-Choice-Aufg.)
Eine Bestantwort (Attraktor) + mehrere Alternativantworten (Distraktoren)(für letztere gelten die Kriterien der Plausibilität und der Gleichwertigkeit)
Insbesondere in Wissens- oder Intelligenztests
In der modernen Testkonstruktion absolut vorherrschend
Sonderform: Ratingskalen
Beispiel einer MW-Aufgabe
In einem Test kann man verschiedene Aufgabenarten verwenden. Welche der folgenden Aufgabenarten haben ein gebundenes Antwortformat?
Multiple-Choice-Items Ergänzungsaufgaben Ratingskala Zuordnungsaufgaben Kurzaufsatzaufgaben
Vorteile – Nachteile
Ökonomische Durch- und Ausführung
Relative Zufallsunabhängigkeit
Durch die Anzahl der Antwortalternativen wirkt sich das Raten weniger auf das Testergebnis aus
Bei Ratingskalen: Differenziertheit der Antworten
Problem: Antwortalternativen?
Plausibilität und Gleichwertigkeit
Lediglich Wieder-erkennen von Material, keine Reproduktion
Nicht für alle Konstrukte sinnvoll (z.B. Kreativität)
3. Zuordnungsaufgaben
Zeichen oder Inhalte werden anderen Zeichen oder Inhalten zugeordnet
Z.B. in Wissens- oder Leistungstest
Beispiel:Was wurde von wem geschrieben?
Die Räuber Süßkind Werthers Leiden Goethe Faust
Schiller Das Parfum Mann
Vorteile – Nachteile
Ökonomische Durch- und Ausführung
Relative Zufallsunabhängig-keit
Problem: Antwortalternativen?
Lediglich Wieder-erkennen von Material, keine Reproduktion
Nicht für alle Konstrukte sinnvoll (z.B. Kreativität)
4. Umordnungsaufgaben
Vorgegebene Fragmente müssen der Reihenfolge entsprechend sortiert werden
z.B. Materialbearbeitungstest (z.B. HAWIK)
Beispiel Herrn seinen ein rettete treuer Hund (6) (5) (1) (4) (2) (3)
Vorteile – Nachteile
Einsetzbar bei Materialbearbeitungs-tests
Großer Materialaufwand - speziell bei Gruppentestungen
Itemformat ist nur für wenige spezifische Fragestellungen anwendbar
Freie Aufgabenformate
1. Ergänzungsaufgaben (EG-Aufg.)
Offene Fragen (z.B.: Wo liegt Lima?) Text- oder Wortergänzungsaufgaben
2. Kurzaufsätze (KA-Aufg.) Auf Fragen freie Antworten geben (z.B. „wie
kommen Sommer und Winter zustande?“)
EG-Aufgaben: Vorteile – Nachteile
Zufallslösungen kaum möglich
Qualitative Auswertung möglich
Nur Reproduktion von Wissen – keine Kreativität
Hoher zeitl. Aufwand
Eingeschränkte Auswertungsobjek-tivität
Schwer zu klassifizieren, was eindeutig falsch oder richtig ist
KA-Aufgaben: Vorteile - Nachteile
Freie Reproduktion von Wissen
Zufallslösungen ausgeschlossen
Evtl. eingeschränkte Auswertungsobjek-tivität
Schwer zu klassifizieren, was eindeutig falsch oder richtig ist
Leitfaden – Formatauswahl
1. Keine Regel für die Zuordnung von Aufgaben-inhalt und Aufgabenformat
2. Einfache Tests → ein Aufgabenformat
3. Testsystem → Aufgabenformate über Subtests variieren
Regeln für die Reihung der Aufgabenformate im Testsystem:
subjektiv schwierige Aufgabenformate (hohe Konzentration erforderlich) an den Anfang
Abwechseln von Subtests mit leichten (RF) und schweren (EG) Aufgabenformaten
Leitfaden – Formatauswahl
1. Wann wähle ich Richtig-Falsch-Aufg.? Bei Notwendigkeit schneller Testkonstruktion Bei Notwendigkeit schneller Testdurchführung Bei Auswertung des Tests durch Hilfspersonal Bei leicht verständlichen Aufgabeninhalten Wenn gedankliche Verarbeitung und
Gedächtnisleistungen unwichtig sind Wenn Zufallslösungen irrelevant sind oder bei
der Auswertung berücksichtigt werden
Leitfaden – Formatauswahl
2. Wann wähle ich Ergänzungsaufgaben?
Selbstständige Lösungsfindung als Ziel Bei Interesse am Lösungsweg Verhindern von Raten Bei inhaltlich komplexen Testaufgaben
(Denkprobleme) Bei Interesse an qualitativer Auswertung Wenn die Zeit unwichtig ist Wenn nicht durch mangelnde
Formulierungsfähigkeit Nachteile entstehen
Leitfaden – Itemkonstruktion
1. Negativ und positiv gepolte Items sollten sich die Waage halten
Negative Formulierungen beeinflussen nachweislich das Antwortverhalten – werden daher zur Vorbeugung von Ja-Sage-Tendenzen eingesetzt
2. Doppelte Verneinungen vermeiden sie führen zu Missverständnissen
Leitfaden – Itemkonstruktion
3. Begriffe mit mehreren Bedeutungen vermeiden
z.B.: ich bin in Gesprächen „angriffslustig“
4. Formulierungen und Begriffe vermeiden, die nur einem Teil der Zielgruppe geläufig sind
z.B. „Depression“ im Umgang mit Kindern
5. Pro Item nur einen sachlichen Inhalt/ Gedanken zugrunde legen
z.B. nicht: ich fahre sehr gerne und sehr schnell Auto
Leitfaden – Itemkonstruktion
6. Verallgemeinerungen vermeiden z.B. nicht: immer, alle, keiner etc.
7. Abkürzungen und Ausschweifungen vermeiden
8. Wichtiges hervorheben (Sparsamkeit!)
9. Zeitpunkt und Zeitspanne, auf die Bezug genommen wird, eindeutig definieren
z.B.: „in den letzten zwei Wochen“ statt „in letzter Zeit“
10. Hohe Kongruenz zwischen Item und Merkmal wichtig
Leitfaden – Itemkonstruktion
11.Nicht aussagekräftige Items vermeiden z.B. wenn erfahrungsgemäß immer
dieselbe Beantwortung erfolgt (ja/ nein)
12. Itemformat sollte an das Ziel des Tests angepasst sein
13. Für die Beantwortung notwendige Informatio-nen ergänzen
Mögliche Biases – (gebundene Itemformate)
Soziale Erwünschtheit
Antworttendenzen
Motivation
Reihenfolgeeffekte
Noch Fragen???