SoSe 200805.05.2008
Entwicklungstestung& Beobachtung
Aufgaben und Voraussetzungen
D.1 Theorien über Entwicklungs- und Lernprozesse und ihre
Beeinträchtigungen
Anliegen der Entwicklungsdiagnostik
Frage nach dem Entwicklungsstand Was ist?
Genese von Entwicklungsproblemen Wie ist es geworden?
Prognose Was wird?
Festlegung von Entwicklungszielen Was sollte werden?
Methoden und Mittel zur Zielerreichung
(Montada, 1985)
Praxis der Entwicklungsdiagnostik heute
Anspruch: Testverfahren sollten theoretisch fundiert sein, ökonomisch sein und den Qualitätsstandards psychologischer Testdiagnostik
entsprechen.
Realität: Testanwender monieren... schlechte Standardisierung veraltete Normen „neue Tests“ werden aus Aufgaben anderer Tests gebildet Fehlen von geeigneten Verfahren für die Frühdiagnostik
Praxis der Entwicklungsdiagnostik heute
Ökonomische Engpässe Kostendruck Einsparung von Fachkräften Entwicklungsdiagnostik im „Schnellverfahren“ Screenings = vollwertige Leistungsdiagnostik ??
Aber: Komplexe Entwicklungsstörungen erfordern vielschichtige
Diagnostik Tests führen zu Wahrscheinlichkeitsaussagen, nicht zu
Gewissheiten!! Verbesserung psychologischer Diagnostik = Verbesserung
der metrischen Qualitäten (Gütekriterien) von Testverfahren
Krause (2001)
Theoretische GrundlagenDer Entwicklungsbegriff
enger Entwicklungsbegriff: biologische Entwicklungsmodelle Entwicklung ist
sequentiell, irreversibel, unidirektional, universell, qualitativ-strukturell
weiter Entwicklungsbegriff: Entwicklungspsychologie der Lebensspanne
Entwicklung ist nicht linear mit universalen Sequenzen, Veränderungen verlaufen multidimensional
(„Veränderungsmuster“), ungerichtet oder „multidirektional“, nicht einfaktoriell erklärbar, sondern multikausal.
Theoretische Grundlagen
Zentrale theoretische Fragen an ein Testverfahren:
Auf welchem Niveau sind die diagnostischen Merkmale angesiedelt? direkt beobachtbares Verhalten vs. Konstrukte
Wie wird der Bezug zwischen Merkmalen und Testaufgaben theoretisch begründet? Inhaltsvalidität vs. konvergente und diskriminante Validität (=>
empirisch)
Welches sind die zugrundeliegenden Annahmen im Hinblick auf die Transformation von Entwicklungskonstrukten über die Zeit?
Theoretische Grundlagen
Problem allgemeiner Entwicklungstests: Es gibt keine allgemeingültige Theorie der allgemeinen
Entwicklung.
Lösung: Inhaltliche Präzisierung durch die Auswahl spezifischer
Merkmalsbereiche (Subtests) und deren Erfassung mittels spezifischer Testaufgaben.
Aber: Es gibt auch keine allgemein akzeptierte, umfassende Theorie der
Sprachentwicklung, der motorischen Entwicklung, der kognitiven Entwicklung etc. ...
Fazit
„Die theoretische Fundierung vieler entwicklungs-diagnostischer Verfahren ist äußerst unzureichend.“
Insbesondere im Hinblick aufa) den zugrunde gelegten Entwicklungsbegriffb) den angenommenen Entwicklungsverlauf der erfassten Merkmale.
Filipp & Doenges, 1983
Normative Grundlagen: Der Normalitätsbegriff
„normal“ = altersadäquat verfrühte/verspätete Verhaltensformen gelten als
abweichend aber: Es gibt beträchtliche Varianzen zwischen und
innerhalb der Altersgruppen!!
Annahme eines komplexeren Wirkgefüges: Standardisierungsstichproben müssen sehr groß gewählt
werden Entwicklungsnormen für einzelne Standardisierungs-
gruppen, die sich in entwicklungsrelevanten Umweltmerkmalen in entwicklungsrelevanten Eigenschaften unterscheiden.
Psychometrischer Ansatz Intelligenztests
Selektion, Diagnose, Evaluation
Gesamttestwert und verschiedene Subtestwerte (M = 100, SD = 15)
95% der Population erreicht einen Testwert zwischen 70 und 130 (+/- 2 SD) Rund 50% der deutschen Bevölkerung hat einen
IQ von 100.
Hochbegabung
Normative Grundlagen
Problem: Altersnormen wurden aufgrund querschnittlicher
Altersvergleiche gewonnen Altersdifferenzen = Entwicklungs- oder
Kohortenunterschiede? Lösungen:
kriterienorientierte Diagnostik Definition des „Kriteriums“ durch eine zugrundeliegende
hypothetische Entwicklungssequenz aber: Wie gesichert sind die Beziehungen zwischen
diagnostiziertem Entwicklungsniveau und gewähltem Kriterium?
individuelle Bezugsnorm „Fortschritt“, „Retardierung“, „Stillstand“ als Merkmale des
individuellen Entwicklungsprozesses
Normative Grundlagen
Ökologische Ausweitung der Entwicklungsdiagnostik Betrachtung und Bewertung der Entwicklungsumwelt
Aufhebung der Konfundierung von Merkmals- und Umweltstabilität
z.B. Veränderungen im sprachlichen Leistungsniveau => Variationen im emotionalen Klima der Familie
prognostischer Wert von Testergebnissen wird durch die Berücksichtigung von Umweltparametern erhöht
Voraussetzungen: Kenntnis der entwicklungsrelevanten Umweltfaktoren
Kenntnis der Veränderungen ihres Einflusses im Laufe der Entwicklung
Fazit
Dominanz der Altersnormierung von Entwicklungstests geringer Aufwand an konzeptueller Vorarbeit entwicklungstheoretisch eher voraussetzungsfrei
eher weniger exakte und gesicherte individualdiagnostische Aussagen, als numerische Kennwerte suggerieren... Entwicklungsalter Entwicklungsquotient etc.
umweltdiagnostische Verfahren stehen eher beziehungslos zu entwicklungsdiagnostischen Fragen Forderung nach einer Explizierung des Entwicklungsbegriffs!!
Grundlagen der Testkonstruktion: Gütekriterien
Objektivität
= Vergleichbarkeit als Voraussetzung für Unterscheidbarkeit
Untersuchungssituation
Untersuchungsmaterial
Aufgabenstellung
Bewertung und Interpretation der erhobenen Daten
Wie kann festgestellt werden, ob ein Test diesem Gütekriterium genügt?
Durchführungsobjektivität
Auswertungsobjektivität
Interpretationsobjektivität (r >= .90)
Grundlagen der Testkonstruktion: Gütekriterien
Reliabilität
= Zuverlässigkeit des ermittelten Testergebnisses Wachheit des Kindes Motivation etc. wirken als Störvariablen
maximal so hoch wie die Objektivität...
Wie kann festgestellt werden, ob ein Test diesem Gütekriterium genügt? Test-Retest-Reliabilität r = .80-.90 o.k.
Paralleltest-Reliabilität r >= .90 hoch
Split-Half-Reliabilität
Innere Konsistenz (Cronbach´s Alpha)
Grundlagen der Testkonstruktion: Gütekriterien
Validität
= Wie gut bewältigt der Test die Aufgabe, für die er konstruiert wurde?
Wie kann festgestellt werden, ob ein Test diesem Gütekriterium genügt? Inhaltsvalidität (Augenscheinvalidität, logische Validität)
Kritieriumsvalidität prognostische Validität r = .40-.60 o.k.
Übereinstimmungsvalidität r >= .60 hoch
Konstruktvalidität konvergente Validität
diskriminante Validität
Fazit
Ein Entwicklungstest kann nur so gut sein, wie seine entwicklungstheoretischen Grundlagen...
Es wäre illusionär, Tests zu fordern, die perfekte oder nahezu perfekte Entscheidungen gewährleisten.
Der Wert eines Testes bemisst sich letztlich an seinem Beitrag zur Optimierung von Entscheidungen.
Beobachtung
„Ich sehe was, was Du nicht siehst!“
Was ist Beobachtung?
Absicht Beobachtung setzt einen Zweck/ein Ziel voraus...
Selektion Bestimmte Aspekte werden genauer betrachtet, andere
vernachlässigt...
Auswertung Ausrichtung auf die Auswertbarkeit der Ergebnisse...
Zeichensystem Sprachliche Beschreibung
Was ist Beobachtung?
Alltägliche Beobachtung vs. einfache Wahrnehmung Absicht systematische Selektion
Wissenschaftliche Beobachtung vs. alltägliche Beobachtung Beabsichtigte Auswertung der erhobenen „Daten“ Kriterien der Replizierbarkeit und Objektivität
Beobachtung als Haltung
Der Beobachter lässt sich auf den Gegenstand seiner Beobachtung (in
diesem Fall das Kind bzw. sein Verhalten ein), hat keine konkreten Vermutungen oder Theorien, beteiligt sich nicht aktiv, mischt sich nicht in das
Geschehen ein, kontrolliert / manipuliert nicht.
Ziele: systematische Erfassung und Ordnung bestimmter
Ausschnitte des Geschehens Generieren von Vermutungen/Hypothesen
Beobachtung als Methode
Beobachtung ist ein Datenerhebungsinstrument, wie Gesprächsmethoden (z.B. Interviews), Fragebogen (z.B. zur Persönlichkeit), standardisierte Tests (z.B. Intelligenztests), apparative Verfahren (z.B. EEG oder Reaktionszeitmessung).
Ziel: Untersuchung von Hypothesen oder Vermutungen. Systematische Kontrolle von Störeinflüssen, Systematische Variation relevanter unabhängiger Variablen.
Beobachtung als Methode
Bedeutung für die praktische Tätigkeit Beobachtung des Spiel- und Interaktionsverhaltens
eines verhaltensgestörten Kindes, um sich einen Überblick zu verschaffen.
Es geht nicht darum, eine der beiden Haltungen zu kritisieren bzw. zu bevorzugen. Beide haben ihre Vorzüge... und Nachteile!
Menschliche BeobachtungGrundlage aller Forschung
Beobachtung liegt jeder Untersuchung zu Grunde.
Beobachter = „Messinstrument“ mit menschlichen Interessen, Eigenschaften und Vorgehensweisen.
Grundsätzliches Problem: Jedes Instrument muss vor seinem ersten Einsatz
überprüft worden sein. Es muss sichergestellt werden, dass es das misst,
was es messen soll.
Wie aber können wir das sicherstellen?
Klassifikationsmöglichkeiten
Verwendung von Hilfsmitteln (Videokamera / Tonbandgerät) Welche Vorteile/Nachteile hat das?
Labor- vs. Feldbeobachtung/naturalistische Beobachtung Offene vs. verdeckte Beobachtung Teilnehmende vs. nicht-teilnehmende Beobachtung
Grad der Reduktion isomorphe Beschreibung (= vollständige Replikation) reduktive Beschreibung (Zeichen-/Kategoriensysteme) reduktive Einschätzung (= totale Reduktion)
Das Problem der „Handlungsbegriffe“
Aus ein und derselben Bewegungsfolge kann ich i.d.R. mit gleicher Berechtigung auf mehrere verschiedene Handlungsebenen schließen.
z.B. „Willi grüßt Otto“ Sehen kann man nur die Muskelbewegung von Arm und
Gesicht; „grüßt“ enthält aber eine bestimmte Absichtsunterstellung.
War die Handbewegung wirklich ein Gruß, das Verscheuchen einer Fliege, ein willkürlicher Muskelreflex?
z.B. „Herr Schmitt mäht den Rasen“ In gewissem Sinne können wir mehrere Handlungen zugleich
ausführen....
Dilemma
Für die Beschreibung auf der Ebene der Handlungsbegriffe ist eine Interpretationsleistung des Beobachters gefordert!
Diese Interpretation lässt sich aber nicht unter Rekurs auf das, was er beobachtet hat, absichern!!
Dieser Problematik entgeht man nicht durch die Wahl eines Beobachtungssystems mit höherem Reduktionsniveau!
Gütekriterien: Reliabilität, Validität und Generalisierbarkeit
Reliabilität = Verlässlichkeit der Beobachtung
Reproduzierbarkeit von Beobachtungen unter theoretisch für das Auftreten des Beobachteten gleichen Bedingungen bei Unterschieden in theoretisch irrelevanten Bedingungen. irrelevant sind z.B. verschiedene Beobachter oder verschiedene
Beobachtungszeitpunkte relevant sind u.U. verschiedene Situationen bzw. Umstände
Beispiel: Das Verhalten derselben Kinder in derselben Klasse bei
demselben Lehrer in demselben Fach wird von zwei Beobachtern völlig unterschiedlich wahrgenommen
geringe Reliabilität mindestens einer dieser Beobachtungen...
Gütekriterien: Reliabilität, Validität, Generalisierbarkeit
Innere Konsistenz = Beobachterkonsistenz (r > . 90) Derselbe Beobachter beobachtet eine Videoaufzeichnung des
Verhaltens mehrfach (Aussagen über Beobachterkonsistenz, nicht aber seine Fehlerbelastetheit möglich).
Test-Retest-Reliabilität Ein und derselbe Beobachter beobachtet zu verschiedenen
Zeitpunkten das Verhalten.
Validierung Verschiedene Beobachter beobachten dasselbe Verhalten in
derselben Situation
Normorientierung Vergleich der Beobachtung durch einen Beobachter mit einem
objektiven Standard („Eich-Beobachter“).
Gütekriterien: Reliabilität, Validität und Generalisierbarkeit
Generalisierbarkeit = weitreichender Anspruch der Übertragbarkeit der Beobachtung auf eine Personengruppe
Sonderpädagogische Beobachtungen verfolgen gerade diese Absicht zumeist nicht, denn es geht ihnen um die Beschreibung der Besonderheiten einzelner Schüler!
Konkrete BeobachtungsfehlerEine Systematik
Wahrnehmung
Interpretation
Erinnerung
Wiedergabe
Beobachtungsprotokoll
Beobachtungsgegenstand
InteragierendeBedingungen:Beobachtungs- undUntersuchungs-Bedingungen
Reaktivität
Probleme des Beobachtungssystems
Störende Randbedingungen
Übermittlungs-probleme (1a)
(1b)
(1c)
(1d) (2a)
(2b)
(3)
Fazit
Jede Beobachtung ist nur so gut, wie der Beobachter.
Jede Beobachtung ist nur so gut, wie ihre (entwicklungs-) theoretischen Grundlagen...
Es wäre illusionär, von Beobachtungen zu fordern, perfekte oder nahezu perfekte Entscheidungen gewährleisten.
Der Wert jeder Beobachtung bemisst sich letztlich an ihrem Beitrag zur Optimierung von Entscheidungen.