09.10.2014
1
Prof.�Dr.�Werner�Sacher:
Wegmarkenund�Stolpersteine�für�die�
Interpretation�der�HattieͲStudie
Vortrag�bei�der�Herbsttagung�des�Zentrums�für�Lehrerbildung�und�Bildungsforschung�der�Universität�Würzburg�am�02.�10.�2014
1.�Stolpersteine
09.10.2014
2
StolpersteineEffektstärken
Effektstärken�messen�Zusammenhänge,sagen�aber�nichts�über�Ursachen�und�Wirkungen!
Hattie�2013,�S.4:„Korrelate�dürfen�…�nicht�mit�Ursachenverwechselt�werden.“
StolpersteineEffektstärkenBeispiel Feedback:�d�=�0,73�ї�„große“�Effektstärke�=�starker�Zusammenhang�zw.�Feedback�(A)�u.�Schulleistung�(B)
09.10.2014
3
StolpersteineEffektstärkenBeispiel Feedback:�d�=�0,73�ї�„große“�Eīektstärke�=�starker�Zusammenhang�zw.�Feedback�(A)�u.�Schulleistung�(B)Mögliche�Kausalbeziehungen:• Feedback�verursacht�gute�Leistungen:�A�ї�B• Gute�Leistungen�verursachen�Feedback:�B�ї�A• Gute�Situiertheit von�Schülern�verursacht�Feedback,zugleich�haben�gut�situierte�Schüler�auch�gute�Leistungen:
• usw.�usw.
C�(Situiertheit)
A B
Auch�Köller�&�Möller�(„schulmanagement“�2012/2013)�sprechen�fälschlich�von�„erfolgreichen“�Faktoren,�die�„helfen“!
StolpersteineSelbstbeschränkungen�HattiesBeschränkung�auf�Faktoren,�die�mit�der�(FachͲ)�Leistung�zusammenhängen
Hattie�2013,�S.7:Es�gibt�„natürlich�viele�Outcomes [Wirkungen;�W.�S.]�der�Schulbildung,�etwa�persönliche�Einstellungen,�physische�Outcomes,�Zugehörigkeitsgefühl,�Respekt,�aktive�Bürgerschaft�und�die�Liebe�zum�Lernen.�In�diesem�Buch�konzentriere�ich�mich�auf�die�Schülerleistung…“„Dieses�Buch�befasst�sich�mit�Leistung;�wir�erwarten�aber�von�unseren�Schulen�viel�mehr�als�nur�Leistung.“�(Hattie�2012,�S.3;�Übers.�W.�S.)
09.10.2014
4
StolpersteineSelbstbeschränkungen�HattiesAusblenden�des�sozialen�HintergrundesHattie�2013,�S.XXXVI:„Es�ist�kein�Buch�über�das,�was�in�Schulen�nicht�beeinflusst�werden�kann.�Beispielsweise�sind�kritische�Diskussionen�über�Armut,�familiäre�Ressourcen�und�Ernährung�nicht�enthalten– aber�NICHT,�weil�diese�Faktoren�nicht�von�Bedeutung�wären.�Im�Gegenteil:�Sie�sind�vielleicht�sogar�noch�wichtiger�als�viele�der�in�diesem�Buch�besprochenen�Einflüsse.“
Aber�manche�Faktoren�– z.�B.�Klassengröße– interagieren�mit�sozialen�Bedingungen:�Z.�B.�werden�in�kleinen�Klassen�sozial�benachteiligte�Grundschüler�besser�gefördert!�(Bildungsbericht�Bremen�2012,�S.�195)�
StolpersteineGrenzen�der�AuswertungsmethodeZusammenwerfen�von�Unterschiedlichem:– unterschiedliche�Begriffe:z.�B.�von�individ.�Förderung,�„kleinen“�und�„großen“�Klassen,�schülerzentriertem�u.�lehrerzentriertem�Unterricht
– verschiedene�Schularten�u.�Schulstufen:Vorschulerziehung,�Grundschule,�Schulen�der�Sekundarstufe,�Einrichtungen�des�Tertiärbereichs
09.10.2014
5
StolpersteineGrenzen�der�AuswertungsmethodeDurch�Mittelung�der�Effekte�von�Studien�gehen�Differenzierungen�verloren.
StolpersteineGrenzen�der�AuswertungsmethodeDurch�Mittelung�der�Effekte�von�Studien�gehen�Differenzierungen�verloren.
Beispiel�Hausaufgaben�(Hattie�2013,�S.276f.):Insgesamt�d�=�0,29�ї�„kleiner“�Eīektaber:Grundschule�d�=�0,15�ї„kleiner“�EīektSekundarstufe�d�=�0,64�ї�„großer�“�Eīekt
09.10.2014
6
StolpersteineGrenzen�der�AuswertungsmethodeKurvilineare Effekte�werden�nicht�erfasst.
y
x
y
x
lineare�Funktion
kurvilineare Funktion
lineare�Trendlinie
Beispiel�Fernsehen�(Hattie�2013,�S.81f.):Insgesamt�d�=�Ͳ 0,18bis�10�Std.�pro�Woche:�leicht�positive�Effekteüber�10�Std.�pro�Woche:�negative�Effekte35�bis�40�Std.�pro�Woche:�stark�negative�Effekte
StolpersteineGrenzen�der�AuswertungsmethodeModeratorvariablen können�nicht�berücksichtigt�werden.
Beispiel:�Klassengröße�(Hattie�2013,�S.88)Insgesamt�d�=�0,21�ї�kleiner�EīektAber�Klassengröße�z.�B.�Voraussetzung�für�häufiges�Feedback�d�=�0,73�ї�großer�Eīekt
09.10.2014
7
2.�Wegmarken�für�die�Interpretation
Objektivität
Validität
Reliabilität
Bedeutsamkeit
InterpretationsͲSchema
09.10.2014
8
Objektivität
Validität
Reliabilität
Bedeutsamkeit
InterpretationsͲSchema
• UntersuchungsͲmethodenAuswertungsͲ
• verfahren
• Zeitpunkt�derStudien
• Altersstufen• Schularten• Fächer• Repräsentativität
• Anzahl�der�MetaͲanalysen�u.�Studien
• Probandenzahl• Homogenität�der�
Befunde�(SE)• Signifikanz
• Stärke• HandlungsͲ
möglichkeiten• Aufwand
Objektivität
Validität
Reliabilität
Bedeutsamkeit
InterpretationsͲSchema�für�Hattie
• UntersuchungsͲmethodenAuswertungsͲ
• verfahren
• Zeitpunkt�derStudien
• Altersstufen• Schularten• Fächer• Repräsentativität
• Anzahl�der�MetaͲanalysen�u.�Studien
• Probandenzahl• Homogenität�der�
Befunde�(SE)• Signifikanz
• Stärke• HandlungsͲ
möglichkeiten• Aufwand
09.10.2014
9
Validität
Reliabilität
Bedeutsamkeit
InterpretationsͲSchema�für�Hattie
• Zeitpunkt�derStudien
• Altersstufen• Schularten• Fächer
• Anzahl�der�MetaͲanalysen�u.�Studien
• Probandenzahl• Homogenität�der�
Befunde:mittl.�SE =�0,07
• Stärke:HingeͲPont�d�=�0,40
95%ͲVertrauensbereich�von�d:d�– 2SE�d d�d d�+�2SE
Validität
Reliabilität
Bedeutsamkeit
• Zeitpunkt�derStudien:�1977Ͳ2006?
• Altersstufen:Sek.�/�Tertiär
• (Schularten)• (Fächer)
• Anzahl�der�MetaͲanalysen�u.�Studien:�23�/�1287
• Probandenzahl:�67931
• Homogenität�der�Befunde:SE�=�0,061
• Stärke:d�=�0,73
Feedback�(S.206Ͳ211)
95%ͲVertrauensbereich�von�d:0,73�– 2*0,061�d d�d 0,73�+�2*0,0610,608�d d�d 0,852
09.10.2014
10
• Zeitpunkt�derStudien:�1977Ͳ2006?
• Altersstufen:Sek.�/�Tertiär
• (Schularten)• (Fächer)
Feedback
Feedback
09.10.2014
11
95%ͲVertrauensbereich�von�d:0,73�– 2*0,061�d d�d 0,73�+�2*0,0610,608�d d�d 0,852
Feedback
Erste�mögliche�Kausalrichtung:Feedback�(als�Ursache)�bewirkt�in�hohem�Maße�bessere�Leistungen.
Mögliche�Erklärungen:• Schüler�erhalten�Information,�welche�LernͲ
anstrengungen zum�Erfolg�führen.• Selbstkonzept�der�Schüler�wird�gestärkt.�• Beziehung�zwischen�Lehrkraft�und�Schüler�wird�verbessert.• usw.• usw.
Feedback�(S.206Ͳ211)
09.10.2014
12
Zweite�mögliche�Kausalrichtung:Schüler�mit�höherer�LeistungsͲfähigkeit�(als�Ursache)�erhalten�häufiger�Feedback.
Mögliche�Erklärungen:• Es�ist�für�Lehrkräfte�angenehmer,�leistungsͲ
fähigen�Schülern�Feedback�zu�geben.• Leistungsfähigere�Schüler�ziehen�stärker�die�Aufmerksamkeit�
der�Lehrkräfte�auf�sich.�• usw.• usw.
Feedback�(S.206Ͳ211)
Exkurs:�Ergebnisse�über�Feedback�(Skala)�aus�einem�Gymnasium�in�BadenͲWürttemberg
09.10.2014
13
Validität
Reliabilität
Bedeutsamkeit
• Zeitpunkt�derStudien:�1977Ͳ1985
• Altersstufen:eher�Sek.�
• (Schularten)• Fächer:
Mathe�/�NW
• Anzahl�der�MetaͲanalysen�u.�Studien:�9�/�600
• Probandenzahl:�9380
• Homogenität�der�Befunde:SE�=�0,056
• Stärke:d�=�0,23
95%ͲVertrauensbereich�von�d:0,23�– 2*0,056�d d�d 0,23�+�2*0,0560,118�d d�d 0,342
Individualisierung�(S.234ff.)
Individualisierung
09.10.2014
14
Individualisierung
95%ͲVertrauensbereich�von�d:0,23�– 2*0,056�d d�d 0,23�+�2*0,0560,118�d d�d 0,342
Individualisierung Reliabilität
09.10.2014
15
Individualisierung�(S.234ff.)
Erste�mögliche�Kausalrichtung:Individualisierung�(als�Ursache)�bewirkt�(in�geringem�Maße)�bessere�Leistungen.
Mögliche�Erklärungen:• Individualisierung�wird�wenig�intensiv
praktiziert.• Es�wird�nur�die�Lernzeit�individualisiert,�nicht�aber�die�
Lernmaterialien.�• Individualisierung�wird�in�zu�großen�Klassen�praktiziert�und�
kann�deshalb�nicht�im�erforderlichen�Ausma�begleitet�werden.
• usw.• usw.
Individualisierung�(S.234ff.)
Zweite�mögliche�Kausalrichtung:Bei�besseren�Schülern�praktizieren�Lehrkräfte�(in�geringem�Umfang)�mehr�Individualisierung.
Mögliche�Erklärungen:• Lehrkräfte�betrachten�individualisierende
Methoden�als�Methode�der�Begabtenförderung.• Lehrkräfte�vertrauen�darauf,�dass�bessere��Schüler�eher�
selbständig�eigene�Lernwege�gehen�können.• usw.• usw.
09.10.2014
16
Interpretationsversuche(Hattie�2013,�S.193,�155�u.�239)
Anzahl�der�Metanalysen
Anzahl�der�Studien
Anzahl�der�Lernenden
d Streuung�(SE)
VertrauensͲBereich�95%
Ziele 11 604 41.342 0,56 0,057 0,45�d d�d 0,67
Direkte�Instruktion 4 304 42.618 0,59 0,096 0,40�d d�d 0,78
Metakognitive�Strategien
2 63 105.282 0,69 0,181 0,33�d d�d 1,06
Freiarbeit 2 65 Ͳ Ͳ Ͳ 0,04 0,176 Ͳ0,31�d d�d 0,39
LautierͲMethode 14 425 12.124 0,60 0,221 0,16�d d�d 1,04
GanzheitsͲMethode 4 64 630 0,06 0,056 Ͳ0,05�d d�d 0,17
1. und�2.�Kausalrichtung?2. Mögliche�Erklärungen?
berechnet
ValiditätReliabilität
BedeutͲsamkeit
3.�Hatties�Verständnisvon�Direkter�Instruktion
und�Feedback
09.10.2014
17
Renaissance�des�Frontalunterrichts?
Hattie�2013,�S.31:„Diese�Darlegung�des�sichtbaren�Lernens�bezieht�sich�auf�Lehrpersonen�als�Regisseure�(‚activators‘),�die�bewusst�den�Wandel�gestalten�und�die�Lernprozesse�steuern.�D.h.�nicht,�dass�sie�‚didaktisch‘�im�Sinne�von�FrontalunterͲricht agieren,�täglich�80%�oder�mehr�mit�Reden�verbrinͲgen�und�das�Ziel�haben,�das�Curriculum�oder�die�UnterͲrichsstunde durchzupauken,�komme,�was�da�wolle.�…�Das�Modell�des�sichtbaren�Lehren�und�Lernens�kombiͲniert lehrerzentrierte�Lehre�und�schülerzentriertes�Lernen,�statt�beide�gegeneinander�auszuspielen.“
Direkte�Instruktion
Elemente�direkter�Instruktion(Hattie�2013,�S.242f.):• Klare�Zielsetzungen• Klare�Erfolgskriterien• Aufhänger�für�Beteiligung�der�Schüler• Genaue�Vorstellungen�über�Vermittlung�und�Erklärung�der�Inhalte
• Angeleitete�Übung• Verständliche�Bilanzierung�des�Gelernten• Praktische�Anwendung�des�Gelernten�in�verschiedenen�Kontexten
Direkte�Instruktion
Letztlich�ein�Artikulationsschema!
09.10.2014
18
Feedback• Nicht�zu�verwechseln�mit�Lob�und�Belohnung.
(Hattie�2013,�S.208)• Entscheidend�ist�das�Feedback,�das�bei�Schülern�
ankommt,�nicht�das�Feedback,�welches�Lehrkräfte�geben:Carless 2006:�70%�der�Lehrer�geben�angeblich�häufig�Feedback,�aber�nur�45%�der�Schüler�berichten�von�häufigem�Feedback.�(Hattie�2013,�S.207)
• Es�geht�nicht�nur�um�LehrerͲFeedback,�sondern�auch�um�Feedback�von�Schülern�an�Lehrer�und�von�Schülern�untereinander:Nuthall 2007:�80%�des�Feedbacks,�das�Schüler�erhalten,�kommt�von�Mitschülern.�Aber�80%�dieses�Feedbacks�sind�unzutreffendͲ (Hattie�2013,�S.5)
Feedback
Drei��Fragen�(Hattie�2013,�S.210):• Where am�I�going?�„Wohin�gehe�ich?“�Welches�Lernziel�soll�erreicht�werden?
• How am�I�going?�„Wie�komme�ich�voran?“�Wie�steht�der�Schüler�im�Verhältnis�zum�Lernziel?
• Where to next?�„Wohin�geht�es�danach?“�Wie�kann�es�weitergehen?
09.10.2014
19
Rezeptartige�Vermehrung�von�Feedback�istnicht�effektiv!
„Eines�der�Hauptergebnisse,�die�in��diesem��Buch�präsentiert�werden,�bezieht�sich�...�auf�die�Verstärkung�des�Feedbacks.�Dies�ist�ohne�Zweifel�ein�wichtiges�Korrelat�der�Schülerleistung.�Man�sollte�jedoch�nicht�sofort�mehr�Feedback�geben,�in�der�Hoffnung,�dass�sich�dann�wie�von�Zauberhand�die�Leistung�erhöht.“�(Hattie�2013,�S.4)
„Die�simple�Anwendung�eines�Rezepts�(z.�B.�‚Gib�mehr�Feedback!‘)�funktioniert�nicht�in�unseren�lebendigen,�facettenreichen,�kulturell�vielfältigen�und�sich�verändernden�Klassen.“�(Hattie�2013,�S.5)
Feedback
Sieben�Voraussetzungen�für�erfolgreiches�Feedback�(Hattie�2013,�S.4f.)
„Wie�wir�weiter�unten�sehen�werden,�setzt�ein�positiver�Effekt�auf�die�Schülerleistung�durch�vermehrtes�Feedback�folgendes�voraus:1. Dass�man�seine�Vorstellung�darüber,�was�es�heißt,�eine�
Lehrperson�zu�sein,��ändert.2. Das�an�die�Lehrperson�gerichtete�Feedback�darüber,�
was�Lernende�leisten�können�und�was�nicht,�ist�wirksamer�als�das�Feedback,�das�sich�an�die�Lernenden�richtet.
3. Außerdem�erfordert�es�eine�andere�Art�der�Interaktion�mit�und�des�Respekts�gegenüber�den�Lernenden...“
Feedback
09.10.2014
20
Sieben�Voraussetzungen�für�erfolgreiches�Feedback�(Hattie�2013,�S.4f.)
„Wie�wir�weiter�unten�sehen�werden,�setzt�ein�positiver�Effekt�auf�die�Schülerleistung�durch�vermehrtes�Feedback�folgendes�voraus:4. 80%�des�Feedbacks,�das�ein�Lernender�oder�eine�
Lernende�bezüglich�seiner�bzw.�ihrer�Arbeit�in�der�(GrundͲ)Schule�erhält,�[stammt;�W.S]�von�Mitlernenden.�Aber�wiederum�80%�dieses�Feedbacks�sind�unzutreffend!
5. Es�ist�wichtig,�sich�Gedanken�über�das�Klima�im�Klassenzimmer�zu�machen,�ehe�man�die�Menge�des�Feedbacks�steigert.“
Feedback
Sieben�Voraussetzungen�für�erfolgreiches�Feedback�(Hattie�2013,�S.4f.)
„Wie�wir�weiter�unten�sehen�werden,�setzt�ein�positiver�Effekt�auf�die�Schülerleistung�durch�vermehrtes�Feedback�folgendes�voraus:6. Denn�es�ist�von�entscheidender�Bedeutung�
sicherzustellen,�dass�‚Fehler‘�nichts�Schlimmes�sind.�Sie�dienen�als�Ansatzpunkte�für�die�Verbesserung�des�Lernverhaltens.
7. Wichtig�ist,�dass�die��Ziele,�die�man�sich�setzt,�eine�angemessene�Herausforderung�darstellen.�So�können�die�Menge�und�auch�die��Zielgerichtetheit�des�Feedbacks�maximiert�werden.“
Feedback
09.10.2014
21
Sieben�Voraussetzungen�für�erfolgreiches�Feedback�(Hattie�2013,�S.4f.)
Zusammenfassung:1. Vorstellung�von�der�Lehrerrolle�(als�Regisseur)2. Feedback�an�Lehrkraft3. Beziehung�Lehrkraft�Ͳ Schüler4. Feedback�von�Mitschülern5. Klassenklima6. Fehlerkultur7. Zielorientierung
Feedback
4.�Hatties�IntentionDewey�1938:�„Der�Forschungsstand�liefert�uns�keine�Handlungsanweisungen,�sondern�lediglich�Hypothesen�für�intelligentes�Problemlösen�und�Denkanstöße�hinsichtlich�unserer�Bildungsziele.“�(Hattie�2009,�S.247;�Übers.�W.�S.)
„Am�wichtigsten�bei�jeder�Diskussion�über�Messergebnisse�sind�‚konkurrierende�plausible�Hypothesen‘.“�(Hattie�2009,�S.248;�Übers.�W.�S.)
09.10.2014
22
Literatur:Bundesministerium�für�Unterricht,�Kunst�und�Kultur�(2012):�Die�HattieͲStudie.�Forschungsbilanz�und�Handlungsperspektiven.�Wien.Autorenteam�Bildungsberichterstattung�Bremen�undBremerhaven�(2012):�Bildung�– Migration�– soziale�Lage.�Voneinander�und�miteinander�lernen.�Bildungsberichterstattung�für�das�Land�Bremen.�Bremen.[Zitiert:�Bildungsbericht�Bremen�2012]Hattie,�J.�A.�(2009):�Visible�learning.�A�synthesis�of�over�800�analyses�relating�to�achievement.�London�&�New�York:�Routledge.Hattie,�J.�A.�(2011):�Visible�learning�for�teachers.�Maximizing�impact�on�learning.�London�&�New�York:�Routledge.Hattie,�John�A.�(2013):�Lernen�sichtbar�machen.�Überarbeitete�deutschsprachige�Ausgabe�von�„Visible�learning“,�besorgt�von�Wolfgang�Beywl und�Klaus�Zierer.�Baltmannsweiler:�Schneider�Hohengehren.Snook,�I.;�Clark,�J.;�Harker,�R.;�O’Neill, A.ͲM.;�O’Neill,�J.��(2009):�Invisible�Learnings?�A�commentary�on�John�Hattie’s�“Visible�Learning:�A�Synthesis�of�over�800�MetaͲAnalyses�Relating�to�Achievement”.�In:�New�Zealand Journal�ofEducation�44,�Annex�A.Köller,�O.;�Möller,�J.�(2012/2013):�Was�wirklich�wirkt.�John�Hattie�resümiert�die�Forschungsergebnisse�zu�schulischem�Lernen.�Teile�1�bis�5.�In:�schulmanagement4/2012,�S.34Ͳ37;�5/2012,�S.34Ͳ37;�6/2012,�35Ͳ37;�1/2013,�S.35Ͳ37,�2/2013,�S.34Ͳ37.
09.10.2014
23
OECD�Organisation�for�Economic�Cooperation�and�Development�(2001):�Lernenfür das�Leben.�Erste�Ergebnisse�der�internationalen�Schulleistungsstudie�PISA�2000.�Paris.Sacher,�W.�(2013):�Wird�der�Familieneinfluss�auf�die�Schulleistung�überschätzt?�Nein�– denn�die�HattieͲStudie�widerlegt�nur�scheinbar�bisherige�Erkenntnisse.�In:�Pädagogik�65�(2013),�H.�9,�S.54.
