Date post: | 05-Apr-2015 |
Category: |
Documents |
Upload: | wim-wetzell |
View: | 106 times |
Download: | 0 times |
Folie 1Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Konsequenzen aus Schulleistungsstudien/Bildungsmonitoring
und ihre Umsetzung auf der Ebene:
Einzelschule/Unterricht
Ein Input
von
Prof. Dr. H.G. Rolff
Auf dem OECD/CERI Regionalseminar der deutschsprachigen Länder in
Potsdam, am 27. September 2007
Folie 2Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
1. Vom Datenloch zum Datenhoch
Es sind kaum 10 Jahre her, da hatten Schulen und
Schulbehörden so gut wie gar keine Daten
Seit 10 Jahren ist eine unerwartete und ungeheure Datenfülle herangewachsen
„Mir werden haufenweise Daten über den Zaun geworfen,
ohne dass klar ist, was sich damit anfangen soll“ (Ein Schulleiter)
Der Datenhunger kommt nicht aus den Schulen, sondern aus den Behörden
Daten sind das eigentlich Neue
Folie 3Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
2. Datenquellen
TIMMS
PISA (1,2 und im Dezember 3)
IGLU (1 und im Dezember 2)
DESIMerkmale: Stichprobenerhebungen
Für Behörden gedacht;
zur Entwicklung von Einzelschulen nicht geeignet, weil der
Stichprobenfehler (Schätzfehler) zu groß ist
2.1 System-Monitoring
Folie 4Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
2.2 Lernstandserhebungen
Jahrgang 4, jetzt 3 (VERA)
Jahrgang 9, jetzt 8 (LSE)
Merkmale: Vollerhebungen
Für Schulen und Klassen valide, deshalb für Schul-
und Unterrichtsentwicklung geeignet.
Für die Diagnose von einzelnen Schülern nicht geeignet, weil
keine diagnostischen Tests benutzt werden
Gute Handreichung des MSW-NRW zur Nutzung der Daten
Folie 5Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
2.3 Schulinspektion/Qualitätsanalyse
Vorteil:
„Breites“, umfassendes Qualitätsverständnis
(gegen Trend zur „Drei-Fächer-Schule“)
Problem:
Wird häufig vor interner bzw. Selbst-Evaluation durchgeführt
(wenn noch keine Evaluationskultur in der Schule entstanden ist)
Wirksamer ist umgekehrte Reihenfolge
Folie 6Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
2.4 Service-Agenturen
IFS-Barometer
SEIS (Selbstevaluation in Schulen)
IQES (Schweiz)
andere
Vorteil:
Unaufwändig und preiswert
Problem:
Nicht schulgenau
Folie 7Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
2.5 Schuleigene, selbsterhobene Daten
Handreichungen zur Selbstevaluation der Ministerien
Evaluationshandbücher
Internetseite des IFS (www.ifs-dortmund.de – Link: Service – Link: Werkzeugkasten)
Andere „Instrumenten-Koffer“
Vorteil:
Die Forschung sagt, selbsterhobene Daten sind am wirksamsten für Schul- und Unterrichtsentwicklung
Problem:
Aufwändig
Folie 8Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
3. Datenreich und wissensarm? - Grundsätzliches
Es gibt noch mehr Datenquellen:
Ergebnisse zentraler Prüfungen
Schulstatistik („Oktoberstatistik“)
Kostendaten
Sozialindex
usw.
Aber was folgt aus ihnen? Zunächst nichts!
Folie 9Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Variationen von Datensätzen
Juxtapositionsverhältnis von Datenrückmeldung und Nutzung – Rückmeldungen sind Interventionen
an Auftraggeber: System Monitoring
Lehr-plan
BildungspolitikSchulentwicklung
Variationen von Erläuterungen
Fach-lehrer
an Einzelschulen: Innerschulische
Nutzung
Schul-leitung
Fach-konfe-renzen
?
Program-me
Res-sourcen
Beratung/Trainings Daten-Rückmeldungen
„Das System, in das interveniert wird, entscheidet selbst, was es damit anfängt.“
Folie 10Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Zum Juxtapositionsverhältnis
„Zwei-Welten-Theorie“
Wissenschaftliches Wissen vs. praktisches bzw. Handlungswissen
Serienregelung vs. Einzelfallregelung
Diagnose vs. Therapie
Zudem: Lehrpersonen haben eine „funktionale
Vetostellung“ (Brüsemeister)
Also: Nur „lose Kopplung“ von zentraler Steuerung (via
Daten) und innerschulischer Nutzung
Folie 11Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Es handelt sich nicht um Unvereinbarkeit, aber um komplexe „Übersetzungsprozesse“, die über technische Lösungen oder Patentrezepte (z.B. „Druck machen“) weit hinausgehen.
Auch Rekontextuierung genannt
Sie setzen Kompetenz voraus (Datennutzung und Schulentwicklung)
Sie setzen Vertrauen voraus. Überall, wo Menschen mit anderen kooperieren müssen, die sie nicht kennen, ist Vertrauen notwendig (Brüsemeister)
Lösungs-Perspektive
Folie 12Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Wandel durch Datennutzung (nach Argyris)MentalesModell
von Handlungen
veränderte Handlung
veränderte
s
erweiterter Kreislauf
Überprüfungder
Handlung
Handlung
geschlossenerKreislauf
neuesHandlungswissen
IFS- Rolff 06/02
Verlautbarte Theorie
durchdatengestützte Intervention
Gebrauchstheorie
Gebrauchstheorie
implizite
explizite
Folie 13Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Umgang mit Daten ist Professionalisierung
Zeitgemäße Professionalität hat zum Kern,
datengestützte und
zielorientierte
Dialoge über die eigene Arbeit.
engl.: evidence based(D.Schön)
Professionalität verlangt traditionell nach einem akademischen Hintergrund, orientiert sich an Einzelfällen und setzt eine gewisse Autonomie der Berufsausbildung voraus.
Folie 14Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
4. Dilemmata
Wer bekommt die Daten?
Nur die Schule? Auch die Schulaufsicht/Eltern? Neutrale Instanzen –
wie z.B. Bildungsbüros? Presse?
Dilemma 1: Schulen sind öffentlich – aber: Bei uneingeschränkter Öffentlichkeit werden Daten in Watte gepackt (Daten, die etwas bewirken, müssen auch weh tun)
Dilemma 2: Wenn Personenschutz, dann Datenaggregation, dann gibt es keine Einzel-(Lehrer-)Rückmeldungen; wenn keine Einzelrückmeldung, dann entstehen Enttäuschungen (bei Inspektion, Peer-Review, SEIS usw.)
Folie 15Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
5. Zum Schluss einige Praxistipps
Folie 16Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Auch „kleinere“ Datensätze können große Wirkung haben
Selbsterhobene Daten sind am wirksamsten für Schulentwicklung, verstanden als Entwicklung der eigene Schule.
Es gibt Daten, die jede Schule ohne viel Aufwand selbst erheben und auswerten kann:
- Lernkreuz
- Zielscheibe guten Unterrichts
- Diagnoseblatt zum Unterricht
- Schuldaten-Blatt
Folie 17Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Lernkreuz
Bitte notiert zwei bis drei Sachen, die beim Lernen
•
•
•
•
•
•
Folie 18Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Diagnose-Zielscheibe
Folie 19Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Oben =Unten =
Diagnoseblatt zum Unterricht
Folie 20Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Schuldaten-Blatt
Anmeldezahlen für Eingangsklassen
Grundschulempfehlungen
Übergänge in andere Schulformen
Migranten-Anteile
Daten zur Lese- und Sprachförderung
Personalbestandsdaten
Schul-Abschlüsse
usw.
Folie 21Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
6. Auswertungsdidaktik von Datensätzen
Es bietet sich ein Dreischritt an:
1. Gemeinsame Analyse der Daten (in Fach- oder Jahrgangskonferenzen bei Fachleistungsdaten, in Stufen- oder gesamtschulischen Konferenzen bei den übrigen Daten)
2. Gemeinsame Bestimmung eines Entwicklungsschwerpunktes: Woran wollen wir primär weiterarbeiten?
3. Umsetzung durch Schulentwicklungsprojekte
Zu empfehlen ist Unterstützung durch eine Steuergruppe
1.
Folie 22Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Hinweise zur Reduzierung großer Datenmengen
Was überrascht?
Wo sind die größten Diskrepanzen zwischen
- Ist/Soll und
- Schüler-Lehrer- (und vielleicht Eltern) Angaben
und was bedeuten sie?
Welches sind die drei oder vier bedeutsamsten Ergebnisse?
Folie 23Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
7. Ein Beispiel aus NRW: Lernstandserhebungen
Schulinternes Vorgehen - idealtypischer Ablauf
Um das schulinterne Verfahren bei der Auswertung und Reflexion der Ergebnisse in der Lernstandserhebung zu erleichtern, empfehlen wir, die Vor- und Aufbereitung der
Ergebnisse auf verschiedenen Ebenen anzugehen:
1. Auswertung auf der Ebene der unterrichtenden Fachlehrkraft 2. Auswertung auf der Ebene der Fachgruppe (Fachlehrkräfte der
Jahrgangsstufe) – ggf. unter Mitarbeit der/ des Fachkonferenzvorsitzenden
3. Diskussion und Überlegungen zu Konsequenzen auf der Ebene der Fachkonferenz
Folie 24Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Die vorgeschlagenen Beratungsebenen (2) und (3) können auch zusammengelegt werden. Dies gilt vor allem für Kollegien, die die Lernstandserhebungen gemeinsam in der Fachgruppe korrigiert und ausgewertet haben. Für jede dieser Ebenen werden Hinweise aufgeführt. Diese sollen als Anregungen verstanden werden, nicht als vollständig abzuarbeitende Liste.
Die Ergebnisse der Beratungen werden zu einer Information der Schulaufsicht zusammengestellt.
Folie 25Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
1. Auswertung auf der Ebene der unterrichtenden Fachlehrkraft
Zur Vorbereitung der Fachkonferenz empfiehlt es sich, dass die Kolleginnen und Kollegen ihre Erfahrungen und Eindrücke mit der Lernstandserhebung zunächst anhand folgender exemplarischer Fragen aufbereiten:
A) Vorbereitung:• Sind angemessene Strategien zur Testbewältigung vorhanden (test
wiseness)? • Sind Text- und Aufgabenformate bekannt bzw. wurden diese im
Unterricht geübt? B) Bedingungen bei der Testdurchführung:• Gibt es Hinweise auf mangelnde Testbereitschaft oder mangelndes
Instruktionsverständnis? • Gab es außergewöhnliche Umstände, die das Testergebnis u. U.
negativ beeinflusst haben (z. B. aus dem Praktikum gerufen, Nichtteilnahme bestimmter Schülergruppen)?
Folie 26Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
C) Betrachtung der Ergebnisse
… allgemein:
Welche Ergebnisse sind auffällig, unerwartet oder erklärungsbedürftig? Sind die Schwierigkeiten offensichtlich grundsätzlicher Natur oder auf
einen bestimmten Bereich/Aufgabentypus bezogen? Lässt sich bei einzelnen Fehlerschwerpunkten eine Systematik
erkennen? In welchem Verhältnis stehen die Ergebnisse zu Zeugnisnoten,
Parallelarbeiten, Klassenarbeiten? Können die Ergebnisse auf Merkmale des eigenen Unterrichts bezogen
werden? Lassen sich aus den Ergebnissen unmittelbare Konsequenzen für den eigenen Unterricht ableiten?
Welche Ergebnisse müssen in der Fachgruppe, welche in der Fachkonferenz besprochen werden?
Folie 27Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
... auf der Kompetenzebene:
In welchem Verhältnis stehen die Ergebnisse der eigenen Klasse/des eigenen Kurses zu den Ergebnissen in der eigenen Schulform bzw. in den jeweiligen Standorttypen?
Wie verteilen sich die Schülerinnen und Schüler meiner Klasse/meines Kurses auf die Kompetenzniveaus, wie verteilt sich hier die gesamte achte - bzw. im neuen Schuljahr neunte - Jahrgangsstufe meiner Schule?
Stimmen die Ergebnisse mit den eigenen Erwartungen überein?
Folie 28Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
... auf der Aufgabenebene:
Stimmen die Ergebnisse mit den eigenen Erwartungen überein? Welche fachlichen Anforderungen stellen einzelne Aufgaben? Bei welchen dieser fachlichen Anforderungen haben Schülerinnen
und Schüler besondere Stärken oder Schwächen gezeigt? Lässt sich bei einzelnen Fehlerschwerpunkten eine Systematik
erkennen? Welche Ergebnisse sollten in der Fachgruppe, welche in der
Fachkonferenz besprochen werden?
Folie 29Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
2. Auswertung auf der Ebene einer Fachgruppe (Fachlehrkräfte der Jahrgangsstufe)
Die individuellen Erkenntnisse aus den kompetenz- undaufgabenbezogenen Rückmeldungen zu der eigenen Klasse/zum eigenen Kurs sollten in einer kleineren Fachgruppe (z. B. den Fachlehrkräften der Jahrgangsstufe 9, ggf. unter Mitarbeit der/des Fachkonferenzvorsitzenden) gewichtet und gebündelt werden. Dazu eignen sich u.a. folgende Verfahren:
Austausch von Erfahrungen bei der Vorbereitung, Durchführung und Auswertung der Lernstandserhebungen
Vergleichende Sichtung der Ergebnisse der Klassen/ Kurse vor dem Hintergrund des Jahrgangsstufenergebnisses bzw. der landesweiten Ergebnisse: Zeigen sich ähnliche Muster in allen Klassen/Kursen? Liegen die Ergebnisse im Bereich der eigenen Erwartungen?
Folie 30Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Suche nach Auffälligkeiten: Gibt es spezielle „Ausreißer“? Inwieweit lassen sich Erklärungsmuster für die Ergebnisse finden?
Welche möglichen Ursachen lassen sich benennen? Können diese Bedingungen (kurzfristig, mittelfristig) geändert werden? Wer sollte dafür angesprochen werden?
Auf dieser Basis sollte eine Ergebnisvorlage für die Fachkonferenz erarbeitetwerden, die folgende Punkte enthält:
Zusammenstellung zentraler Ergebnisse auf Kompetenz- und Aufgabenebene,
Reflexion der Ergebnisse vor dem Hintergrund des schulinternen Lehrplans,
Formulierung von Hypothesen zur Erklärung der schuleigenen Ergebnisse,
Erste Überlegungen zu möglichen Konsequenzen im Hinblick auf Schul- und Unterrichtsentwicklung.
Folie 31Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
3. Diskussion und Überlegungen zu Konsequenzen durch die Fachkonferenz
Eine sensible und verantwortungsvolle Beschreibung der Situation an der eigenen Schule und eine Ursachenforschung beziehen u.a. folgende Aspekte ein:
Unterrichtsgestaltung (Lehr- und Lernformen, Unterrichtsklima, ...) Didaktisch-methodisches Vorgehen (thematisch-inhaltliche
Schwerpunktsetzungen, Wahl der Lernmittel und Medien, ...) Schulischer Kontext (schulorganisatorische Voraussetzungen,
Zusammensetzung der Lerngruppen, Unterrichtsausfall, Lehrerwechsel, ...)
Voraussetzungen der Schülerinnen und Schüler (Lernvoraussetzungen, Motivation, Anstrengungsbereitschaft, …)
Soziale Herkunft der Schülerinnen und Schüler (Bildungsnähe des Elternhauses, sozialer Status der Eltern, Migrationshintergrund)
Folie 32Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Die Fachkonferenz beschäftigt sich vor allem
mit der Sichtung und Diskussion der aktuellen Ergebnisse (auch der anderen an den Lernstandserhebungen beteiligten Fächer),
mit der Überprüfung der Stimmigkeit und Validität der Einschätzungen aus den Vorjahren
mit der Sichtung und Diskussion der Vorschläge der Kolleginnen und Kollegen sowie der Fachgruppe(n),
mit einer systematischen Ursachenforschung und Aufarbeitung erkannter Defizite (auch vor dem Hintergrund der Erkenntnisse und der Strategien aus vorausgegangenen Lernstandserhebungen),
mit der Überprüfung der Angemessenheit der als Konsequenz aus den Ergebnissen der Lernstandserhebungen beschlossenen Maßnahmen,
mit der Erarbeitung eines Berichts an die schulischen Gremien sowie die Schulaufsicht.
Folie 33Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Mögliche Konsequenzen der Beratungen können sein:
Verabredung einer systematischen Variation von Aufgabentypen, die in den Lernstandserhebungen besondere Schwierigkeiten verursacht haben,
systematische inhaltliche Aufarbeitung von Kompetenzbereichen (z. B. ausgewählter inhalts- bzw. prozessbezogener Kompetenzen), die an der eigenen Schule Schwierigkeiten verursacht haben,
Auseinandersetzung mit den Beschreibungen von Kompetenzniveaus – insbesondere mit den anspruchsvolleren Niveaus, deren Besetzung in der eigenen Schule (noch) nicht angemessen erscheinen
Einsatz gezielter Fördermaßnahmen für besonders auffällige Schülergruppen bewirken
Festlegung von Fortbildungsschwerpunkten innerhalb des Kollegiums erzielen
Folie 34Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
4. Aufgabe der Schulleitung
Die Schulleitung muss sicherstellen, dass diese Prozesse auch tatsächlich stattfinden
und die betroffenen Lehrpersonen Prozesse der Unterrichtsentwicklung einleiten.
Am Besten ist jedoch, die Lehrpersonen tun das aus eigener Initiative!
Folie 35Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
8. Zehn Gründe gegen Rankings
1. Rankings untergraben Vertrauen (fördern Abschulen und Mogeln)
2. Rankings sind Momentaufnahmen, interessanter wären Lernzuwächse
3. Rankings bilden nur einen sehr eingeschränkten Ausschnitt von Schulqualität ab
4. Rankings wirken deshalb auch gegen ein ausdifferenziertes Schulprofil
5. Der Ranking-Wert ist ein Artefakt. Er kann aus sehr guten Leseleistungen und schlechten Mathe-Leistungen bestehen
Folie 36Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
6. Rankings stoßen bei der Lehrerschaft auf Abwehr-Routinen
7. Rankings vergrößern die Ungleichheit (Prangereffekte)
8. Rankings lenken von Wichtigerem ab.
9. Rankings werden überwiegend nur von Eltern genutzt, die sich sowieso gut im Schulbereich auskennen
10.Rankings sind nicht geeignet, die Schülerleistungen zu erhöhen.
Zur Klarstellung:
Ich bezeichne mit Ranking nur eindimensionale Rangordnungen (wie beim Thermometer), nicht Indikatorensysteme und Gruppenvergleiche
Folie 37Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Fazit: Vier Kernaussagen für die Diskussion
1. Interne Evaluation ist vorrangig (vor externer)
2. Selbsterhobene Daten bewirken mehr als fremdgelieferte
3. Aber: Fremdgelieferte Daten sind unumgänglich (Rechenschaft und Spiegelung); Deren Nutzung erfordert jedoch zumeist zusätzliche Qualifikation und Unterstützung.
4. Rankings sind nicht nur nicht nützlich, sie können sogar schädlich sein.
Ich bin gespannt, ob Sie zustimmen
Folie 38Potsdam 09/2007
Dortmunder Akademiefür pädagogische Führungskräfte
Hans-Günter Rolff
Wo geht’s lang?Literaturhinweise
ARGYRIS, Ch: Wissen in Aktion. Stuttgart 1997
ROLFF, H.G.: Studien zu einer Theorie der Schulentwicklung. Weinheim/Basel 2007