Evaluation als Grundlage für eine wirkungsorientier te Steuerung
im kommunalen Bildungsmanagement
Florian Bäuerle, Anita Henselmann
21. Jahrestagung der DeGEval, Dresden 14. September 2018
Session C5: Von der Systembeobachtung zur Wirkungsori entierung? -
Perspektiven kommunaler (Bildungs-)Steuerung
Praxisbeispiel München – Überblick
1. Datenbasiertes kommunales Bildungsmanagement (DKBM) in der Landeshauptstadt
2. Bildungssteuerung auf Grundlage des Bildungsmonitorings
3. Evaluation im Rahmen des Münchner DKBM-Ansatzes
4. Nutzung von Evaluationsergebnissen für die wirkungsorientierte Steuerung
5. Perspektive: integriertes Gesamtkonzept
(Monitoring, Evaluation, wirkungsorientierte Steuerung)
2
Eckdaten zur Bildung in München
- wachsende Millionenstadt (seit 2015 über 1,5 Mio. Einwohner)
- vielfältiges Bildungsangebot, steigende Zahl an Bildungseinrichtungen
(vgl. z. B. „Aktionsprogramm Schul- und Kita-Bau 2020“)
- Bildungseinrichtungen in unterschiedlichen Lebensphasen*:
- 1.153 Kindertageseinrichtungen, davon 356 städtisch
- 335 allgemeinbildende Schulen, davon 36 städtisch
- 205 berufliche Schulen, davon 82 städtisch
- 16 Hochschulen mit 112.160 Studierenden
- Einrichtungen der Erwachsenenbildung (z. B. Münchner Volkshochschule, Münchner Bildungswerk)
- zentrale Herausforderung: hohes Bildungsniveau der Münchner Bevölkerung – auch bedingt
durch einen (hoch)qualifizierten Arbeitsmarkt – möglichst durch das Münchner Bildungssystem
selbst gewährleisten
* Zahlen aus den aktuellsten Münchner Bildungsberichten (Münchner Bildungsbericht 2016, Münchner Bildungsbericht Berufliche Bildung 2017)
3
Kommunales Bildungsmanagement München
- angesiedelt im Referat für Bildung und Sport
- Stabsstelle Kommunales Bildungsmanagement und Steuerung /
Fachbereich Kommunales Bildungsmanagement
- Bildungsmonitoring
- Bildungsmanagement
- Übergangsmanagement
(inkl. Koordinierung Bildungsangebote für Neuzugewanderte)
- Meilensteine:
- Aufbau eines kommunalen Bildungsmonitorings (ab 2005)
- Teilnahme der Landeshauptstadt München am Bundesprogramm „Lernen vor Ort“
(gefördert durch das BMBF von 2009 - 2014)
- Bildungsregion in Bayern (seit 2013)
- aktuelle Förderung im Rahmen der BMBF-Förderrichtlinie
„Kommunale Koordinierung der Bildungsangebote für Neuzugewanderte“ (2016 - 2020)
4
Aufbau eines kommunalen Bildungsmonitorings
- erster Münchner Bildungsbericht in 2006 („Bildung zu einer Angelegenheit vor Ort machen“)
- zwei Sonderberichte in 2008 (Elementarbereich; Schulkinder mit Migrationshintergrund)
- Fortschreibung der Münchner Bildungsberichterstattung (2010, 2013, 2016, 2019 in Vorb.)
- eigenständige Berichte zur Beruflichen Bildung (2014, 2017)
- themenspezifischer Bericht: Münchner Chancenspiegel Bildung (2011)
(Bildungsungleichheiten nach Geschlecht, Migrationshintergrund,
sozialer Herkunft, Behinderung)
- Sonderberichte für einzelne Stadtbezirke in 2014
- Zielsetzung: systematische Analyse der Münchner Bildungslandschaft
- Identifizieren von Handlungsbedarfen
- Systembeobachtung
5
Münchner Bildungsberichte als Steuerungsgrundlage
- Ausgangslage: erster Münchner Bildungsbericht 2006
- differenzierte Betrachtung der Übertritte aus der 4. Jahrgangsstufe
(u. a. Berücksichtigung sozialer Ungleichheiten und regionaler Unterschiede
im Stadtgebiet)
- zentrale Erkenntnis: Schulerfolg hängt auch in München von der
sozioökonomischen Lage der Eltern, vom Migrationshintergrund
und vom kulturellen Kapital im Elternhaus ab (vgl. auch PISA-Studien)
- Konsequenz: Bildungssteuerung muss sozialräumlich
angelegt sein
- Entwicklung eines Münchner Sozialindex für die
Grundschulsprengel (Statistisches Amt der Landeshauptstadt München)
6
Beispiele für datenbasiertes Handeln
- Schulstandorte (Gymnasium München-Nord, Modellstandorte für kooperative Ganztagsbildung)
- Identifizieren von Stadtquartieren für die Einrichtung von BildungsLokalen
(für ein lokales Bildungsmanagement und lokale Bildungsberatung)
- Entscheidung über den Ausbau von Schulsozialarbeit an Grundschulen (Sozialreferat)
- Leitprojekte für mehr Bildungsgerechtigkeit (bedarfsorientierte Ressourcensteuerung)
- bildungspolitische Diskussion nach Bekanntgabe des Berichts im Münchner Stadtrat
- z. B. Stadtratsantrag aus dem Jahr 2009
(„Mehr Bildungsgerechtigkeit auf allen Ebenen wagen“)
- ressourcenorientierte Steuerung auf Grundlage des Münchner Bildungsmonitorings
- Elementarbereich
- kommunales Schulwesen
- staatliche Schulen (Schulaufwandsträgerschaft; ergänzende Maßnahmen)
- Erhöhung der Bildungsgerechtigkeit durch belastungsorientierte Bildungsfinanzierung
(vgl. z. B. Böttcher et al. 2015*)
* Böttcher, W., Hogrebe, N. & Schwarz, A. (2015). Bildungsfinanzierung im Schulbereich – eine an Bildungsgerechtigkeit orientierte Diskussion. In V. Manitius, B. Hermstein, N. Berkemeyer & W. Bos (Hrsg.), Zur Gerechtigkeit von Schule: Theorien, Konzepte, Analysen (S. 374-390). Münster: Waxmann. 7
Ressourcenorientierte Bildungssteuerung
- zusätzliche kommunale Mittel als freiwillige Leistung für (jährlich abrufbares Budget):
- Münchner Förderformel im Elementarbereich (ca. 150 Mio.)
(beginnend mit Kita-Jahr 2010/11)
- Bedarfsorientierte Budgetierung an städtischen allgemeinbildenden Schulen (ca. 3 Mio.)
(Pilotphase ab Schuljahr 2012/13; Ausweitung beginnend mit Schuljahr 2013/14)
- Bedarfsorientierte Budgetierung an städtischen beruflichen Schulen (ca. 1,2 Mio.)
(ausgewählte städtische Berufsschulen ab Schuljahr 2016/17;
Ausweitung auf weitere städtische berufliche Schulen mit
Schwerpunkt Heterogenität ab Schuljahr 2019/20)
- Erweiterter Sachaufwand für staatliche Grund- und Mittel-
schulen mit besonderen Belastungslagen (100.000 €)
(Pilotphase: 2013, 2014; verstetigt ab Haushaltsjahr 2018)
- Leitprojekte auch in der Münchner Leitlinie Bildung verankert
(Strategiepapier zur Zukunft der Bildung in München)8
Extern vergebene Evaluationen
- Umsetzung von größeren kostenrelevanten Leitprojekten wird wissenschaftlich begleitet
(Standard in der Landeshauptstadt München; Finanzierung u. a. mit Fördermitteln des BMBF/ESF
im Rahmen des Bundesprogramms „Lernen vor Ort“)
- Erkenntnisinteresse der Landeshauptstadt München (Auftraggeber):
Inwieweit tragen die zusätzlichen Ressourcen zu einer Entkoppelung des Zusammenhangs von
Herkunft und Bildungserfolg bei?
- Wirkstudie Münchner Förderformel
(Staatsinstitut für Frühpädagogik, IFP & Institut für soziale und kulturelle Arbeit, ISKA;
Laufzeit: 2010 – 2014)
- Wissenschaftliche Begleitung Bedarfsorientierte Budgetierung /
Staatlicher Integrationszuschlag
(Staatsinstitut für Schulqualität und Bildungsforschung, ISB; Laufzeit: 2014 – 2016)
- Wissenschaftliche Begleitung Bedarfsorientierte Budgetierung an ausgewählten
städtischen Berufsschulen (Universität St. Gallen; Laufzeit: 2018 – 2021)
9
Wissenschaftliche Begleitung
Bedarfsorientierte Budgetierung / Staatlicher Integ rationszuschlag
- Ausgangslage: enger Zusammenhang zwischen Herkunft und Bildungserfolg
(vgl. Schulleistungsstudien wie z. B. PISA, IQB-Ländervergleich; Bildungsberichterstattung)
- zahlreiche Studien, die sich mit diesem Zusammenhang beschäftigen
- wenig Interventionsforschung
- zwei Förderinstrumente:
- Bedarfsorientierte Budgetierung (BoB) – Pilotphase (130 Lehrerwochenstunden)
(2 städt. Realschulen, 2 städt. Gymnasien)
- Staatlicher Integrationszuschlag (IZ) für ausgewählte Grundschulen und
Mittelschulen in Ballungsräumen (29 VZÄ für München)
- Integrationszuschlag flankiert durch den Erweiterten Sachaufwand der
Landeshauptstadt
- staatlich-kommunale Zusammenarbeit im Schulbereich: u. a. gemeinsame Evaluation
10
Erhebungsdesign (Ausschnitt)
11
2014/152013/142012/132011/122010/11
Stunden aus der Bedarfsorientierten BudgetierungM
aßnahm
enebene
Veränderungen
Leitfragen*(Sozialpädagogik an Schulen, Schülercoaching)
DokumentationBeratungenCoachingsFördermaßnahmen (Sprache)
Schulleistungen
Olinebefragung Kollegium* (Sozialpädagogik an Schulen, Coachingangebot))
Förder-instrument
Schulebene
Schuljahr
Gespräche (Schulleitung)
Bildungsmonitoringdaten aus der Amtlichen Schulstatistik (Schule und schulartspezifischer Referenzwert für München)
* Die Leitfragen wurden im Schuljahr 2014/15 bearbeitet, beziehen jedoch den gesamten Erfahrungshorizont seit Einführung der Bedarfsorientierten Budgetierung ein. Dies gilt analog für die Onlinebefragung im Kollegium.
Fragestellungen für die Datenauswertung (Beispiele)
12
Dokumentation - Reichweite der Fördermaßnahmen (Anzahl geförderter Schüler/innen)
- Erreichen der Zielgruppe(Schüler/innen mit herkunftsbedingten Benachteiligungen)
- Bezug der Förderziele zu den Progammzielen(Bildungserfolg von benachteiligten Schülern/innen)
- Erreichen der Förderziele; Stabilität der Zielerreichung
- schulische Leistungsentwicklung(Veränderungen in den Schulnoten, Vermeiden von Pflichtwiederholungen)
Leitfragen - Gelingensbedingungen für die Implementation der Fördermaßnahmen
- Hinweise auf Optimierungsmöglichkeiten
Onlinebefragung - Bewertung der Förderangebote durch das Kollegium
- vom Kollegium wahrgenommene Effekte
Ausgewählte Ergebnisse
Förderziele, Zielerreichung
13
Förderziele(am häufigsten genannt)
Zielerreichung
< 20% 20-40% 40-60% 60-80% > 80%
Sozialpädagogik an Schulen
Problem- und Konfliktbewältigung x
Verhaltensmodifikation x
Schulische Verbesserung x
…
Schülercoaching
Leistungsverbesserung x
Lernorganisation x
Sozialverhalten x
…
Fachliche Förderung in geteilten Deutschklassen
Schreibkompetenz x
Lesekompetenz x
Sprachkompetenz x
…
Ausgewählte Ergebnisse
Lehrkräftebefragung (Onlinefragebogen) zur Sozialpädagogik an Schulen bzw.
zum Schülercoaching: Bewertung der Effekte (ausgewählte Items)
14
Antwortskala:
„0/trifft nicht zu“ bis
„10/trifft völlig zu“
Sozialpädagogik an Schulen
Schülercoaching
Ausgewählte Ergebnisse
Schulische Leistungsentwicklung
Gelingensbedingungen (Optimierungsmöglichkeiten), insb.:
- tragfähige Strukturen für die Umsetzung der Fördermaßnahmen an den Schulen
(z. B. funktionierendes multiprofessionelles Beratungsteam bei Sozialpädagogik an Schulen)
15
Pflichtwiederholungen
Versetzungsgefährdungzum Schulhalbjahr
Nicht-Versetzung zum Schuljahresende 2014/15
Veränderung
Sozialpädagogik an Schulen 41,5 % 31,7 % -9,8 %
Schülercoaching 62,5 % 33,3 % -29,2 %
Fachliche Förderung in geteilten Deutschklassen
31,3 % 12,8 % -18,5 %
Methodische Einschränkungen der Studie
- explorative wissenschaftliche Begleitstudie
(Auftrag: Wissen generieren, das für die nachfolgende Wirkungssteuerung genutzt werden kann)
- Erhebungsdesign multimethodal und multiperspektivisch angelegt, aber …
- keine Vergleichsgruppe (Kontrollgruppendesign)
- Schwerpunkt auf Selbsteinschätzungen der Lehrkräfte (des Sozialpädagogen),
teilweise bewertende Außenperspektive durch die Kollegien
- Schüler/innen als Zielgruppe nicht direkt in die Erhebung einbezogen
- z. T. unzureichende Genauigkeit in der Dokumentation
(quantitative Elemente in den Dokumentationsbogen konnten häufig nicht ausgewertet,
sondern nur beschreibend wiedergegeben werden)
- wünschenswert wären stärker belastbare Daten, objektivierbare Kriterien für
Bildungserfolg
- trotz dieser Einschränkungen breite Datengrundlage, die vom Auftraggeber zur
Weiterentwicklung der Bedarfsorientierten Budgetierung genutzt werden kann
(Ziel: Wirkungsoptimierung) 16
Nutzung der Ergebnisse durch den Auftraggeber
- fachbereichsübergreifende Reflexionsrunde zum Abschlussbericht
- gemeinsame Verständigung bzgl. Weiterentwicklung der
Bedarfsorientierten Budgetierung
- Ergebnis:
- Nachjustieren der Fördermaßnahmen, um die Effekte auf die
schulischen Leistungen der geförderten Schüler/innen zu steigern
- Qualitätssicherung an den Schulen (z. B. Falldokumentation)
- engere Verzahnung der Fördermaßnahmen (Case Management)
- Vorbereiten einer Beschlussvorlage für den Münchner Stadtrat
- Bekanntgabe Abschlussbericht der Evaluationsstudie
- Ansatzpunkte für die Weiterentwicklung der Fördermaßnahmen (Wirkungsoptimierung)
17
Stadtratsauftrag zur Wirkungssteuerung
- an das Kommunale Bildungsmanagement
- Beschluss 2012: Evaluation der Pilotphase, darauf aufbauend Entwicklung eines Gesamtkonzepts
für die Bedarfsorientierte Budgetierung
- Beschluss 2017: Weiterentwicklung der Fördermaßnahmen mit dem Ziel der Wirkungsoptimierung;
Evaluation der Bedarfsorientierten Budgetierung an ausgewählten städtischen Berufsschulen
- interne Wirkungssteuerung:
- Inputsteuerung
(Vergabe des Stundenbudgets anhand transparenter Verteilungskriterien)
- Weiterentwicklung der Fördermaßnahmen
(Standards definieren; Handlungsleitfaden für die Schulen als Orientierungshilfe)
- Entwicklung eines Gesamtkonzepts
(Programmtheorie „Bedarfsorientierte Budgetierung“, Wirkungslogik)
- kontinuierliches Monitoring des Programms
(Festlegen von geeigneten Indikatoren / Kennzahlen)
18
Inputsteuerung
- Stundenvergabe anhand transparenter Verteilungskriterien:
- „theoretischer“ Sozialindex (Grundschulzugänge) mit Korrekturfaktor (durch den Fachbereich)
- Schulgröße: Anzahl Klassen
- fachliche Einschätzung der Belastung durch den Fachbereich (Belastungswert: 1/niedrig - 4/hoch)
- belastungsorientierte Stundenvergabe (nicht mit der „Gießkanne“)
19
Sozialindexquartil(absteigende Belastung)
Anteil Stunden Anteil Schulen
1. Quartil 58,2 % 38,9 %
2. Quartil 27,8 % 30,5 %
3. Quartil 10,5 % 16,7 %
4. Quartil 3,5 % 13,9 %
Wirkungssteuerung auf Grundlage der Evaluation
- Nutzung der Ergebnisse des Abschlussberichts zur Weiterentwicklung der
Fördermaßnahmen (Inhaltsebene), z. B.
- Sozialpädagogik an Schulen: Multiprofessionalität gestalten
- Schülercoaching: Lehrkräfte im Coaching professionalisieren
- Fachliche Förderung in geteilten Deutschklassen: Konzeptideen für flexiblere
Vorgehensweisen zur Klassenteilung nutzen
- Erarbeitung von Standards, Wirkungsweise (Programmtheorie) und Indikatoren / Kennzahlen
für die Wirkungsbetrachtung in themenspezifischen Arbeitsgruppen
- Kommunales Bildungsmanagement (Prozessverantwortung)
- Fachbereiche, Pädagogisches Institut
- Praktiker aus den Schulen
- nach Möglichkeit externer Kooperationspartner aus der Wissenschaft
20
Wirkungssteuerung auf Grundlage der Evaluation
- Rückgriff auf Partizipationsstrukturen aus der wissenschaftlichen Begleitung
- Informations- und Erfahrungsaustausch der Schulen
- Gewinnen von Praktikern aus den Pilotschulen für die themenspezifischen Arbeitsgruppen
- Weitentwicklung des Formats für den Transfer des Erarbeiteten auf sämtliche städtische
allgemeinbildende Schulen
- Begleitkommission
- Commitment auf Leitungsebene bzgl. Vorgehensweise bei der Wirkungssteuerung
- Festigung der staatlich-kommunalen Verantwortungsgemeinschaft für den Bildungserfolg
(z. B. Gestaltung der Schnittstelle beim Erweiterten Sachaufwand für staatliche Schulen)
- Nutzung der erarbeiteten Instrumente
- z. B. Kurzfragebogen (Onlinebefragung) zur Sozialpädagogik an Schulen bzw. zum
Schülercoaching zur Bestandserhebung über die Pilotschulen hinaus
- z. B. Dokumentationsbogen als Diskussionsgrundlage für die individuelle Falldokumentation
(Anpassung), komprimierte Fassung für ein kontinuierliches Wirkungsmonitoring
21
Vergabe einer weiteren Evaluation
- Bedarfsorientierte Budgetierung an ausgewählten städtischen Berufsschulen
(22 Ausbildungsberufe an 12 Schulen)
- Leistungsbeschreibung für die Vergabe:
- auf die Erkenntnisse der bisherigen Evaluationsstudien bzw. auf die bislang entwickelten
Erhebungsinstrumente aufbauen
- (Berufs-)Schüler/innen in die Datenerhebung einbeziehen
- Zusammenwirken von bereits existierenden Förderangeboten (z. B. Berufsschulsozialarbeit)
mit dem neuen Förderinstrument Bedarfsorientierte Budgetierung
- formative Evaluation: Implementation neuer Förderkonzepte interventionsorientiert begleiten
(weitergehende Impulse für die Wirkungssteuerung)
- Konzept
22
Re-Design/ Optimierung
Bedarfsorientierte Budgetierung
Leitziele
Schulbezogene Förderkonzepte
(Konzept)
Zielkriterien
Methodische Ausgestaltung
(Treatment)
Prozess-/ Ergebnisqualität
Abbildung: Zusammenhang von Ziel- und Maßnahmenkonzept (© Prof. Dr. Euler)
Fazit
- Entwicklungslinien des datenbasierten kommunalen Bildungsmanagements (DKBM)
in der Landeshauptstadt München:
- zunächst Aufbau eines Bildungsmonitorings
- Etablierung eines zentralen sowie eines lokalen, quartiersbezogenen
Bildungsmanagements (unterstützt durch das Bundesprogramm „Lernen vor Ort“)
- Vergabe externer Evaluationen hat die Präsenz des Themas „Wirkungsorientierung“
in der städtischen (Bildungs-)Verwaltung befördert
- um die mit Programmen / Förderinstrumenten anstrebten Zielsetzungen zu erreichen,
ist eine ergebnisorientierte Steuerung notwendig (Inputsteuerung allein reicht nicht aus)
- Perspektiven der Weiterentwicklung des Münchner DKBM-Ansatzes:
- Konzept für die wirkungsorientierte Steuerung im Detail ausarbeiten, verstetigen
23
Integriertes Gesamtkonzept
24
Bildungsmonitoring /
Bildungsberichterstattung
Evaluation wirkungsorientierte Steuerung
− Systembeobachtung − abgrenzbares Programm − Qualitätsentwicklungsprozess
(Qualitätskreislauf)
− Indikatoren
(statistische Daten)
− systematisch erhobene
empirische Daten
− kontinuierliches Monitoring
(Programmebene)
− Handlungsbedarfe
identifizieren
− Aussagen über Umsetzung
und Wirkungen
− Optimierung des Programms
(Programmtheorie)
Bildungsmonitoring
Systembeobachtung Konzeption von Leitprojekten
Begleitung von externen Evaluationen
wirkungsorientierte Steuerung
Identifizieren von Handlungsbedarfen
Bildungsmanagement
25
Vielen Dank für Ihre Aufmerksamkeit
Kontakt
Landeshauptstadt München
Referat für Bildung und Sport
Stabsstelle Kommunales Bildungsmanagement und Steuerung
Fachbereich Kommunales Bildungsmanagement
Bayerstraße 28
80335 München
Florian Bäuerle
Tel. 089 – 233 85926
E-Mail: [email protected]
Anita Henselmann
Tel. 089 – 233 83511
E-Mail: [email protected]
26
