Potenziale und Grenzen wirkungsorientierter Steuerung im ... · Konzeption von DKBM zunächst eine...

Potenziale und Grenzen wirkungsorientierter

Steuerung im datenbasierten kommunalen

Bildungsmanagement

Großstadtnetzwerktreffen der Transferagentur für Großstädte

München, 09. Mai 2019

Sebastian Niedlich

2

1. Begriffsklärungen

2. Wirkungsorientierung im DKBM

3. „Programmtheorie“ als konzeptionelle Basis für wirkungsorientierte Steuerung

4. Programmtheorie & Evaluation

Potenziale und Grenzen wirkungsorientierter Steuerung im DKBM

Gliederung

3






Gliederung

4

Wirkungsorientierte Steuerung

• „Triumph der Hoffnung über die Erfahrung“

immer wieder gefordert

Erfahrungen in der Praxis ernüchternd

• Teils harsche Kritik

Fehlanreize: „What gets measured gets done.“

Unrealistische Ziele

Informationen über Wirkungen werden nicht genutzt

für den Bildungsbereich ungeeignet

→ Wie kann wirkungsorientierte Steuerung im Kontext datenbasierten kommunalen

Bildungsmanagements sinnvoll ausgestaltet werden?


5

Begriffsverständnis

Wirkungsorientierte Steuerung bedeutet, dass eine Organisation

• Daten und Analysen über Umsetzung und Wirkung ihrer Aktivitäten nutzt,

• um aus der eigenen Arbeit zu lernen und

• kurz- und längerfristige Anpassungen vorzunehmen,

• um ihre Ziele zuverlässig und nachhaltig zu verwirklichen.


6

Output, Outcome, Impact


Aktivitäten

Zielgruppenerreichung

Veränderung von Handlungsfähigkeit,

Gelegenheiten & Anreizen

Verhaltensänderungen

Lebenslage verändert sich

Verbesserte Lebensbedingungen

Output

Outcome

Gesellschaftliche Veränderungen

Impact

Han

deln

Bew

irken

Andere

Einflussfaktoren

kommen hinzu

Ab hier lässt sich von Wirkung sprechen

Inanspruchnahme, Reaktion der Zielgruppe

Aktivitäten finden wie geplant statt

7

Erweiterte Perspektive


Ziele Outcomes ImpactsBedarf Aktivitäten Output

Wirkungsziele

Leistungsziele

8






Gliederung

9

These

Die Frage nach den Wirkungen kommunaler Bildungssteuerung bildete in der

Konzeption von DKBM zunächst eine Leerstelle, weil der Schwerpunkt auf einer

Systemperspektive lag und konkrete Maßnahmen und deren Umsetzung

vernachlässigt wurden.


10

Datenbasierte Steuerung im DKBM

• Neue Qualität der Steuerung aufgrund strategischer, integrierter Ausrichtung

erwartet

• Bildungsmonitoring soll „Steuerungswissen“ liefern – drei Funktionen:

1. Sensibilisierungsfunktion

Identifizierung von Handlungsbedarf

2. Informations- und Steuerungsfunktion

Steuerungsrelevante Informationen für Entscheidungsträger

3. Controlling- und Evaluationsfunktion

Kontrolle der Zielerreichung, „rückwirkende“ Wirkungskontrolle


11

Steuerungswissen im DKBM

• Generierung und Nutzung von Steuerungswissen

Klarheit über „eigentliche Probleme“, Verständnis von Faktoren, die die Qualität von

Bildung beeinflussen

Aufschluss über Verbesserungsmöglichkeiten

Eröffnung von Handlungsalternativen

Basis für Leitbilder, strategische Ziele integrierte Planungen

Umsetzung „in der täglichen Beschäftigung mit Bildungsfragen“ durch pädagogische

Fachkräfte und -verbände

• Aussagen zu Wirkungen? Widersprüchliche Vorstellungen…


12

Wirkungsorientierung im DKBM – Pro und Contra


Pro

• „systematische Information über das Erreichen

und Verfehlen politisch gesetzter und

gesellschaftlich getragener Ziele von Bildung“1

• „Aufschluss über Veränderungen (…), die nach

bestimmten bildungspolitischen Entscheidungen

und Maßnahmen (…) eintreten“2

• Möglichkeit, intendierte und nicht-intendierte

Folgen von ergriffenen und unterlassenen

Steuerungsmaßnahmen darzustellen3

• „Bewertung effizienter Steuerungsstrategien“4

Contra

• Nicht möglich, Veränderungen auf bestimmte

Ursachen zurückzuführen5 bzw. kausale

Zusammenhänge abzubilden6

• Auch bei vertiefenden Analysen keine

umfassenden Aufschlüsse über Zusammenhänge,

insbesondere nicht auf der Ebene des

Kompetenzerwerbs zu erwarten7

• Zweifel an der Qualität eigener Erhebungen der

Kommunen (ohne externe Qualitätsprüfung)8

• Kommunale Ziele erscheinen für die Ausrichtung

des Monitorings nachrangig

Quellen: 1 Siepke 2014; 2 Döbert/Weishaupt 2015, 3 Projektteam Kommunales Bildungsmanagement 2011; Döbert/Weißhaupt 2015; John 2015; Tegge

2015b; Weishaupt/Wagner 2015; 4 Siepke 2014; 5 Döbert/Weishaupt 2015; 6 Döbert 2010; Siepke/Pohl 2012; Tegge 2015a; 7 Siepke 2015; 8

John/Büchner 2015

13

Ansatzpunkte im DKBM



Monitoring

• System

• Sozialraum

Monitoring

• System

• Sozialraum

Strategische,

Leistungsziele

Sprachstands-

erhebungStandards, Leitfäden

Input-Steuerung Maßnahmen-

bezogene

Kennzahlen

Maßnahmenbezogene (externe) Evaluation u.ä.

Nutzung evaluierter Programme

KennzahlenKennzahlen

Wirkungs-

bezogene

Kennzahlen

Zielverein-barungen

14

Zwischenfazit (I)

Wirkungsorientiertes DKBM sollte

• nicht auf der Systemebene verharren,

• konkreten Problemen und ihren Ursachen nachgehen, um Handlungswissen zu

generieren,

• sich auch auf konkrete Steuerungs-/Fördermaßnahmen richten,

• sich bemühen, die zugrundeliegenden Wirkungszusammenhänge zu klären und

empirisch zu überprüfen.


15

Die Frage nach dem Kausalzusammenhang


Maßnahme Wirkungen???

Falsches Konzept?

Schlecht umgesetzt?

Externe

Einflussfaktoren?

→ Umsetzungs- und Entwicklungsschritte möglichst präzise definieren und

empirisch überprüfen!

16

Ansatzpunkte im DKBM



Monitoring

• System

• Sozialraum

Monitoring

• System

• Sozialraum

Strategische,

Leistungsziele

Sprachstands-

erhebungStandards, Leitfäden

Input-Steuerung Maßnahmen-

bezogene

Kennzahlen

Maßnahmenbezogene (externe) Evaluation u.ä.

Nutzung evaluierter Programme

KennzahlenKennzahlen

themenspezifische ArbeitsgruppenLenkungskreis

Steuerungskreis wissenschaftliche BegleitungStrategiegespräche

Lenkungskreis

Strategiegespr.

Wirkungs-

bezogene

Kennzahlen

Dialoge auf versch. Ebenen

Zielverein-barungen

Vorgespräche, Konzeptentwicklung, Reflexionsgespräche

17

Zwischenfazit (II)

Wirkungsorientiertes DKBM

• sollte sich nicht auf dekontextualisierte Indikatoren oder Kennzahlen beschränken.

• sollte das Bildungsmonitoring nicht als überlegene Form der Wissensproduktion begreifen,

aus der sich Schlussfolgerungen und Empfehlungen quasi automatisch ableiten.

• sollte die Perspektiven und Ressourcen unterschiedlicher kommunaler Akteure

einschließlich der Praktikerinnen und Praktiker anerkennen und nutzen.

• sollte von Beginn an – d.h. bereits bei der Planung – partizipativ gestaltet werden.


18






Gliederung

19

„Programmtheorie“ als Basis

• Annahmen

„Programme“ sollen gesellschaftliche

Probleme lösen.

Jedes Programm beruht auf Annahmen

über die zugrunde liegende

Wirkungszusammenhänge.

Aktivitäten des Programms sollen

bestimmte „Wirkungsketten“ in Gang

setzen.

• Eine Programmtheorie beschreibt und

erklärt – praxisbezogen! –, wie ein

Programm mittels einer Reihe

zwischengelagerter Ergebnisse zu

bestimmten Wirkungen beiträgt.


Quelle: http://www.theoryofchange.org/what-is-theory-of-change/

20

Nichts ist so praktisch wie eine gute Theorie!

Eine Programmtheorie kann dabei unterstützen,

• realistische Ziele für ein Programm zu formulieren,

• ein gemeinsames Verständnis der Funktionsweise eines Programms zu schaffen,

• die Rollen der verschiedenen Beteiligten zu definieren,

• die Evaluation eines Programms zu planen und durchzuführen sowie

• Erfolge und Misserfolge eines Programms schrittweise nachzuvollziehen und zu

erklären.


21

Programmtheorie – Sechs Komponenten


SITUATIONSANALYSE

Auf welche Probleme mit welchen

Ursachen reagiert das Programm?

EIN- & ABGRENZUNG

Was kann das Programm

realistischer Weise erreichen?

WIRKUNGSKETTE

Welche Abfolge von Wirkungen soll das

Programm initiieren bzw. unterstützen?

PROGRAMMBESCHREIBUNG

Was beinhaltet das Programm?

GELINGENSBEDINGUNGEN

Welche internen und externen

Faktoren beeinflussen den

Programmerfolg?

ERFOLGSKRITERIEN

Woran lässt sich der Erfolg

des Programms festmachen?

Theory of Action Theory of Change

22

Beispiel Wirkungskette: Mentorenprogramm

Kinder

wissen von

dem Projekt

und sind an

Teilnahme

interessiert

Kinder

akzeptieren

ihren Mentor

und

verpflichten

sich zur

Mentorschaft

Kinder erhalten

Aufmerksamkeit

und Lernanregung

Kinder praktizieren

die deutsche

Sprache außerhalb

der Schule

Kinder sammeln

Erfahrungswissen

über die Stadt

Kinder gewinnen

Wissen und

Erfahrung bzgl. der

Mehrheits-

gesellschaft

Persönlichkeit

der Kinder

entwickelt sich

positiv

Bildungs-

interesse und -

leistungen der

Kinder steigen

Identifikation der

Kinder mit der

Stadt verstärkt

sich

Die Kinder

entwickeln bzw.

verbessern ihre

interkulturelle

Kompetenz

Bildungs- und

Berufsperspektiven

der Kinder

verbessern sich

Gesellschaftliche

Teilhabe der Kinder

verbessert sich

Austausch unter,

Zusammenleben der

Kulturen verbessert

sich

Geeignete

Kinder sind

ausgewählt


23

Aktivitäten + Wirkungen

Öffentlich-

keitsarbeit

Aktivitäten Wirkungen

Auswahl-

verfahren

Kinder wissen

vom Projekt und

sind an

Teilnahme

interessiert

Geeignete

Kinder sind

ausgewählt und

stimmen der

Teilnahme zu

Verknüpfung,

Schnupper-

phase

Kinder sind

geeigneten

Mentoren

zugeordnet

Mentor, Mentee

treffen sich,

akzeptieren

Mentorschaft

Kinder erhalten

Aufmerksamkeit

Lernanregung

Kinder sammeln

Erfahrungs-

wissen über die

Stadt

Persönlichkeit

der Kinder

entwickelt sich

positiv

Identifikation der

Kinder mit der

Stadt verstärkt

sich

Bildungs- und

Berufsperspektiven

der Kinder

verbessern sich

Gesellschaftliche

Teilhabe der

Kinder verbessert

sich

Mentor und

Mentee

spielen,

lesen, unter-

nehmen

kreative

Aktivitäten

Mentor,

Mentee

unternehmen

Ausflüge

Kinder gewinnen

Wissen und

Erfahrung bzgl.

der Mehrheits-

gesellschaft

Die Kinder

entwickeln bzw.

verbessern ihre

interkulturelle

Kompetenz

Austausch unter,

Zusammenleben

der Kulturen

verbessert sich

Mentor,

Mentee

verbringen

Zeit mit

Familie,

persönlichem

Umfeld des

Mentors

Kinder

praktizieren

Deutsch außer-

halb der Schule

Bildungs-

interesse und -

leistungen der

Kinder steigen


24

Komplexe Wirkungslogik: Bildungshaus


Gemeinsames pädagogisches

Verständnis

• von Bildung, Entwicklung, Erziehung

• von LernenAngebots- und Qualitätsentwicklung

• Institutions- und jahrgangsübergreifende Spiel- und Lernangebote• Zusammenarbeit mit Jugendhilfe, Kultur, Sport u.a. • Rhythmisierung des Tagesablaufs (gesteuertes & ungesteuertes Lernen)

Gemeinsames Leitungs-

verständnis

Gemeinsame Prozesssteuerung

• Personaleinsatz, Raumnutzung (lang- und kurzfristig)

• Stadtteilkooperation• Überprüfung der Ergebnisse

(prozessimmanente Steuerungsdynamik)

Strukturierte und verbindliche Zusammenarbeit im Team

Gemeinsames Team-

verständnis

Gemeinschaftliche Praxis

• Orientierung an individuellen Lernprozessen und Bedürfnissen, insbesondere im Bereich der Sprachentwicklung

• Beobachtung, Begleitung und Beratung im Lernprozess• Ermutigende und realistische Rückmeldungen an Kinder und Eltern• Wertschätzende, anerkennende, ressourcenorientierte Haltung gegenüber allen

Akteuren des Bildungshauses• Einbeziehung der Eltern als Bildungspartner

Gemeinsame Strategieentwicklung

• Verständigung über Heraus-forderungen (Konsistenz, Kohärenz)

• Bestimmung gemeinsamer Themen-felder, Ziele, Inhalte und Methoden

Bessere kognitive, soziale, emotionale Entwicklung der Kinder

(Bildungsbiografie ohne Brüche)

Bessere Bildungs- und Teilhabegerechtigkeit

Bedarfsgerechte Beratung, Begegnung und Unterstützung vor Ort

1

2

3

5

6

4

1 Pädagogisches & organisationales (Selbst-)Verständnis

2 Strategie & Steuerung

3 Pädagogische & organisationale Praxis & Angebote

4 Bindung und Aktivierung der Familien 5 Nutzen der Angebote

(Bevorzugter) Übergang

von Kindern aus der Kita

des Bildungs-hauses in die Grundschule

Erziehungs-partnerschaft

enger Kontakt von

Eltern & Bildungshaus,

Nutzung elterlicher

Kompetenzen

6 Entwicklung der Kinder

25






Gliederung

26

Programmtheorie & Evaluation

• Programmtheorie zunächst Ansatz zur Maßnahmenplanung

• Zudem unbedingt mit Evaluation zu verknüpfen

Festlegung von Evaluationsschwerpunkten und -fragen

Bestimmung geeigneter Zeitpunkte für die Evaluation

Bestimmung von Indikatoren und Erfolgskriterien sowie geeigneten Datenquellen

Einschätzung der Wirkungsbeiträge

• Drei Ansatzpunkte/Fragen für die Wirkungsanalyse

1. Entspricht die Umsetzung und Entwicklung der Programmtheorie?

2. Was wäre ohne das Programm passiert?

3. Gibt es alternative Erklärungen?


27

Schrittweise Evaluation


Wurde das Projekt

angemessen

umgesetzt?

Wurde das Projekt

von der

Zielgruppe

angenommen?

Wurden die

kurzfristigen

Wirkungen

erreicht?

Wurden die

längerfristigen

Wirkungen

erreicht? Interpretation

X X X X Mangelhafte Umsetzung

√ X X XMangelhafte Akzeptanz

und Bindung

√ √ X X

Fehlerhafte Programm-

theorie (vordere

Wirkungskette)

√ √ √ X


theorie (hintere

Wirkungskette)

√ √ √ √Übereinstimmung mit

Programmtheorie

√ √ X √


theorie (anderer Kausal-

zusammenhang)

28

Schrittweise Evaluation – Beispiel


Befund Beispiele Mögliche Schlussfolgerungen

Fehlerhafte

Umsetzung

Es konnten keine Mentoren oder

Mentees gewonnen werden.

Bestimmte Aktivitäten (z.B. Ausflüge

jenseits des Nahraums der

Mentees) werden nicht durchgeführt.

Das Projekt erreicht seine Wirkungen (bzw. einen Teil davon)

nicht, die Programmtheorie ist damit aber nicht widerlegt.

Mangelhafte

Akzeptanz und

Bindung

Hohe Zahl an vorzeitig beendeten

Mentorenschaften.

Es ist nach (neuen) Möglichkeiten zu suchen, geeignete

Tandems zu bilden und die Beteiligten dauerhaft zu motivieren.

Fehlerhafte

Programmtheorie

(vordere

Wirkungskette)

Mentees bauen kein zusätzliches

Wissen über die Stadt auf.

Die Bedarfsanalyse war möglicherweise unzulänglich (Wissen

besteht bereits) oder die gemeinsamen Aktivitäten von Mentoren

und Mentees sind nicht intensiv genug.

Fehlerhafte

Programmtheorie

(hintere

Wirkungskette)

Obwohl die Mentees neues Wissen

über die Stadt entwickeln, steigt die

Identifikation mit der Stadt nicht.

Der Projektansatz ist nicht geeignet, um die gewünschten

Wirkungen (Identifikation mit der Stadt) zu erzielen.

Fehlerhafte

Programmtheorie

(anderer Kausal-

zusammenhang)

Obwohl die Mentees kein neues

Wissen über die Stadt aufbauen,

steigt die Identifikation mit der Stadt.

Zwei Interpretationen:

A) Der Projektansatz ist geeignet, die angestrebten Wirkungen

werden aber durch andere Projektelemente (z.B. positive

Erfahrungen mit der Mehrheitsgesellschaft) ausgelöst.

B) Etwas außerhalb des Projekts ist verantwortlich für die

beobachteten Wirkungen (die Identifikation mit der Stadt).

29

Wirkungsorientierte Berichterstattung

• beschreibt Hintergrund und Kontext des Programms,

• orientiert sich an den mit der Programmtheorie formulierten Erwartungen,

• legt schrittweise dar, was auf welche Weise erreicht wurde und schätzt den

Beitrag des Programms (und ggf. verschiedener Akteure) ein,

• geht auch auf unerwartete Ergebnisse ein,

• zieht Lehren aus dem bisherigen Verlauf (als Teil des Geleisteten),

• gibt Hinweise zur Anpassung der Programmtheorie/Erwartungen,

• fasst diese Aspekte zur einer „Geschichte“ zusammen, die Erreichtes und das

weitere Vorgehen plausibel vermittelt.


30

Zurück zu einer Gesamtperspektive

• Abstimmung verschiedener Maßnahmen

• Fallmanagement

• Matchingdatenbanken (Individualdaten)

• Systemevaluation

• Wirkungsorientierung als Denkweise!


31

Kontakt

Sebastian Niedlich

Freie Universität Berlin

Fachbereich Erziehungswissenschaften und Psychologie

AB Allgemeine Erziehungswissenschaft

E-Mail: [email protected]


mailto:[email protected]

Date post:	30-Aug-2019
Category:	Documents
Upload:	others
View:	4 times
Download:	0 times

Potenziale und Grenzen wirkungsorientierter Steuerung im ... · Konzeption von DKBM zunächst eine...

Documents