Gemeinsame Wirkungsevaluation des deutschen Beitrags im philippinischen Berufsbildungssystem Evaluationsgegenstand – Evaluationsdesign – Reliabilität und Validität – Ergebnisse und Empfehlungen
Referent: Stefan Silvestrini Bereichskoordinator Entwicklungszusammenarbeit Centrum für Evaluation Postfach: 15 11 50 66041 Saarbrücken E-Mail: [email protected] Tel.: 06 81 – 3 02 – 36 79
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 2
Evaluationsgegenstand
Deutscher Beitrag zur Verbesserung des philippinischen Berufsbildungssystems, durch die Einführung dualer/dualisierter Ausbildungsgänge • Weiterbildung von Leitern und Verwaltungsmitarbeitern
aus Berufsschulen • ‚Training of Trainers‘ (ToT) • Bereitstellung von technischer Ausrüstung und
Unterrichtsmaterialien • Beratung der Ausbildungseinrichtungen • Beratung von TESDA
Umsetzungszeitraum der Maßnahmen: 1996 bis 2007 Durchführungsorganisationen: DED, GTZ/CIM, InWEnt und KfW Strategischer Partner: Technical Education and Skills
Development Authority (TESDA)
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 3
Ziel der Evaluation
Ermittlung der Wirkungen auf der Ebene der… • Zielgruppen: Auszubildende/Absolventen der
Berufsschulen, Partnerunternehmen • Mittler: Unterstützte Berufsschulen • Systemebene: Berufsbildungssystem,
Arbeitsmarkt, soziale und ökonomische Entwicklung
Bewertung der Relevanz, Effektivität, Impact, Effizienz und Nachhaltigkeit der Maßnahmen
Entwicklung von Empfehlungen für zukünftige Programme
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 4
Evaluationsumsetzung
Methodische Konzeption Hypothesengeleitete Analyse Multi-Methoden-Ansatz ( Ergebnistriangulation) Entwicklung eines quasi-experimentellen Designs Kombination von zufälliger und geschichteter
Stichprobenziehung Anwendung deskriptiver und inferenzieller statistischer
Verfahren Organisation Entwicklung eines übergreifenden Analyserasters und
Datenerhebungsplans Aufteilung der Datenerhebung in ‚Vor-‘ und ‚Hauptmission‘ Einsatz eines vierköpfigen Evaluationsteams Einrichtung eines lokalen und Headquarter-Supports
(Management Team, Steering Committee)
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 5
Datenbasis
Qualitative Daten aus Gesprächen mit 150 Interviewpartnern
Quantitative Daten aus der schriftlichen Absolventenbefragung ( Vergleichsgruppendesign)
Quantitative Daten aus der Online-Befragung von ehemaligen ToT-Teilnehmern
Programmdokumente
Statistiken über Berufsbildung und den Arbeitsmarkt
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 6
Absolventenbefragung
Vorbereitende Maßnahmen
Identifizierung aller geförderter Berufsschulen (!)
Sicherstellung der Repräsentativität der Sampledaten
Entwicklung eines detaillierten Arbeits- und Zeitplans
Identifikation von Ansprechpartnern und Wissensträgern
Praktische Einschränkungen bei der Datenerhebung
Double-Difference-Messung nicht möglich
Kontaktaufnahme mit den Absolventen
Logistik und Zeitrahmen
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 7
Reliabilität und Validität
Sehr hohe inhaltliche und statistische Repräsentativität der Ergebnisse auf der Ebene der direkten Zielgruppen
Steigerung der Reliabilität und Validität der Ergebnisse
Ergebnistriangulation durch Vergleich der ‚gematchten‘, ‚ungematchten‘ und qualitativen Daten
Übertragbarkeit der empirischen Ergebnisse auf die Grundgesamtheit der potentiellen Zielgruppen und Mittler aufgrund geringer Stichprobengröße nicht möglich
Jedoch: Plausibilitätsprüfung aufgrund der Datenbasis möglich aufgrund
• der Größenordnung der erzeugten Wirkungen,
• der Diffusionseffekte auf Mittlerebene sowie
• statistischer Daten
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 8
Capacity Development
Auf Mittlerebene (Berufsschulen) Maßnahmen führten zur Verbesserung der fachlichen und
didaktischen Kenntnisse des Lehrpersonals …der Organisation und Verwaltung der Berufsschulen …der Beziehung der Schulen zu ihren Partnerunternehmen Auf der Systemebene (beim strategischen Partner TESDA) Ergebnisse schwierig zu messen aufgrund unzureichender
empirischer Evidenz • + Ausweitung der rechtlichen Grundlagen • – Keine nachhaltigen Veränderungen erkennbar • – Abzug von ausgebildeten Fachkräften in ein anderes
Projekt in Äthiopien
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 9
Relevanz
Zielgruppenebene Die Auszubildenden benötigten eine verbesserte Berufsausbildung Die Unternehmen hatten (und haben immer noch) einen Bedarf an
besser qualifizierten Arbeitskräften Mittlerebene Die Berufsschulen mussten ihre Leistungsfähigkeit zu steigern, um
ihren Zielgruppen eine angemessene Ausbildung zu ermöglichen Systemische Ebene Die Auswahl der Fachbereiche war zum Zeitpunkt der Maßnahmen-
konzeption angemessen, ihre Relevanz für den verringerte sich jedoch im Umsetzungszeitraum
Geberperspektive Die Zielsetzung der Beiträge stand in Einklang mit der strategischen
Ausrichtung der deutschen EZ im Berufsbildungs- und Arbeits-marktsektor
Die Relevanz wird mit ‚gut‘ bewertet
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 10
Effektivität
Zielgruppenebene
Die Beschäftigungsfähigkeit der Absolventen der unterstützten Berufsschulen wurde deutlich gesteigert
Partnerunternehmen beschäftigen bevorzugt Absolventen der unterstützten Berufsschulen
Die Bereitschaft der Partnerunternehmen mit den Berufsschulen zusammenzuarbeiten wurde z.T. gesteigert
Mittlerebene
Die organisatorische und fachlich-didaktische Leistungsfähigkeit der Berufsschulen wurde durch die Maßnahmen erheblich verbessert
TESDA hat nicht in erwarteter Weise die Einführung eines dualen/dualisierten Ausbildungssystems vorangetrieben
Die Effektivität wird mit ‚gut‘ bewertet
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 11
Impact
Der Impact wird mit ‚nicht zufriedenstellend‘ bewertet
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
Keine der übergeordneten Zielsetzungen wurde erreicht!
Ein Beitrag zur Reduktion der Arbeitslosigkeit der TVET-Absolventen ist weder anhand der statistischen Daten nachzuweisen, noch ist er aufgrund der empirischen Ergebnisse plausibel
Das durchschnittliche Einkommen der Zielgruppen hat sich weder im Umsetzungszeitraum noch danach signifikant erhöht
Die landesweite Einführung dualer/dualisierter Ausbildungsgänge wurde nicht erreicht
(Die Produktivität des industriellen Sektors hat sich nicht verändert)
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 12
Effizienz
Zielgruppenebene Hohe Kosteneffizienz im Vergleich zu ähnlichen Programmen
anderer Geber Mittlerebene Effizienz der Maßnahmenumsetzung wurde durch
Verzögerungen und Probleme mit der technischen Ausrüstung z.T. beeinträchtigt
Geringe Effizienz der Maßnahmen, die sich auf TESDA bezogen Geberperspektive Sehr effiziente Zusammenarbeit der DO Hohe Komplementarität der Beiträge der verschiedenen DO
Die Effizienz wird mit ‚zufriedenstellend‘ bewertet
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 13
Nachhaltigkeit
Zielgruppenebene Die Maßnahmen leisteten einen wesentlichen Beitrag zur
zukünftigen beruflichen Entwicklung der Absolventen Mittlerebene Inwieweit die unterstützten Berufsschulen ihr duales/dualisiertes
Ausbildungsangebot beibehalten, hängt von zwei Faktoren ab: • Ob seitens der Unternehmen Bedarf signalisiert wird und • ob die Schulen ihre Ausrüstung instand halten und ihre Curri-
cula an sich verändernde Anforderungen anpassen können Systemische Ebene Drei Faktoren, die eine nachhaltige Wirksamkeit beeinträchtigen
• Unzureichende Diffusionseffekte auf der Mittlerebene • Mangelnde Unterstützung durch TESDA • Abnehmende Relevanz der unterstützten Fachbereiche
Die Nachhaltigkeit wird mit ‚nicht zufriedenstellend‘ bewertet
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 14
Empfehlungen I
Für die Durchführungsorganisationen
Systematische Analyse und Dokumentation der gewonnenen Erkenntnisse für zukünftige Programme, wesentliche Aspekte:
• Vergleich der unterschiedlichen Ansätze
• Identifikation von ‚Good Practices‘ der Zusammenarbeit
• Beobachtung des Einflusses anderer Geberaktivitäten
Abschätzung der erforderlichen Größenordnung der direkten Wirkungen und Diffusionseffekte zur Erzeugung systemischer Wirkungen
Stärkere Fokussierung auf die Unternehmen, da sie ein starkes Interesse an einer Verbesserung der Qualifikation ihrer Arbeitskräfte haben
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 15
Empfehlungen II
Für die Durchführungsorganisationen
Intensiverer ‚Follow-Up-Support‘
In Bezug auf die Bereitstellung technischer Ausrüstung
• Intensives Monitoring der Bedarfsanalyse und der Auslieferung
• Auswahl der Ausrüstung auf Grundlage der Kompetenzen ihrer Nutzer
• Monitoring der Instandhaltung der Ausrüstung in den Berufsschulen
Für TESDA
Weg von der Geberorientierung, hin zur Entwicklung und Propagierung einer eigenen, bedarfsorientierten Strategie
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 16
Vielen Dank für Ihre Aufmerksamkeit!
Kontakt: Stefan Silvestrini Centrum für Evaluation Postfach: 15 11 50 66041 Saarbrücken E-Mail: [email protected] Tel.: 06 81 – 3 02 – 36 79
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 17
Fragestellungen
Allgemeine Verständnisfragen?
Bezüglich der Ergebnisse
Schlussfolgerungen aus den Ergebnissen?
Übertragbarkeit der Ergebnisse und Empfehlungen auf andere Länder/Regionen?
Bezüglich der Methodik
Anwendbarkeit des Ansatzes in anderen Regionen/Kontexten?
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 18
Subject Area Representation
Subject area categories Basic population Share
Ideal sample size
Real sample size
1 Automotive (technology), autotronics 26 26,53 3,98 4
2 Electrician, electronic, electronics 23 23,47 3,52 4
3 Welding, metal fabrication/engineering/working 17 17,35 2,60 3
4
Refrigeration, air-condition technology, pneu./hydro. 9 9,18 1,38 1
5
Mechatronics, automation, mechanical technology 6 6,12 0,92 1
6
Animal production, farming, agro technology, fishpond proc. 4 4,08 0,61 1
7 Tourism, food preparation 3 3,06 0,46 1
8 Cabinet and furniture making 3 3,06 0,46 0
9 Shoe manufacturing 1 1,02 0,15 0
10 Health care 1 1,02 0,15 0
11 IT 1 1,02 0,15 0
12 Pedagogy 1 1,02 0,15 0
13 Jewelery making 1 1,02 0,15 0
14 Wood technology 1 1,02 0,15 0
15 Other (not specified) 1 1,02 0,15 0
98 100,00 15,00 15
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 19
Supported Institutions by GIO
DED
InWEnt
DED & InWEnt
GTZ & KfW
CIM & InWEnt
GTZ, InWEnt & KfW
CIM, GTZ & KfW
CIM, GTZ, InWEnt & GTZ
DED, GTZ, InWEnt & KfW
CIM, DED, InWEnt, GTZ & KfW
GIO No. of supported training institutions Share within basic population
CIM 8 5,16
DED 22 14,19
GTZ 28 18,07
InWEnt 69 44,52
KfW 28 18,07
Total 155 100,00
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 20
Regional Clustering
Northern cluster
Western cluster
Metro Manila cluster
Central cluster Southern cluster
Average per capita income (national mean: 173 thousand pesos in 2006)
Below national mean (142.5 tP)
Slightly above national mean (177.7 tP)
Considerably above national mean (311 tP)
Below national mean (133 tP)
Considerably below national mean (120 tP)
Share of total GDP (2005-2007)
33,2% 32,6% 16,5% 17,7%
Population density
Average population density
High population density
Highest population density
Low population density
Lowest populations density
Ethnical composition
Homogeneous (less than 5 different ethnic groups)
Homogeneous (mostly Tagalog)
Heterogeneous Heterogeneous Homogeneous (mostly Muslims)
Geographical composition
Coherent land disposition, mainly rural
Coherent land disposition, mainly urbanized
Coherent land disposition, highly urbanized
Very disparate land disposition, mainly rural
Coherent land disposition, mainly rural
Vicinity of training institutions
Disparate Contiguous Very contiguous Very disparate Very disparate
Sectoral characteristics
Industrialized western region, more rural eastern region
Industrialized Industrialized with high share of service sector
Rural character Rural character
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 21
Random Selection
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 22
Wirkungskette
Problem Analysis
Activities and
Output
Use of Output
Outcome
Impact
Highly aggregated
Impact
Beneficiary level: • Lack of adequate qualification
opportunities • Lacking or insufficient
qualification • Unemployment/
underemployment • Precarious economic situation
Institutional level: • Inefficient management and
administrative capacities • Lack of systematic demand oriented
curricula and training concepts • Inability to offer adequate
qualification opportunities
Systemic level: • Hindered access of deprived social strata to the education and labour
market • Inferior access of girls to TVET • Insufficient steering capacity of the coordinating authority (TESDA) • Low reputation of vocational training within industry and society • Mismatch between qualifications provided by the TVET-system and the
demands of the industry
Consulting of training institutions (efficient school management, curriculum development, application of DTS, gender related issues etc.)
Training of trainers (application of DT, teaching methods etc.)
Provision of technical equipment and teaching material and maintenance support
Consulting of TESDA HQ regarding efficient management structures
Support of TESDA HQ and RCs in developing a supportive framework for DTS (accreditation, curriculum development, legislative framework etc.)
Dissemination of the adop-ted competences within the training institutions
Development and application of improved curricula by the training institutions
Utilisation and maintenance of provided technical equipment and teaching material
Dissemination of the acquired competences within TESDA
Reorganisation of the TVET-system (towards the introduction of DTS)
Improved qualification/ employability of graduates from supported training institutions
Enterprises increasingly participate and/or employ graduates from dual/dualized trainings
Improved management and training capacities of vocational training institutions
Steering capacities of TESDA have been improved and it advocates the introduction and establishment of dual/dualized trainings
Nationwide introduction and establishment of dual and dualized training programs (indicator: number/share of training institutions that offer dual or dualized trainings)
Increased employment
Poverty reduction Economic development
Improvement of the TVET-system
Enterprises have a better-qualified workforce at their disposal
Improved employment situation of TVET graduates (indicators: unemployment rate, wage, job satisfaction, position within the enterprise) Supported training institutions forward their
knowledge to other institutions
Increased productivity of enterprises that employ TVET graduates (indicators: productivity, contribution to GDP)
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 23
Institution Received support Characteristics
Name Type of institu-tion
Training approach
Subject area
ToT C/IE Equip-ment
No. of partner enterprises
Drop-out rate
Graduate absorp-tion*
Internal dissemi-nation
External dissemi-nation
Tarlac Training Center Private DTP ME, El ++ 25% 70%
Angeles City National Trade School
Public OJT El +/- n.a. n.a. -
Systems Plus Computer Foundation
Private DTS, DTP CT, El +/- n.a. 90% -
TESDA RTC III Mariveles RTC DTP ME +/- n.a. 100% - -
Mary Help Christians School
Churchly DTS, DTP EI ** + 20% 70%
Batangas State University Public DTS ME - ~ n.a. 100% -
Monarc Foundation Technical Institute
Private DTS AM - + n.a. 90%
Punlaan School Churchly DTS TF ++ 15% 100% -
TESDA RTC Taguig RTC OJT ME - ~ n.a. >50% - -
TESDA RTC VI Talisay RTC DTP, OJT AM - +/- n.a. 50% -
TESDA RTC VII Cebu RTC OJT AM +/- n.a. n.a. -
Center for Industrial Technology and Enterprise
Churchly DTP El - ~ n.a. 100%
RTC X Tagaloan RTC DTP ME - + <5% 90% -
Lupon School of Fisheries Private DTP TF ~ 55% n.a. n.a. n.a.
Besuchte Berufsschulen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 24
Arbeitsmarktentwicklung
Sector/ Subject area Development of employees* Development contribution to GDP*
Agriculture, hunting and forestry 0,55 -0,25
Fishing -0,04 -0,04
Mining and quarrying -0,12 0,53
Manufacturing -1,21 -4,91
Electricity, gas and water 0,23 2,67
Construction -0,82 -0,57
Wholesale and retail trade -5,69 -7,36
Hotels and restaurants 0,46 -0,59
Transport, storage and communication -1,47 4,55
Financial intermediation 1,02 5,14
Real estate and other business activities 4,71 0,27
Private education 1,41 0,45
Health and social works 0,98 0,37
Other community and personal services -0,02 -0,26
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 25
Arbeitsmarktstatistiken
16,87%
16,43%
21,68%
19,47%
21,29%
18,96%21,19%
20,04%19,41%
15,72%
0%
5%
10%
15%
20%
25%
1997 1998 1999 2000 2001 2002 2003 2004 2005 2006
Entwicklung der Jugendarbeitslosigkeit
0%
5%
10%
15%
20%
25%
30%
35%
40%
1.decile
2.decile
3.decile
4.decile
5.decile
6.decile
7.decile
8.decile
9.decile
10.decile
1997
2006
Einkommensanteile nach Einkommensdezilen
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen
17.06.2013 Stefan Silvestrini @ GTZ Fachgespräch BB 26
Ergebnistriangulation
Beispielhypothese Beschäftigungsfähigkeit der Absolventen der geförderten Schulen
ist besser als die der Absolventen der nicht geförderten Schulen Partnerunternehmen bevorzugen Absolventen von geförderten Berufsschulen (Indikator: Anteil der übernommenen Absolventen)
Vergleich ohne Matching-Verfahren Direkter Vergleich bestätigt positiven Einfluss
(Differenz: + 18 Prozentpunkte) Vergleich mit PSM Ergebnisse bestätigen positiven Einfluss nicht Qualitative data Interviewergebnisse offenbaren, dass Absolventen der
geförderten Berufsschulen oftmals bessere Arbeitsplätze angeboten bekommen, als die bei den Partnerunternehmen
Schlussfolgerung Qualitative Daten unterstützen Hypothese und legen
intervenierende Effekte offen
Evaluations-gegenstand
Evaluationsdesign
Reliabilität und Validität
Ergebnisse und Empfehlungen