Das Evaluierungssystem der GIZ

Unternehmensstrategische Evaluierung

Impressum

Als Bundesunternehmen unterstützt die GIZ die deutsche Bundesregierung bei der Erreichung

ihrer Ziele in der internationalen Zusammenarbeit für nachhaltige Entwicklung und der

internationalen Bildungsarbeit.

Als Stabsstelle Evaluierung der GIZ untersteht sie organisatorisch direkt dem Vorstand und ist

vom operativen Geschäft getrennt. Diese Organisationsstruktur stärkt ihre Unabhängigkeit. Die

Stabsstelle Evaluierung ist mandatiert, zur Entscheidungsfindung evidenzbasierte Ergebnisse

und Empfehlungen zu generieren, einen glaubwürdigen Wirkungsnachweis zu erbringen und

die Transparenz zu den Ergebnissen zu erhöhen.

Autorinnen und Autoren:

Stabsstelle Evaluierung, GIZ

Konzeption, Koordination und Management:

Dr. Annette Backhaus, GIZ, Stabsstelle Evaluierung,

Gruppenleiterin

Unternehmensstrategische Evaluierungen

Franziska Krisch, GIZ, Stabsstelle Evaluierung,

Senior-Fachkonzeptionistin

Simon Freund, GIZ, Stabsstelle Evaluierung,

Senior-Fachkonzeptionist

Christoph Mairesse, GIZ, Stabsstelle Evaluierung,

Senior-Fachkonzeptionist

Verantwortlich:

Dr. Ricardo Gomez, GIZ

Leiter Stabsstelle Evaluierung

Herausgeberin:

Deutsche Gesellschaft für

Internationale Zusammenarbeit (GIZ) GmbH

Sitz der Gesellschaft:

Bonn und Eschborn

Friedrich-Ebert-Allee 36 + 40

53113 Bonn, Deutschland

T +49 228 4460-0

F +49 228 4460-17 66

E evaluierung@giz.de

I www.giz.de/evaluierung

www.youtube.com/user/GIZonlineTV

www.facebook.com/gizprofile

https://twitter.com/giz_gmbh

Design/Layout etc.:

DITHO Design GmbH, Köln

Druck und Vertrieb:

GIZ, Bonn

Gedruckt auf 100 % Recyclingpapier,

nach FSC-Standards zertifiziert.

Bonn 2018

Das vorliegende Dokument ist auf der

GIZ-Website als pdf-Download verfügbar

unter www.giz.de/evaluierung.

Anfragen nach einer gedruckten Ausgabe

richten Sie bitte an evaluierung@giz.de

Inhalt

1 Funktionen unternehmensstrategischer Evaluierungen 4

2 Themen und Auswahlkriterien 5

3 Qualitätssicherung unternehmensstrategischer Evaluierungen 6

3.1 Qualitätsstandards .................................................................................................. 6

3.2 Qualitätsinstrumente und -verfahren ........................................................................ 6

4 Durchführung der unternehmensstrategischen Evaluierungen 7

5 Governance des Instruments und Rollen der Akteure 8

5.1 Vorstand .................................................................................................................. 8

5.2 Auftraggeber/-in der USE ........................................................................................ 9

5.3 Referenzgruppe ....................................................................................................... 9

5.4 Gremien .................................................................................................................. 9

5.5 Stabsstelle Evaluierung ......................................................................................... 10

5.6 Evaluatoren und Evaluatorinnen ............................................................................ 10

5.7 Kommunikation mit dem BMZ ................................................................................ 10

6 Prozessbeschreibung 11

6.1 Erstellung des Evaluierungsprogramms ................................................................ 11

6.2 Einzelevaluierung .................................................................................................. 11

4

1 Funktionen unternehmensstrategischer

Evaluierungen

Die Evaluierungspolicy der GIZ definiert drei Grundfunktionen für Evaluierungen: evidenzbasierte

Entscheidungen, Transparenz und Rechenschaftslegung sowie organisationales Lernen. Planung,

Durchführung und Nutzung von Evaluierungen gestaltet die GIZ daher so, dass der Beitrag der

Evaluierung, sowohl während des Evaluierungsprozesses als auch in Form der Evaluierungs-

ergebnisse, zu diesen drei Grundfunktionen optimiert wird.

Unternehmensstrategische Evaluierungen (USE) werden von der GIZ in eigener Verantwortung

ausgewählt und durchgeführt. Sie werden von der Stabsstelle Evaluierung im Auftrag des Vorstands

durchgeführt und aus deren Budget finanziert. Sie sind auf den spezifischen Informationsbedarf und

das Erkenntnisinteresse von Akteuren im Unternehmen ausgerichtet. Für Entscheidungen,

Position-ierungen oder Veränderungsprozesse, die eine vertiefte Kenntnis der Unternehmensrealität

erfordern, werden unter Berücksichtigung international anerkannter Evaluierungsprinzipien und

-standards sowie ggf. mithilfe externer Expertise Evidenzen erarbeitet.

Die Ergebnisse der USE sollen evidenzbasierte Entscheidungen, Veränderungen und Lernprozesse

sowohl auf der strategischen als auch auf der operativen Ebene ermöglichen, um damit Wirksamkeit,

Wirtschaftlichkeit und Qualität der Leistungserbringung sowie der Veränderungsprozesse des

Unternehmens zu erhöhen. Unternehmensstrategische Evaluierungen sind daher geschäftsfeld- und

instrumentenübergreifend angelegt. Auf diese Weise sollen Erfahrungen ausgewertet werden und in

Zukunfts- und Innovationsprozesse des Unternehmens einfließen.

Im Rahmen der USE identifiziert das Unternehmen strategisch wichtige Themen aus den beiden

nachfolgenden Bereichen:

Unternehmensentwicklung: Weiterentwicklung von Unternehmensstrategien, -strukturen

und -prozessen

Leistungserbringung: Planung und Durchführung von Vorhaben, Weiterentwicklung von

strategischen Instrumenten, Dienstleistungen, Leistungsangeboten, Beitrag zur (Weiter-)Entwick-

lung von Sektor- und Länderkonzepten

Dabei sollen Erkenntnisse generiert werden, die

evidenzbasierte Entscheidungen und Steuerung auf strategischer und operativer Ebene sowie

organisationales Lernen ermöglichen;

Rechenschaftslegung sowohl nach innen als auch gegenüber Auftraggebern, Partnern, Zielgruppen

und der Öffentlichkeit unterstützen;

Fortschreibung und Weiterentwicklung von Ansätzen und Methoden der Leistungserbringung sowie

von Unternehmenspolitiken und -strategien fördern;

Veränderungs- und Lernprozesse qualifizieren;

Informationen für die Positionierung des Unternehmens sowie für Kundengewinnung und -pflege

liefern.

USE können je nach Entscheidungs- und Erkenntnisbedarf vor Beginn der Maßnahmen angesetzte

Ex-ante-Evaluierungen, begleitende (formative) Evaluierungen, Ex-post-Evaluierungen oder Quer-

schnittauswertungen (Evaluierungssynthesen, Meta-Evaluierungen) sein. In jedem Evaluierungs-

programm sollen eine Ex-post-Evaluierung sowie eine Querschnittauswertung durchgeführt werden.

Diese können sich auf strategisch relevante Vorhaben beziehen, sollen aber in der Regel Länder- oder

Sektor-Portfolien untersuchen. Je nach Bedarf können auch Elemente einer umfassenden USE einzeln

und ggf. kurzfristig durchgeführt werden, beispielsweise eine Portfolioanalyse oder eine standardisierte

(Online-)Befragung.

5

Das Instrument wird konsequent am Nutzen für das Unternehmen ausgerichtet. Die Nutzung wird

unterstützt, indem das Erkenntnisinteresse, der Informationsbedarf und die Umsetzungskapazitäten

beteiligter Akteure bei der Konzipierung und Durchführung im Rahmen von Referenzgruppen

berücksichtigt werden. Mittels eines Management-Response-Systems werden Umsetzungs-

vereinbarungen auf der Basis der Ergebnisse und Empfehlungen der USE erarbeitet, festgehalten und

mittels Monitoring beobachtet. Wichtige Ergebnisse, Good Practices und Erfolgsfaktoren werden zudem

in verschiedenen Lern,- Dialog- und Informationsveranstaltungen diskutiert, sowohl evaluierungs-

begleitend als auch auf der Basis des Evaluierungsberichts. Ergänzend werden sie auch im Internet,

durch Publikationen und Konferenzbeiträge über die GIZ hinaus verbreitet.

2 Themen und Auswahlkriterien

Das Evaluierungsprogramm wird für zwei Jahre festgelegt und im Jahresrhythmus angepasst. Derzeit

werden jährlich bis zu fünf Themen evaluiert, wobei die Evaluierungen sich in Umfang und Ausrichtung

unterscheiden. Die Themen werden von den Mitgliedern des Vorstands und der ersten Führungsebene

der GIZ (Bereichs- und Stabsstellenleitungen) im Rahmen einer Abfrage der Stabsstelle Evaluierung

vorgeschlagen. Darüber hinaus kann der Vorstand jederzeit nach Bedarf USE-Themen festlegen und

die Stabsstelle Evaluierung damit beauftragen. Die Stabsstelle Evaluierung analysiert die Vorschläge

und legt dem Vorstand einen entsprechenden USE-Programmvorschlag zur Entscheidung vor.

Auswahl und Entscheidung erfolgen anhand folgender Kriterien:

Unternehmenspolitische Bedeutung: Das Thema ist von übergeordnetem unternehmens-

politischen Interesse, was unter anderem in unternehmenspolitischen Grundsatzdokumenten und

Beschlüssen, in der langfristigen Unternehmensplanung (LUP), in der Geschäftsstrategie, in

TOP-Maßnahmen, in den jährlichen Unternehmenszielen oder im Qualitätsbericht zum Ausdruck

kommt. Es weist besonderes Potenzial auf für die Geschäftsentwicklung und/oder für

Verbesserungen in den Strukturen, Prozessen und Verfahren des Unternehmens in allen Bereichen

und auf allen Ebenen.

Mittelfristiger Entscheidungsbedarf: Das Thema steht im Zusammenhang mit mittel- oder

langfristig (d.h. in ein bis drei Jahren) anstehenden grundlegenden Entscheidungen oder

Positionierungen. Für kurzfristig erforderliche Entscheidungen oder Positionierungen sind

strategische Evaluierungen dagegen zu zeit- und kostenintensiv.

Evidenzbedarf: Entscheidungen oder Positionierungen erfordern eine vertiefte Kenntnis komplexer

Sachverhalte der Unternehmensrealität unter Berücksichtigung international anerkannter

Evaluierungsstandards und ggf. mit Unterstützung externer Expertise.

Evaluierbarkeit: Konkret wird geprüft, ob der Evaluierungsgegenstand hinreichend genau definiert

ist, ob dessen Ergebnisse überprüfbar sind und ob eine Evaluierung die optimale Herangehens-

weise ist, um die Fragen der Stakeholder zu beantworten. Die Evaluierungsfragen müssen im Rah-

men des zur Verfügung stehenden Zeitrahmens und Budgets für die Erhebung und Auswertung von

Primär- und Sekundärdaten in angemessener Tiefe bearbeitet werden können. Zudem muss die

Datenlage eine Evaluierung erlauben.

Bewertungscharakter: Evaluierungen bewerten die Umsetzung der Unternehmensstrategie oder

die Leistungserbringung der GIZ im Sinne einer Erfolgskontrolle und/oder Wirkungserfassung. Darin

unterscheiden sie sich von Studien, in denen beispielsweise der Wissensstand zu einem Themen-

feld aufbereitet wird oder ein Benchmarking zwischen verschiedenen Anbietern ähnlicher

Dienstleistungen erfolgt und die von anderen Organisationseinheiten des Unternehmens in Auftrag

gegeben oder durchgeführt werden.

6

3 Qualitätssicherung unternehmensstrategischer

Evaluierungen

3.1 Qualitätsstandards

Unternehmensstrategische Evaluierungen folgen internationalen und nationalen Qualitätsstandards,

wie sie in den Standards des Development Assistance Committee (DAC) der Organisation für

wirtschaftliche Zusammenarbeit und Entwicklung (OECD) und der Gesellschaft für Evaluation e.V.

(DeGEval) sowie in der GIZ-Evaluierungspolicy (2017) niedergelegt sind. Sie orientieren sich

insbesondere an den Standards für Unabhängigkeit, Genauigkeit, Nützlichkeit und Transparenz von

Evaluierungen. Diese werden wie folgt umgesetzt:

Unabhängigkeit: Die Stabsstelle Evaluierung ist organisatorisch direkt dem Vorstand zugeordnet

und in der Evaluierungsdurchführung unabhängig von den operativen Bereichen und den Strategie-

einheiten des Unternehmens. Der Stabsstelle ist der Freiraum gegeben, das eigene Haus mit

kritischen Evaluierungsergebnissen zu konfrontieren. Die Durchführung einzelner Evaluierungen

kann an externe Auftragnehmer vergeben oder von der Stabsstelle selbst übernommen werden.

Die Inhalte von Evaluierungsberichten und damit auch die Bewertung des Evaluierungs-

gegenstandes liegen in der alleinigen Verantwortung der Evaluatoren und Evaluatorinnen.

Genauigkeit: Die Evaluierungen werden auf der Basis anerkannter Qualitätsstandards, Methoden

und Verfahren durchgeführt. Zur Qualitätssicherung hat die Stabsstelle Evaluierung ein System des

internen und (im Falle einer eigenen Durchführung) externen Peer Reviewing eingeführt. Die USE

liefern nachvollziehbare Ergebnisse und dokumentieren sowohl Erfolge als auch Misserfolge und

die Gründe dafür.

Nützlichkeit: Die unternehmensstrategischen Evaluierungen orientieren sich am international

anerkannten Ansatz der nutzungsorientierten Evaluierung. Dabei sind die Identifikation potenzieller

Nutzer und die intensive Beteiligung relevanter Akteure in Form der Referenzgruppen und darüber

hinaus am gesamten Evaluierungsprozess zentral.

Transparenz: Die Berichte der USE werden mit einer Stellungnahme der GIZ und der Management

Response veröffentlicht. Die Positionierung der GIZ als transparente, selbstkritische und lernende

Organisation wird damit gefördert. Je nach Zielsetzung und Evaluierungsgegenstand werden die

USE auch Partnern oder anderen Gebern zugänglich gemacht. Zentrale Erkenntnisse und

Empfehlungen der USE (Management Summary) sowie der Umgang damit (Management

Response) sind immer in deutscher und englischer Sprache verfügbar. Die GIZ verzichtet nur in

folgenden Fällen auf eine Veröffentlichung des Hauptberichtes der Evaluierung: Wenn diese die

Rechte Dritter verletzen, die Anonymisierung personenbezogener Daten nicht gewährleisten,

Betriebs- oder Geschäftsgeheimnisse beinhalten, laufende nationale und internationale

Verhandlungen beeinträchtigen oder außen- bzw. sicherheitspolitisch sensibel sind.

3.2 Qualitätsinstrumente und -verfahren

Bei den USE sorgt die Stabsstelle Evaluierung mit folgenden Instrumenten für die Einhaltung der Qua-

litätsstandards:

Auftragsklärung: Eine umfassende Auftragsklärung mit dem/der Auftraggeber/-in der USE einer-

seits und den externen Gutachtern und Gutachterinnen andererseits legt den Grundstein für eine

7

erfolgreiche Evaluierung. Sie beugt Konflikten im Verlauf der Evaluierung vor und erhöht die

Zufriedenheit aller Beteiligten mit dem Evaluierungsprozess und die Akzeptanz der Evaluierungs-

ergebnisse. Evaluierungsmanager/-innen müssen daher dafür sorgen, dass die Ergebnisse der

jeweiligen Auftragsklärung möglichst eindeutig und unmissverständlich sind.

Inception Report: Ein Inception Report fasst die Vorerkenntnisse zu dem Evaluierungsgegenstand

zusammen, die aus Dokumentenanalysen und Interviews gewonnen werden. Er spezifiziert ferner

das Evaluierungsdesign, legt den Fokus und Umfang der Evaluierung fest und nimmt eine kritische

Analyse der Qualität der verfügbaren Dokumente vor. Weiterhin entwickeln die beauftragten

Evaluatoren und Evaluatorinnen in diesem Rahmen auch die Instrumente zur Datenerhebung. Der

Inception Report ist eine zentrale Leistung des Evaluators bzw. der Evaluatorin, und die

Kommentierung seitens des Auftraggebers bzw. der Auftraggeberin und der Evaluierungsmanager/-

innen ist ein Schlüsselinstrument der Qualitätssicherung.

Methodische Vorgaben für externe Gutachter/-innen: Die GIZ gibt i.d.R. einen theoriebasierten

Evaluierungsansatz wie beispielsweise Realist Evaluation, Process Tracing und die Kontributions-

analyse vor. Die Auswahl ist auf das Erkenntnisinteresse und den Evaluierungsgegenstand

abgestimmt. Auf der Grundlage vorhandener Wirkungsmodelle oder von den Evaluatorinnen und

Evaluatoren rekonstruierter Theories of Change können die Wirkungshypothesen auf ihre

Plausibilität hin überprüft werden. Für die Datenerhebung werden angemessene quantitative und

qualitative Methoden gezielt so kombiniert, dass sie im für die Durchführung der Evaluierung

verfügbaren Zeitraum optimal aufeinander aufbauen.

Annotierte Gliederungen für die Berichtslegung: Verbindliche Leitlinien für die Erstellung von

Evaluierungsprodukten wie bspw. Inception Report und Hauptbericht spezifizieren Inhalt und

Struktur derselben sowie ihre erwartete Qualität.

Stellungnahme zu dem Evaluierungsbericht: Der finale Evaluierungsbericht ist ein unabhängiger

Bericht der von der GIZ beauftragten Evaluatoren und Evaluatorinnen. Bei der Diskussion des

Entwurfs sind die Evaluatoren und Evaluatorinnen frei in der Entscheidung, in den Evaluierungs-

bericht die Anregungen aufzunehmen, die sie von dem/der Auftraggeber/-in, der Referenzgruppe

und den Evaluierungsmanagern/-managerinnen in der Stabsstelle erhalten, es sei denn, die

Kommentare beziehen sich auf vertraglich vereinbarte Leistungen. Ggf. abweichende Einschätzun-

gen der Ergebnisse werden in der Stellungnahme der GIZ zu dem unabhängigen Evaluierungs-

bericht transparent gemacht.

4 Durchführung der unternehmensstrategischen

Evaluierungen

Unternehmensstrategische Evaluierungen werden von der Stabsstelle Evaluierung im Auftrag des

Vorstands durchgeführt und aus deren Budget finanziert. Eine USE beginnt mit der Auswahl des

Themenvorschlags durch den Vorstand, der die Stabsstelle Evaluierung mit der Durchführung

beauftragt. Sie ist abgeschlossen, wenn der/die Auftraggeber/-in den Hauptbericht, die Stellungnahme

der Stabsstelle Evaluierung (im Fall einer externen Durchführung) sowie die Management Response

(Umgang mit den Empfehlungen) abgenommen hat. Damit die Ergebnisse möglichst rasch verbreitet

und genutzt werden können, soll der USE-Bericht möglichst direkt nach Abschluss veröffentlicht

werden.

Der weitere Prozess des Management Response Systems (Prozessschritt Nutzung), also die

Entwicklung von gezielten Maßnahmen zur Qualitätsverbesserung, die Umsetzungsentscheidung und

die kontinuierliche Dokumentation des Standes der Umsetzung ist nicht Teil der eigentlichen

unternehmensstrategischen Evaluierung. Die Prozessschritte werden in Abschnitt 6 definiert und im

Detail beschrieben.

8

Je nach thematischer Schwerpunktsetzung und Verfügbarkeit von Personalressourcen können USE

extern vergeben oder von der Stabsstelle Evaluierung selbst durchgeführt werden. Wenn der Fokus auf

Transparenz und Rechenschaftslegung gelegt wird, der Wunsch nach einer externen Einschätzung

besteht oder für die Beantwortung der Evaluierungsfragen spezifisches Fach- oder Methodenwissen

erforderlich ist, spricht dies für eine externe Vergabe. Eine eigene Durchführung bietet sich an, wenn

für die USE eine tiefe Kenntnis von Unternehmensprozessen erforderlich ist, vertrauliche Daten

erhoben bzw. vertrauliche Dokumente ausgewertet werden müssen oder ein bestimmter Erkenntnis-

bedarf kurzfristig bedient werden soll. Eine Eigendurchführung bietet sich ferner dann an, wenn zu

einem bestimmten Evaluierungsgegenstand die Kompetenz und die Lieferfähigkeit externer

Evaluatoren und Evaluatorinnen als begrenzt eingeschätzt wird.

In der Praxis sind folgende Varianten der Durchführung einer USE möglich:

Vergabe der gesamten USE

Erstellung der Concept Note durch die Stabsstelle Evaluierung

Ausschreibung und Vergabe

Modulare Mischformen

eigene Durchführung bis zum Inception Report: Durchführung erster Erhebungsschritte wie

bspw. Portfolioanalyse, Dokumentenauswertung, danach Ausschreibung und Vergabe

Steuerung der ganzen USE inkl. Verantwortung für die Berichterstellung, dabei Vergabe

einzelner Erhebungsschritte wie bspw. Fallstudien

eigene Durchführung einzelner Erhebungsschritte (bspw. Online-Befragung), deren

Ergebnisse dem für die Berichterstellung verantwortlichen Auftragnehmer zur Verfügung

gestellt werden

Eigene Durchführung

vollständige Durchführung durch Personal der Stabsstelle Evaluierung

standardmäßige oder angepasste Prozessbegleitung

5 Governance des Instruments und Rollen der Ak-

teure

Die Stabsstelle Evaluierung fordert den Vorstand und die erste Führungsebene der GIZ (Bereichs- und

Stabsstellenleitungen) alle zwei Jahre auf, Themenvorschläge für die Entwicklung eines ne

uen Evaluierungsprogramms einzureichen. Die Bereichs- und Stabsstellenleiter/-innen können in ihren

Einheiten Vorschläge abfragen, diese bewerten, priorisieren und bei der Stabsstelle Evaluierung

einreichen. Die Themenvorschläge werden durch die Stabsstelle zu Evaluierungsskizzen aufbereitet

und in einer Themenliste für das anstehende Zweijahresprogramm dem Vorstand vorgeschlagen.

5.1 Vorstand

Der Vorstand priorisiert die Vorschläge der Stabsstelle für unternehmensstrategische Evaluierungen

und beauftragt das zweijährige Evaluierungsprogramm. Jeweils jährlich erhält der Vorstand einen

Bericht über den Stand der Durchführung der einzelnen Evaluierungen und entscheidet bei Bedarf über

Anpassungen an neue Entwicklungen in der restlichen Zeit des Zweijahresprogramms.

9

5.2 Auftraggeber/-in der USE

Der Vorstand benennt ein Vorstandsmitglied, welches als Auftraggeber/-in der Einzelevaluierung mit

allen Entscheidungsbefugnissen zur Durchführung der USE mandatiert ist. Der Vorstand kann im

Ausnahmefall diese Funktion an eine Führungskraft der ersten Ebene delegieren. Auftraggeber

(re)definieren auf der Basis der Evaluierungsskizze Entscheidungs- und Veränderungsbedarfe sowie

Bedarfe der Rechenschaftslegung (innen/außen), die von der Evaluierung bearbeitet werden sollen. Sie

sind Ansprechpartner/-innen der Stabsstelle im Vorstand für den USE-Prozess und werden als Auftrag-

geber/-in in alle wichtigen Entscheidungen eingebunden. Die konkreten Einbindungsbedarfe werden zu

Beginn jeder USE spezifiziert. Auftraggeber/-innen haben eine wichtige Funktion für die unternehmens-

politische Ausrichtung und Akzeptanz der Evaluierung sowie zur Bewertung potenzieller Synergien mit

anderen relevanten Prozessen im Unternehmen. Nach Abnahme des Hauptberichts, der Stellung-

nahme sowie der Management Response beauftragen sie Mitglieder der Referenzgruppe sowie ggf.

weitere Vertreter/-innen relevanter Organisationseinheiten mit der Erarbeitung konkreter Umsetzungs-

vereinbarungen.

5.3 Referenzgruppe

Für jede unternehmensstrategische Evaluierung wird eine Referenzgruppe aus Vertreterinnen und

Vertretern relevanter Organisationseinheiten gebildet. Sie wird in Abstimmung mit den Leitungen der

betreffenden Bereiche bzw. Stabsstellen von den jeweiligen Auftraggebern und Auftraggeberinnen und

der Stabsstelle Evaluierung nach inhaltlichen und unternehmenspolitischen Kriterien zusammengestellt.

Ihre Zusammensetzung soll die Breite des jeweiligen Themas sowie Verantwortlichkeiten im Unter-

nehmen widerspiegeln, weshalb Fach- und Managementebene gleichermaßen vertreten sind. Die

Mitglieder der Referenzgruppe sind von ihrer jeweiligen Organisationseinheit benannt und mandatiert,

die Position ihrer Organisationseinheit einzubringen. Zusätzlich können Mitarbeiter/-innen an der

Referenzgruppe teilnehmen, die auf Grund ihrer fachlichen und/oder methodischen Kompetenzen und

Erfahrungen den Evaluierungsprozess beratend unterstützen sollen.

Die Referenzgruppe ist kein Entscheidungsgremium. Sie berät den/die Auftraggeber/-in und die

Stabsstelle im Sinne eines sounding board während des gesamten Evaluierungsprozesses zu

konzeptionellen und sonstigen grundlegenden Fragen der Durchführung der Evaluierung und stellt so

sicher, dass die Evaluierung den Bedarf des Unternehmens abdeckt und der Evaluierungsprozess

sowie die Empfehlungen nicht zu Überlastungen von Unternehmensteilen führen. Sie diskutiert und

kommentiert die Berichtsentwürfe sowie die Schlussfolgerungen und Empfehlungen und übernimmt

eine wichtige Funktion bei der Erstellung der Management Response, der Umsetzungsvereinbarung

und der Kommunikation der Evaluierungsergebnisse.

5.4 Gremien

Die Ergebnisse der unternehmensstrategischen Evaluierungen werden nach Abnahme durch den/die

Auftraggeber/-in dem Strategiekreis vorgelegt. Auf der Grundlage der Evaluierungsempfehlungen

verabschiedet der Strategiekreis die Management Response. Die konkreten Umsetzungs-

vereinbarungen (tabellarischer Maßnahmenkatalog als Anhang zur Management Response), die

Vertreter/-innen der jeweiligen Referenzgruppe sowie ggf. betroffener Organisationseinheiten unter

Koordination der Stabsstelle Evaluierung anschließend erarbeiten, werden zu einem späteren Zeitpunkt

vom Managementkreis verabschiedet.

10

5.5 Stabsstelle Evaluierung

Die Aufgaben der Stabsstelle umfassen die Erstellung des Evaluierungsprogramms, welches vom

Vorstand diskutiert und beschlossen wird. Bei der Durchführung der einzelnen USE erarbeitet in der

Regel ein Tandem aus zwei Fachkonzeptionisten/Fachkonzeptionistinnen unter Einbeziehung von

Auftraggebern/Auftraggeberinnen und Referenzgruppenmitgliedern das Evaluierungskonzept,

organisiert die Ausschreibung und Vergabe von Aufträgen an Gutachterfirmen, steuert diese bzw.

koordiniert die Durchführung der Evaluierungen oder führt sie ggf. selbst durch.

Die Stabsstelle Evaluierung ist verantwortlich für die Qualitätssicherung des Gesamtprozesses, der

methodischen Vorgehensweise und der Berichterstattung. Die Inhalte des Schlussberichtes werden von

den Evaluatoren und Evaluatorinnen verantwortet. Die Stabsstelle Evaluierung erarbeitet eine Stellung-

nahme zur unternehmenspolitischen Einordnung des Evaluierungsgegenstands, zur Qualität und den

Inhalten des Hauptberichts. Auf der Basis der Diskussion in der letzten Referenzgruppensitzung entwirft

sie die Management Response, stimmt diese mit Auftraggeber/-in und Referenzgruppenmitgliedern ab

und koordiniert die Erarbeitung der konkreten Umsetzungsmaßnahmen (nicht veröffentlichter Anhang

zur Management Response).

Die Stabsstelle überprüft den Fortschritt der in der Umsetzungsvereibarung beauftragten Maßnahmen

mit der Stabsstelle Unternehmensentwicklung.

Darüber hinaus ist die Stabsstelle Evaluierung verantwortlich für die Veröffentlichung der Evaluierungs-

berichte sowie für die Organisation von Lern- und Präsentationsveranstaltungen, um die Evaluierungs-

ergebnisse für institutionelles Lernen sowie ggf. den nationalen und internationalen Fachdiskurs

verfügbar zu machen.

Die Stabsstelle berücksichtigt die Empfehlungen der Referenzgruppe, ist im Sinne der Unabhängigkeit

jedoch nicht an deren Entscheidungen gebunden. Der Vorstand und die jeweiligen Auftraggeber/-innen

sind weisungsbefugt bezüglich der Spezifizierung des Evaluierungsgegenstands, nicht aber hinsichtlich

der methodischen Herangehensweise und/oder der Interpretation der Evaluierungsergebnisse.

5.6 Evaluatoren und Evaluatorinnen

Mit der Durchführung der einzelnen Evaluierungen können Mitarbeiter/-innen der Stabsstelle

Evaluierung, externe Forschungsinstitute, Consultingfirmen oder (Teams aus) Einzelgutachtern und

Einzelgutachterinnen beauftragt werden.

Darüber hinaus können neben Evaluatorinnen und Evaluatoren auch renommierte internationale

Fachexpertinnen und –experten zur Begleitung der Evaluierung hinzugezogen werden, wenn dies der

methodischen und fachlichen Qualität der Evaluierungsergebnisse dient.

Die Evaluatoren und Evaluatorinnen sind allein verantwortlich für die Inhalte des Evaluierungsberichts.

5.7 Kommunikation mit dem BMZ

Nach der Verabschiedung des USE-Programms durch den Vorstand wird das Evaluierungsreferat des

BMZ darüber informiert, um bei Bedarf eine Abstimmung mit dem DEval-Evaluierungsprogramm

vornehmen zu können. Im Zuge der Veröffentlichung des Hauptberichts einer USE wird dieser an das

Evaluierungsreferat des BMZ versandt. Bei Interesse können die Ergebnisse im BMZ diskutiert und

dargestellt werden. Im Falle von USE, bei denen Mitarbeiter/-innen des BMZ im In- und/oder Ausland

interviewt oder Daten und Informationen beim BMZ angefragt werden, erhält das BMZ auch Arbeits-

dokumente (USE-Skizze, Evaluierungskonzept, Inception Report) zur Kenntnis, um die Bedarfe an

BMZ-Ressourcen besser einordnen zu können.

11

6 Prozessbeschreibung

6.1 Erstellung des Evaluierungsprogramms

Ers

tellu

ng

Evalu

ieru

ng

sp

rog

ram

m

Prozessschritt Wer Wozu und wie

Sammlung von Themen für USE Stabsstelle

Evaluierung (08)

Abfrage bei Vorstand und Führungsebene

1

Prüfung der Vorschläge 08 Anhand der Auswahlkriterien

Aufbereitung der Vorschläge 08 Erarbeitung von Evaluierungsskizzen für

den Entscheidungsprozess

Priorisierung und Entscheidung über

Zweijahresprogramm

Vorstand benennt verantwortliche

Mitglieder als Auftraggeber/-innen für

die einzelnen USE

Vorstand Je nach Ressourcen in der 08, derzeit bis

zu fünf Evaluierungen pro Jahr

Fortschreibung/Anpassung des

Evaluierungsprogramms

Vorstand Aktualisierter Sachstand und ggf. neue

Themen für USE

6.2 Einzelevaluierung

Vo

rbe

reit

un

g

Prozessschritt Wer Wozu und wie

Auftragsklärung mit Auftraggeber/-in

(AG)

08 Klärung der Evaluierungsziele,

Entscheidungs- und Erkenntnisbedarfe

und der angestrebten Nutzung der

Evaluierungsergebnisse;

Vorschläge für Referenzgruppe;

Entscheidung über interne/externe

Durchführung

(Im Folgenden wird der Normalfall der

externen Vergabe dargestellt)

Bildung der Referenzgruppe

08 in Abstimmung

mit relevanten

Organisationseinheit

(OE)

Entwicklung des Evaluierungsdesigns

(Concept Note)

08

Abstimmung mit Auftraggeber/-in und Re-

ferenzgruppe;

Konkretisierung von Evaluierungsgegen-

stand und -fragen sowie Evaluierungsde-

sign

Entscheidung über sowie ggf.

Steuerung der Vergabe an externe

Auftragnehmer (AN)

08 Vergabe nach Orientierungen und Re-

geln (OuR);

Angebotsprüfung nach Qualitätskriterien

der 08;

Prüfung Kosten-Nutzen-Verhältnis

12

Du

rch

füh

run

g

Prozessschritt Wer Wozu und wie

Explorative Datenerhebung

und -analyse

AN, ggf. 08

Klärung der Datenlage; Entwicklung von

Erhebungsinstrumenten; erste Interviews

und Dokumentenanalysen

Entwurf Inception Report AN, ggf. 08 Abgestimmtes Evaluierungs- und

Erhebungsdesign; Prüfung, ob

Informationsbedarf abgedeckt ist

Diskussion und Kommentierung

Inception Report

08 +AG und Refe-

renzgruppe

Kommentierung durch Referenzgruppe

nach Qualitätsprüfung durch die StS 08

Anpassung Inception Report

und Evaluierungsdesign

AN, ggf. 08

Abnahme Inception Report 08, ggf, AG und Re-

ferenzgruppe

Abnahme nach erneuter

Qualitätsprüfung durch die StS 08

Datenerhebung AN, ggf. 08 Abhängig vom Design

Dokumentenanalyse

Interviews

Online-Befragung

Fallstudien

Datenanalyse AN, ggf. 08

Entwurf Hauptbericht AN, ggf. 08

Diskussion und Kommentierung

Hauptbericht

08 +AG und

Referenzgruppe,

ggf. externe Peer

Reviewer

Kommentierung durch Referenzgruppe

und AG nach Qualitätsprüfung durch die

StS 08

Anpassung des Hauptberichts AN, ggf. 08

Abnahme des Hauptberichts 08 Abnahme nach erneuter Qualitätsprüfung

durch die StS 08

Nu

tzu

ng

Prozessschritt Wer Wozu und wie

Verfassen der Stellungnahme zur (me-

thodischen) Qualität der USE

08 Transparenz bezüglich der Belastbarkeit

der Evaluierungsergebnisse

Formulierung der Management

Response

Entwurf 08, Abstim-

mung mit AG

Transparenter Umgang mit Empfehlun-

gen

Verabschiedung der Management

Response

Strategiekreis Freigabe zur Veröffentlichung

Veröffentlichung des Evaluierungs-

berichts

08 Evaluierungsberichte werden bis auf be-

nannte Ausnahmen veröffentlicht

Erarbeiten der Umsetzungs-

vereinbarung

Referenzgruppe mit

rel. OE, moderiert

durch 08

Konkreter Maßnahmenkatalog auf Basis

der Management Response

Verabschiedung der Umsetzungsver-

einbarung

Managementkreis Verbindlichkeit der Entscheidungen

Entwicklung und Umsetzung

von Informations- und Lernformaten

08 / relevante OE Disseminierung, konzeptionelles

und organisationales Lernen

Entwicklung von weiteren Publikationen

(Broschüre, Teaser etc.)

08 / relevante OE

Ggf. Präsentation der Ergebnisse (z.B.

bei Auftraggebern, Partnern, nationaler

und internationaler Fachöffentlichkeit)

08 / relevante OE Disseminierung

Monitoring der Umsetzung

der vereinbarten Maßnahmen

08 und 04,

relevante OE

13

Fotonachweise und Quellen

Fotonachweise/Quellen:

URL-Verweise:

In dieser Publikation befinden sich ggf. Verweise zu externen Internetseiten. Für die

Inhalte der aufgeführten externen Seiten ist stets der jeweilige Anbieter verantwortlich.

Die GIZ hat beim erstmaligen Verweis den fremden Inhalt daraufhin überprüft, ob

durch ihn eine mögliche zivilrechtliche oder strafrechtliche Verantwortlichkeit ausgelöst

wird. Eine permanente inhaltliche Kontrolle der Verweise auf externe Seiten ist jedoch

ohne konkrete Anhaltspunkte einer Rechtsverletzung nicht zumutbar. Wenn die GIZ

feststellt oder von anderen darauf hingewiesen wird, dass ein externes Angebot, auf

das sie verwiesen hat, eine zivil- oder strafrechtliche Verantwortlichkeit auslöst, wird

sie den Verweis auf dieses Angebot unverzüglich aufheben. Die GIZ distanziert sich

ausdrücklich von derartigen Inhalten.

14

Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH

Sitz der Gesellschaft Bonn und Eschborn

Friedrich-Ebert-Allee 36 + 40 53113 Bonn, Deutschland T +49 228 44 60-0 F +49 228 44 60-17 66

Dag-Hammarskjöld-Weg 1-5 65760 Eschborn, Deutschland T +49 61 96 79-0 F +49 61 96 79-11 15

E info@giz.de I www.giz.de