1
„MASTERING COMPLEXITY“
Eine forschungsstrategische Überlegung zum Umgang mit Komplexität
in Evaluationen
12.09.2013 Dr. St. Bauernschmidt / Dr. Michael J. Steffens
Vortrag auf der 16. Jahrestagung der DeGEval – Gesellschaft für Evaluation Ludwig-Maximilian-Universität, München, 12.09.2013
Was?
Wie?
Wer?Womit?
Wozu?
212.09.2013 Dr. St. Bauernschmidt
Gegenstand der Evaluation
Modus der Evaluation
Instanz/Ressourcender Evaluation
Standardsder Evaluation
Funktion/Zielder Evaluation
ABB.1: (Mögliche) Ausgangsfragen einer Evaluation + Referenz
Im Vortrag: Konzentration auf Zusammenhang zwischen Gegenstand und Modus der Evaluation
312.09.2013 Dr. St. Bauernschmidt
SCHRITTE
0. Einleitung
1. Gegenstand der Evaluation: Projekt „Klasse in der Masse“
2. Strategie der Evaluation: Fallstudie
3. Schluss/Fazit
412.09.2013 Dr. St. Bauernschmidt
SCHRITT 1
0. Einleitung
1. Gegenstand der Evaluation: Projekt „Klasse in der Masse“
2. Strategie der Evaluation: Fallstudie
3. Schluss/Fazit
512.09.2013 Dr. St. Bauernschmidt
„One of the most challenging aspects of evaluation is that there is no ‘one size fits all’ approach.”
(Rossi/Lipsey/Freeman 2004: 32)
=> immer Anpassung der Evaluation an Evaluations-Situation
Frage: Ist die Situation aufgrund der Kenntnisse über den
Evaluanden (KiM-Projekt) als deren gegenständlicher Aspekt
als einfach, kompliziert oder komplex zu beurteilen?
612.09.2013 Dr. St. Bauernschmidt
Projekt „Klasse in der Masse“ (KiM-Projekt)
- gefördert vom Bundesministerium für Bildung und Forschung (BMBF) im Rahmen des Bund-Länder-Programms für bessere Studienbedingungen und mehr Qualität in der Lehre („Qualitätspakt Lehre“)
- Ziele: * Verbesserung der Betreuungsrelationen angesichts steigender Studierendenzahlen
* Verbesserung der Beratungskompetenz angesichts heterogener werdender Studierendengruppen
* Verbesserung des Qualitäts- und Wissensmanagements
- Maßnahmensiehe Organigramm auf der nächsten Folie
712.09.2013 Dr. St. Bauernschmidt
Projektteam
Maßnahmenverantwortliche(5 Pers.)
Projekt-LeitungProjekt-Koordination
Projektsteuerungsgruppe
• Vorsitz : THM-Vizepräsident (VP) • Mitglieder aus der Hochschul-
öffentlichkeit(insg. 10 Pers.)
HD Professurenin 2 Fach-bereichen
ÜberlappendeProfessurenin 4 Fach-bereichen
VP
Studienorientier-ung – Online2 Pers.
Studienberatungund Schulkooper-ationen1 Pers.
ZS – Zentrale Studienberatung
Mentoring1 Pers.
Tutoren-qualifizierung2 Pers.
HD Coaching von Lehrenden2 Pers.
Tutoreneinsatz110 Tutoren pro Semester
IWW – Interne Wissenschaftliche Weiterbildung
Studiengangs-entwicklung2 Pers.
keine Anbindung an eine Struktur-einheit der THM
Employability-Monitor1 Pers.
Berichtswesen zur Qualität 1 Pers.
ZQE – Zentrum für Qualitäts-entwicklung
ABB.2: Organigramm KiM-Projekt
812.09.2013 Dr. St. Bauernschmidt
ABB.3: THM & KiM
912.09.2013 Dr. St. Bauernschmidt
KiM-Projekt
1. Vielzahl von Individuen vielfältig miteinander verbunden
2. Einbettung der Individuen in unterschiedlichste Gruppierungen und Settings der Hochschule
3. Kontingenzen, Adaptionen, Emergenzen in Interaktionen beobachtbar
4. Unterschiedliche Wissensvorräte bzgl. der jeweiligen Maßnahmen vorhanden
+ stetiger Austausch mit Projektexterner Umwelt (Hochschule)+ erfolgreiches Procedere im Fachbereich „A“ keine Garantie für Erfolg im Fachbereich „B“+ Verflechtung Projektmitarbeiter(-inn-)en mit Projektumwelt
-> Grenzen zwischen Projekt um Projektumwelt verschwimmen
1012.09.2013 Dr. St. Bauernschmidt
M Q Patton -> “Raising a Child”, Metapher für komplexe Situationen
“Raising a child
Highly prescriptive protocols have limited relevance or are counterproductive.
Raising one child provides experience but is no guarantee of success with the next child.
Expertise helps but only when balanced with responsiveness to the particular child.
Every child is unique and must be understood as an individual.
Outcomes vary by child and remain uncertain over time.
Can’t separate the parts from the whole; essence exists in the relationship betweendifferent people, different experiences, different moments in time.”
(Patton 2011: 92)
Antwort auf Frage:KiM-Projekt komplex
1112.09.2013 Dr. St. Bauernschmidt
SCHRITT 2
0. Einleitung
1. Gegenstand der Evaluation: Projekt „Klasse in der Masse“
2. Strategie der Evaluation: Fallstudie
3. Schluss/Fazit
1212.09.2013 Dr. St. Bauernschmidt
“A case study is expected to catch the
complexity of a single case. [meine Herv.]”(Stake 1995: ix)
Fallstudie als Forschungsstrategie
„a coherent set of methods, techniques and procedures for generating and analysing the research material, as well as to the way the researcher looks at reality and conceptually designs the research project.”
(Verschuren 2003: 122)
Warum Forschungsstrategie?
„But what is a case study? Is it a method, a methodology, a strategy, a design or what? (…) From this it might seem fair to conclude that the nature and
status of case study seems unclear …” (Tight 2010: 329)
1312.09.2013 Dr. St. Bauernschmidt
Warum Forschungsstrategie (FS)?
• allgemein:
FS organisiert den gesamten Forschungsprozess
(rote + grüne Felder in Abb. 4 – nächste Folie)
(i.G. zum Forschungsdesign (grüne Felder), das sich auf die Durchführungsplanung bezieht und die Phasen bis zur Auswertung der Datenumfasst, vgl. z.B. Ragin 1994: 191)
+ ist integrativ
+ ist offen
• (spezifisch ) Fallstudie als Forschungsstrategie
Ausgangspunkt: Fall (Gegenstand der Forschung)
* Fall-orientierte Forschungslogik statt Ansatz-orientierte Forschungslogik* Übersetzungsentscheidung
(Wie vom ‘Case’ zur ‘Unit of Analysis’/zu ‘Units of Analysis’, vgl. VanWynsberghe/Khan 2007: 87-90; Appleton 2002: 85-86; Sjoberg et al. 1991: 36ff)
1412.09.2013 Dr. St. Bauernschmidt
Theorie-arbeit
theoretische Phase empirische Phase theoretische Phase
Daten-erhebung
Daten-aufbereitung
Daten-auswertung
Theorie-arbeit
Un
ters
uch
un
gs-
pla
n
Forsch
un
gs-b
erich
t
ABB.4: Forschungsprozess
1512.09.2013 Dr. St. Bauernschmidt
SCHRITT 3
0. Einleitung
1. Gegenstand der Evaluation: Projekt „Klasse in der Masse“
2. Strategie der Evaluation: Fallstudie
3. Schluss/Fazit
1612.09.2013 Dr. St. Bauernschmidt
“Komplexität meistern”
– Komplexität eines Gegenstandese zu handhaben verstehen1. Verständnis des Falls entwickeln
2. forschenden Umgang mit komplex eingestuften Fall finden
=> Fallstudie als Forschungsstrategie
ABSCHLIESSENDFallstudie als Forschungsstrategie
(in Anlehnung an eine Formulierung aus Ackermann & Pfyl 2010):
… lässt so viel Komplexität wie möglich zu, um den Gegenstand der Forschung möglichstgerecht zu werden, und reduziert so viel Komplexität wie nötig mit Rücksicht auf vor-handene Ressourcen und Kompetenzen, um handlungs- und entscheidungsfähig zu
bleiben.
1712.09.2013 Dr. St. Bauernschmidt
Literatur
- Ackermann, G/Pfyl, R (2010): Vom Umgang der Evaluation mit Komplexität, in: Leges 1, 73-83.
- Appleton, J V (2002): Critiquing approaches to case study design for a constructivist inquiry, in: Qualitative Research Journal 2/2, 80-97.
- Patton, M Q (2011): Developmental Evaluation. Applying Complexity Concepts to Enhance Innovation and Use, New York/London: The Guildford Press.
- Ragin, C C (1994): Constructing Social Research, Thousand Oaks/London/New Delhi: Sage.
- Rossi, P H/Lipsey, M W/Freeman, H E (2004): Evaluation. A systematic Approach, 7th edition, Thousand Oaks/London/New Delhi: Sage
- Sjoberg, G et al. (1991): The Case Study Approach in Social Research. Basic Methodological Issues, in: J R Feagin/A R Orum/G Sjoberg (Eds.), A Case for the Case Study, Chapel Hill, NC: UNC Press Books, 27-79.
- Stake, R E (1995): The art of case study research, Thousand Oaks, CA: Sage.
- Tight, M (2010): The curious case of case study: a viewpoint, in: International Journal of Social Research Methodology 13/4, 329-339.
- VanWynsberghe, R/Khan, S (2007): Redefining Case Study, in: International Journal of Social Research Methodology 6/2, 80-94.
- Verschuren, P J M (2003): Case study as a research strategy: Some ambiguities and opportunities, in: International Journal of Social Research Methodology 6/2, 121-139.
18Dr. St. Bauernschmidt
DANKE!DANKE!12.09.2013