Prof. Dr. Helmut Kromrey – FU Berlin – kromrey - eMail: [email protected]...

20.10.2007 Prof. Dr. Helmut Kromrey - Berlin

1

Prof. Dr. Helmut Kromrey – FU Berlin – http://userpage.fu-berlin.de/~kromrey - eMail: [email protected]

Disziplinorientierte versus praxisorientierte Sozialforschung

Disziplinorientierte versus praxisorientierte Sozialforschung


2


Grundlegende „VOKABELN“:Grundlegende „VOKABELN“:

Erkenntnistheorie:Grundlegende Annahmen (Axiome) über die Möglichkeit menschlicher Erkenntnis (z.B. Konstruktivismus, Realismus, Idealismus)

Wissenschaftstheorie:Die Erkenntnislogik einer spezifischen Wissenschafts“schule“ und deren Argumentationsstrategie, mit der die wissenschaftliche Geltung ihrer Aussagen geprüft und begründet wird (z.B. Positivismus, Kritischer Rationalismus, Phänomenologie, Symbolischer Interaktionismus)

Substanztheorie (z.B. „soziologische Theorie“):System von Hypothesen über einen empirischen (hier: sozialen) Gegenstands-bereich (z.B. soziologische Handlungstheorie, Systemtheorie, Theorien der Stadtentwicklung)

Methodologie:Lehre von den (wissenschaftlichen) Methoden der Erkenntnisgewinnung und ihrer Anwendung (z.B. „qualit.“ / „quantit.“ Sozialforschung, Hermeneutik)

Methoden / Techniken:Spezifische Methoden / Verfahren / Vorgehensweisen der Informationssammlung und Auswertung (z.B. Befragung, Inhaltsanalyse, Tests, Korrelationsrechnung)

20.10.2007 Prof. Dr. Helmut Kromrey - Berlin 3

Prof. Dr. Helmut Kromrey – http://www.ProfKromrey.de - eMail: [email protected]

Zum Begriff anwendungsorientierte oder praxisorientierte

versus disziplinorientierte Sozialforschung

Zentrale Funktion:

disziplinorientierte Sozialforschung:

„Aufklärung“ (enlightenment) durch Veröffentlichung

Wissensorientierung / Erklärung / Verallgemeinerung

praxisorientierte Sozialforschung:

Wissensübertragung (Transfer) durch Beratung

Handlungsorientierung / Beeinflussung / Situationsbezogenheit





Einfluß auf „Praxis“ und „Politik“:

disziplinorientierte Sozialforschung (indirekt): Revision veralteter Auffassungen Neuformulierung von Zielen und Prioritäten

praxisorientierte Sozialforschung (direkt): Erweiterung und Konkretisierung der Informationsbasis

über Beteiligte und Betroffene („stakeholder“) maßnahmenbezogene Zielformulierung Maßnahmenentwicklung und –implementation Erfolgskontrolle





Feedback(aus der Praxis / aus der Öffentlichkeit):

disziplinorientierte Sozialwissenschaft:

kein direktes Feedback (außer bei Rezensionen von Veröffentlichungen)

verwertungsneutrale Erweiterung des Wissensbestandes

praxisorientierte Sozialforschung:

direktes Feedback durch Nutzer

bedarfsorientierte Bereitstellung und Aufbereitung von Informationen



Politik und Planung

Erfolgs-Kontrolle

Bestands-Analyse

Formulierungvon

Handlungs-alternativen

Entscheidung

Vorauswahl

Status-quo-Prognose

GrobeWirkungs-analyse

Wirkungs-analyse

Durchführung

Definitionder Zielkriterien und

Zielgewichtung

Schema des kontinuierlichen Planungsprozessesaus: J. Eekhoff, R. Muthmann u.a.: Methoden und Möglichkeiten der Erfolgskontrolle, Bonn-Bad Godesberg 1977, S. 18



Politik und Planung„Versagen“ der Wissenschaft

• den in sich stimmigen, widerspruchsfreien Zielsystemen fehlte die Entsprechung in der Realität

• Zielkataloge können nicht so flexibel sein, dass sie Wertewandel antizipieren

• zu große Komplexität der sozialen Realität, um in gesamtgesellschaftlichen Indikatorensystemen abgebildet zu werden

• Status-quo-Rechnungen erwiesen sich als fehleranfällig; bei sich ändernden Randbedingungen wurden sie wertlos; erst recht gilt dies für die tiefer gehenden Wirkungsanalysen oder Folgeabschätzungen

• Modellrechnungen müssen notwendigerweise Komplexität so stark reduzieren, dass sie realitätsfern werden

Fehler des Planungsmodells

• Probleme in der Implementationsphase wurden übersehen



Politik und PlanungAlternative: „experimentelle Politik“

• statt fehlerbehaftete formalisierte Planungs- und Entscheidungs-modelle anzuwenden, macht sich die Politik den Königsweg der Grundlagenforschung zunutze: das kontrollierte Experiment

• indikatorengestützte Politik wird auf die Routinefragen reduziert

• bei innovativen Vorhaben sollen Pilotprojekte und „rückholbare“ Feldversuche die für Entscheidungen notwendigen Erfahrungen liefern

• die Feldexperimente werden jeweils wissenschaftlich begleitet (Monitoring der Implementation, Messung der bewirkten Veränderungen des Programms, Zurechnung der Wirkungen zu den Maßnahmen, Identifikation ungeplanter Auswirkungen) und analysiert

• Wissenschaft wird so wieder angewandten Sozialforschung und zum Lieferanten empirisch abgesicherter Informationen, ist aber nicht mehr direkt eingebunden in den politischen Planungs- und Entscheidungsprozess



Wissenschaftliche Begleitung und Programmwirkungsforschung

HANDLUNGSPROGRAMM (Maßnahmen/Instrumente)

PROGRAMMZIELE

PROGRAMMUMWELT

EFFEKTE (beabsichtigte und nicht- beabsichtigte Wirkungen = Kriterien der Zielerreichung)



(ethisch-moralischgeprägt)

(Abhängigkeit/mgl. Konflikte)

(win-win-Situation)

Politik undVerwaltung

Wissenschaft

Evaluation

Öffentlichkeit

(nach Th. Widmer, 2000: Qualität der Evaluation, S. 82)


11


Evaluation: ein Begriff – verschiedene Konzepte

Evaluation: ein Begriff – verschiedene Konzepte


12


„Evaluation“„Evaluation“

Was IST das? Erläuterung:

ein Begriff /ein Konzept

ein Resultat / ein Wert-urteil

ein spezifischesHandeln / ein Prozess

symbolische Ebene: eine aus dem Amerika-nischen übernommene Bezeichnung für"Bewerten/Bewertung" / ein Denkmodell fürein systematisches Bewertungsverfahren

zielorientiertes Informationsmanagement:eine (methodisch kontrollierte) verwertungs-und bewertungsorientiertze Form desSammelns und Auswertens von Informationen

Aussage über das Ergebnis des Evaluations-prozesses


13


Der Begriff „Evaluation“ (1)Der Begriff „Evaluation“ (1)

Begriffsverwendungen: Bedeutung:

alltagssprachlich

in der Umfrageforschung

"politisch"

Irgend jemand BEWERTET irgend etwas irgend-wie unter irgend welchen Gesichts-punkten

Überprüfung eines Programms / einer Ein-richtung durch ein zu diesem Zweck berufenesExpertengremium (Resultat: Evaluations-gutachten mit Empfehlungen)

Erhebung und Auswertung bewertender(="evaluierender) Aussagen; Analogie zurMeinungsforschung (s. Politbarometer, Teil-nehmerbefragungen in Seminaren)

empirisch/methodisch: Design für einen spezifischen Typ empirischerSozialforschung (experimentelle / quasi-experi-mentelle Programmforschung, Implementations-und Begleitforschung, Erfolgskontrolle,formative Evaluation)


14


Der Begriff „Evaluation“ (2)Der Begriff „Evaluation“ (2)

alltäglicher Sprachgebrauch wissenschaftlicher Sprachgebrauch

Irgend etwas

bewertet

in irgend einer Weise

nach irgendwelchenKriterien

von irgend jemandem

wird

Programme, Maßnahmen, Organisationen

durch Personen, die zur Bewertung besondersbefähigt erscheinen: Sachverständige, Experten,Betroffene etc.

nach explizit auf den Sachverhalt bezogenen undbegründeten Beurteilungskriterien und ggf.Standards

in einem objektivierten Verfahren, im Rahmeneines im Detail geplanten Evaluationsdesigns

werden

bewertet


15


Der Begriff „Evaluation“ (3)Der Begriff „Evaluation“ (3)Präzisierungen:

existent (neu, alt); in Planung/Entwicklung; bereits implemen-tiertes polit. Programm, Feldversuche, Entwicklungsprojekte;Umfeld eines Programms

unterschiedlicher Bezug zum Gegenstand: außenstehende /unabhängige Wissenschaftler, Auftragsforscher, im ProgrammMitwirkende, externe Berater, engagierte Betroffene, Befürworter/ Gegner

Zielerreichung/Wirkungen/Nebenwirkungen, Effizienz der Durch-führung, Eignung und Effektivität der Maßnahmen, Angemessen-heit / Legitimierbarkeit der Ziele; Perspektiven (Auftraggeber,Betroffene, Durchführende, Allgemeinheit, Sozialverträglichkeit)

qualitative/quantitative Forschungslogik, experimentell/nicht-experimentell; Evaluation im Vorfeld, begleitend, nachträglich;möglichst wenig beeinflussend vs. formativ

wissenschaftlicher Sprachgebrauch

Programme, Maßnahmen,Organisationen

durch Personen, die zur Bewertungbesonders befähigt erscheinen:Sachverständige, Experten,Betroffene etc.

nach explizit auf den Sachverhaltbezogenen und begründetenKriterien und ggf. Standards

in einem objektivierten Verfahren,im Rahmen eines im Detail geplan-ten Evaluationsdesigns

werden

bewertet

Konsequenz für Evaluationsdesign und -methodik: kein allgemeingültiges Design / keine speziellen Evaluations-methoden; "maßgeschneidertes" Vorgehen für jedes Projekt notwendig

Fazit für eine passende DEFINITION: EVALUATION = besondere Form angewandter Sozialwissenschaft (nicht nur-forschung); methodisch kontrollierte, verwertungs- und bewertungsorientierte Form des Sammelns undAuswertens von Informationen. Das ZIEL sind Werturteile mit intersubjektivem Geltungsanspruch.

Die "Besonderheit" von FORSCHUNG ALS EVALUATION liegt nicht in der Methodik der Datengewinnung, nicht inder Begründung und Absicherung ihrer Aussagen, sondern in der Perspektive und im Primat der Praxis.


16


Erkenntnisziele → Evaluation zu welchem Zweck?Erkenntnisziele → Evaluation zu welchem Zweck?

Bezeichnung: Funktionen/Ziele/Prioritäten:

"Forschungsparadigma"

"Entwicklungsparadigma"

"Kontrollparadigma"

Evaluation als Chance für die Gewinnunganwendungsorientierten und transferfähigenGrundlagenwissens, Bindeglied zwischenTheorie und Praxis; wissenschaftliche undmethodische Kriterien stehen im Vordergrund

Evaluation als Beitrag zur Planungsrationalitätdurch Erfolgskontrolle; weitere Kontrollformneben Rechtmäßigkeitskontrolle (Gerichte),politischer Kontrolle (Parlamente) und Wirt-schaftlichkeitskontrolle (Rechnungshöfe);Priorität hat das Programm, methodischeAnsprüche müssen ggf. zurückstehen

Prozeßorientierung, Beitrag zur Programm- oderOrganisationsentwicklung; Evaluation ist nebenForschung auch Beratung; Einbezug derBetroffenen und Beteiligten ("stakeholders");flexibles, situationsoffenes Design



Die Dualität von Politik und Evaluation

Implementation

Entwicklung

Forschung

Beratung

Programm Evaluation

Ziele

des Programms der Evaluation


18


Das „komplette“ Evaluationsdesign:Das dreistufige Verfahren des „peer review“Lieferung der „evaluations-relevanten“

Informationen durch „das Programm“ und die empirische Forschung (Daten zur Programmdurchführung, Selbstbeschreibung und Selbstbewertung durch die Programmverantwortlichen, „Stakeholder“-Befragungen mit Bewertungscharakter)

Bewertung durch externe Experten (peers), die die Funktion von Evaluatoren übernehmen (=subjektive Bewertungen, Geltungsbegründung durch Datenbezug und „Ansehen“ der Experten)

Festlegung des „follow up“ (also der Konsequenzen aus akzeptierten Evaluationsurteilen) durch übergeordnete Instanz oder als Resultat eines Aushandlungsprozesses zwischen den Beteiligten

Lösungsstrategie für die Evaluationsprobleme: „Objektivierung durch Verfahren“. Schwierigkeiten des Verfahrens: Projektmanagement, Konsensfindung über Zuständigkeiten und Verantwortliche


19


Evaluation durch Forschung- das Leitmodell

Evaluation durch Forschung- das Leitmodell


20


PROGRAMMZIELE (u. Ziele der Programmakteure)

Dimensionen des „Evaluationsgegenstands“

HANDLUNGSPROGRAMM (Maßnahmen/Instrumente) (Programmakteure)

PROGRAMMUMWELT („stakeholder“, alternative Ziele)


Das idealtypische Design und methodologische „Leitmodell“:

Evaluation als Programmwirkungsforschung

Das idealtypische Design und methodologische „Leitmodell“:

Evaluation als Programmwirkungsforschung


21


Methodisches (1): Aufgabenen der ProgrammforschungMethodisches (1): Aufgabenen der Programmforschung

"Evaluierung"

Forschungsaufgaben: Arbeitsschritte:

Anhand der Daten aus dem "monitoring" von Programm,Umwelt und Wirkungsfeld: Analyse der Programmzieleund ihrer Interdependenzen; differentielle Zurechnungder Veränderungen auf Programm-Maßnahmen und aufexogene Einflüsse; Vergleich der den einzelnen Maß-nahmen zurechenbaren Effekte mit den angestrebtenZielniveaus.

Messung der "unab-hängigen" Variablen

Messung der "ab-hängigen" Variablen

Messung der "Umwelt"-Einflüsse

Das Handlungsprogramm mit seinen einzelnenMaßnahmen ist präzise zu erfassen (bei Begleit-forschungen: mehrfach = "monitoring")

alle potentiellen exogenen Einflüsse sind zuidentifizieren und präzise zu erfassen (bei Begleit-forschungen mehrfach = "monitoring")

das Wirkungsfeld (beabsichtigte und nicht-beabsichtigteEffekte) ist zu identifizieren; die Wirkungen sindanhand definierter Zielerreichungs-Kriterien (operatio-nalisierter Ziele) zu messen (ggf. kurz-, mittel- und lang-fristig; bei langfristig erwarteten Wirkungen Definition vonschlußfolgernden Indikatoren für spätere Wirkungen)


22


Ins Detail übersetzt: Variablenmodell einer Evaluationsstudie Ins Detail übersetzt: Variablenmodell einer Evaluationsstudie

A

C

B

B

intendierte Effekte kurz-, mittel-, langfristig nicht- intendierte Effekte

D

Erläuterung: (die Pfeile symbolisieren die Wirkungsrichtung): im allgemeinen nicht Gegenstand von Evaluationsstudien A Maßnahmen orientieren sich am "Input" und an den Zielen B Maßnahmen werden durchgeführt und haben "Wirkungen" C "Reifungsprozesse" (Zustände ändern sich im Zeitablauf ohne Einwirkung von "Maßnahmen" D externe Effekte (Wirkungen der Programmumwelt)

Zustände der Realität werden durch Meßinstrumente abgebildet

("Daten"); die verwendeten Untersuchungsmethoden sind jedoch niemals völlig neutral, sondern haben (insbesondere bei wiederholter Anwendung) Auswirkungen auf das Meßergebnis

PROGRAMM- ZIELE

Ausgangs- variablen, "INPUT"- Variablen (Ausgangs- bedingungen, Eingangs- zustände u. -verhalten

OPERATIONS-VARIABLEN (Maßnahmen, "treatments")

PROGRAMM- DURCHFÜHRUNG (Implementation) Prozeß der Ver- mittlung und Um- setzung der Ziele und Operations- variablen durch mehrere Stufen u. Ebenen

OUTPUT"- Variablen (Endverhalten, Endzustand)

UMWELTVARIABLEN; EXOGENE VARIABLEN (Umgebungssituation und -veränderung; andere Programme und Maßnahmen)

UNTERSUCHUNGSDESIGN / ERHEBUNGSMETHODEN / MESSUNG


23


AbbildungDesignstrukturen bei Experimenten (nach Frey/Frenz 1982, 250)

one-group pretest/posttest design

pretest/posttest G1 R M1 + M2 (non)equival.four- control group control groupgroup design G2 R M1 — M2 designdesign(Solo- posttest-only G3 R — M staticmon) control group group-

design G4 R + M comparison

one-shotcase study

Erläuterung:G = Gruppe; R = Randomisierung; M = Messung; + = "treatment"

Methodisches (2): Wirkungszurechnung erfordert „eigentlich“ ein Experimentaldesign

Methodisches (2): Wirkungszurechnung erfordert „eigentlich“ ein Experimentaldesign


24


Methodisches (3): Anforderungen an den Gegenstand und an das theoretische Wissen

Methodisches (3): Anforderungen an den Gegenstand und an das theoretische Wissen

Ziele des Programmsund der Evaluation

Kontrolle über denForschungsablauf

Wissen über dasProgramm und dasWirkungsfeld

Vor der Entwicklung eines Evaluationsdesigns muß Klarheitüber die Ziele sowohl der Untersuchung als auch desProgramms gegeben sein; für die Dauer der Datenerhebungdürfen weder die Ziele noch die wesentlichen Rand-bedingungen sich in unvorhersehbarer Weise ändern.

Die Forschung muß die Kontrolle über den Forschungs-ablauf haben, um die Gültigkeit der Resultate weitestmöglichsicherzustellen.

Vor der Entwicklung eines Evaluationsdesigns müssenbegründete Hypothesen über die Struktur des Gegen-standes wie über Zusammenhänge und Beziehungenzwischen dessen wesentlichen Elementen (Dimensionen)existieren. Erst auf ihrer Basis kann ein Indikatorenmodellkonstruiert, können Meßinstrumente entwickelt, kann übergeeignete Analyseverfahren entschieden werden.

Dimensionen: "Ideale" Anforderungen:


25


Zentrale Voraussetzung für „Evaluation durch Forschung“: eindeutig definierte Ziele

Zentrale Voraussetzung für „Evaluation durch Forschung“: eindeutig definierte Ziele

Wessen Ziele?

Ziel-Mittel-Relationen

Ziele der Evaluation (Auftraggeber, Programmdurch-führende, Evaluatoren)

Ziele des Programms (Entwickler, Finanziers, Träger,Implementatoren, Mitarbeiter, Kontrollinstanzen)

Ziele der "Rezipienten" (Kunden, Betroffene, Nutzer) Notwendigkeit der "Rekonstruktion" durch Forscher

Ebenen der Programm"existenz" und -durchführung (etwaBundesgesetzgebung, Beteiligung der Länder, Regierungs-präs. als Aufsichtsinstanz, Kommunen als Durchführende)

Wissen um geeignete und politisch verfügbare Instrumente direkt/indirekt wirkende Instrumente Unterscheidbarkeit Ziele/Mittel Verschiebung der Eigenschaft Ziel/Mittel je nach Zielgruppe

Zielsystematik Klarheit, Präzision, Eindeutigkeit Zielebenen, -hierarchie, Fristigkeit; Bezug Prozeß/Ergebnis Widerspruchsfreiheit, Konsistenz, Zielkonkurrenz, -konflikt Praktikabilität (Programm) / Operationalisierbarkeit (Eval.)

Kontrollierbarkeit /Bewertung

Zielerreichungskriterien und Erfolgsstandards Problematik bei "rekonstruierten" Zielen Konstanz/Veränderung von Zielen Zurechenbarkeit der Effekte zu Instrumenten

Dimensionen: Fragen/Probleme/Klärungsbedarf:


26


Wer beurteilt nachwelchen Kriterien?Instanzen der Evaluierung

Fragestellungen: Evaluationsdimensionen:

Im "traditionellen" Fall der Programmforschung:Kriterien stammen aus dem Programm (Ziele), Urteilesind wertneutrale "technologische Einschätzungen";versus Bewertung durch programm- und evaluations-externe Instanzen (Experten, Nutzer, Betrtoffene)

Was wird evaluiert?Implementations- oderWirkungsforschung

Wo ist die Evaluationangesiedelt?

Externe oder interneEvaluation

Wann wird evaluiert?Summative oder formativeEvaluation

Analyse von Planung, Durchsetzung, Vollzug (metho-disch: "monitoring"); versus Messung hervorgerufenerEffekte der Maßnahmen (methodisch: Kausalanalyse)

Begleitende Evaluation mit projektbeeinflussenden,"formativen" Rückkoppelungen ("praxisrelevant", abernicht leicht im Sinne von Wirkungskontrolle interpretier-bar); versus zusammenfassende -"summative"-Evaluation nach Projektabschluß (Eval.-gutachten)

Vergabe der Evaluation an Außenstehende (häufig beiöffentlich geförderten Vorhaben, Sicherung von Professio-nalität und Unabhängigkeit); versus Evaluation alsBestandteil der Projektentwicklung (Qualitätsentwick-lung und -sicherung, problemloser Zugang zu Informatio-nen, aber Problem"Objektivität")

Zentrale Voraussetzung für die Durchführbarkeit und Akzeptanz: klare Kompetenzregelzungenen und gutes

Projektmanagement

Zentrale Voraussetzung für die Durchführbarkeit und Akzeptanz: klare Kompetenzregelzungenen und gutes

Projektmanagement


27


Dilemma der ProgrammforschungDilemma der Programmforschung

Evaluation im methodologischen Sinne = Wirkungsforschung

Messung der feststellbaren Veränderungen im (potentiellen) Wirkungsfeld und Zurechnung zu den Maßnahmen als Wirkungen (= gegenwärtige beabsichtigte und nicht beabsichtigte Effekte)

Prognose der (noch nicht eingetretenen, aber zu erwartenden) künftigen Veränderungen und Zurechnung zu den Maßnahmen als Wirkungen (= technologische Wirkungsprognose und Status-quo-Prognose)

Bewertung der eingetretenen und noch zu erwartenden Wirkungen im Lichte der Ziele des Programms sowie der Betroffenen

Das Dilemma: Jede der drei Aufgabendimensionen wirft unlösbare methodologische Probleme auf: Evaluation in diesem Sinne ist aus methodologischer Sicht unmöglich.

Forschungspragmatische Lösung 1: partizipative Programmwirkungsforschung der Einbezug von Beteiligten und Betroffenen sowohl bei den Prognoseaufgaben wie bei den Evaluationsaufgaben (stellvertretendes Aushandeln von Forschungsresultaten und Evaluation; Mediationsmodell).

Forschungspragmatische Lösung 2: partizipative Programmentwicklung und –evaluation unter Einbezug von Beteiligten und Betroffenen (sozialkonstruktivistisches Modell)

Forschungspragmatische Lösung 3: Verlagerung der Evaluation auf Beteiligte und Betroffene (Rückzug der Forschung auf Umfrageforschung; = die vorherrschende Praxis)


28


Evaluation durch Forschung- die vorherrschende Praxis

Evaluation durch Forschung- die vorherrschende Praxis


29


Evaluation per Befragung mit „einfachen“ Fragebögen? Nur kein voreiliger Optimismus!

Evaluation per Befragung mit „einfachen“ Fragebögen? Nur kein voreiliger Optimismus!

Ein Beispiel: In einem Dozentenkurs des HDZ Essen von 1980 hieß es optimistisch: "Urteile (Schätzungen) von Studenten über die Lehre ... sind - wenn man etwa 20-30 Studenten urteilen lässt - zuverlässig wie professionelle Testverfahren". Und: "Sie sind von anderen Merkmalen der Studenten selbst und der Dozenten wenig beeinflusst." (Schmidt, J.: Evaluation. I. Evaluation als Diagnose, Essen 1980, 51 f.)

Leider – jedenfalls bei Verwendung „einfacher“ Fragebögen – alles falsch!

Standardisiertes Befragen ist – entgegen gängigen Vorurteilen – schon ein sehr problematisches Instrument der Informationsgewinnung; es müssen hinsichtlich des Erhebungsgegenstandes und der Forschungskontaktsituation sehr anspruchsvolle Voraussetzungen erfüllt sein, die selten voll erfüllt sind.

Noch problematischer wird es, wenn Befragung als Instrument des „Messens“ eingesetzt werden soll (hier: Qualitätsmessung).

Und da subjektive Werturteile nicht dadurch intersubjektiv werden, dass man einen Durchschnitt daraus bildet, wird es am schwierigsten, wenn Befragung als Methode des Evaluierens dienen soll.


30


„Messen“ - Vorüberlegungen„Messen“ - Vorüberlegungen

Konzeptualisierung der Mess-Aufgabe: Präzisierung der Problemstellung dimensionale und semantische Analyse präzise Definition der Begriffe ggf. Auswahl und Begründung von Indikatoren Absicherung der Korrespondenz-hypothesen für die Indikatoren Auswahl der Untersuchungsobjekte („Merkmalsträger“)

Überlegungen zur „Messbarkeit“ der Indikatoren (= Möglichkeit der „Abbildung“ der empirischen Ausprägungen in Symbole):

„Dimensionalität“ (nur „eindimensionale“ Indikatoren können eindeutig abgebildet werden)

Bedeutungs“niveau“ der Begriffe notwendiger Differenzierungsgrad der Mess-Informationen (= „

Variablen“-Definition)

Überlegungen zur „Standardisierung“ der Mess-Situation (Sicherung der Identität der Messoperationen und der Kontextbedingungen für jede einzelne Messung)


31


StandardisierungStandardisierung

MESSEN = standardisierte Erhebung standardisierter Informationen („Daten“)

STANDARDISIERUNG = die Kontextbedingungen des Datenabrufs sind für jeden

einzelnen „Fall“ identisch die Messvorschriften sind für jeden einzelnen „Fall“

identisch und werden von allen Beteiligten in identischer Weise angewandt

Beispiel standardisierte Befragung: identisches Instrument (Fragebogen), identische

Interviewsituation, identisches Interviewerverhalten für jede/n Befragte/n

jede Frage ist für jede befragte Person identisch (d.h. wird semantisch identisch verstanden)

jede gewählte Antwortvorgabe wird von jeder antwortenden Person in identischer Weise zugeordnet


32


Mess-ModelleMess-Modelle

Messen als strukturtreue Abbildungempirische StrukturSymbolsystem

(Zuordnungsregeln)

Willkürliche Messung (Messen durch Festsetzung, measurement by fiat)theoretischer BegriffSymbolsystem

(Zuordnungsregeln)

Messung durch Befragungtheoret. Begriff Frage(n)Symbolsystem

(Operationalisierung) (??Zuordnungsregeln??)


33


Messen als strukturtreue AbbildungMessen als strukturtreue Abbildung

Objekt /Merkmalsträger

Merkmal

Begriff Variable

MESSUNGdurch messende Person

Daten

Messinstrument / Messvorschrift


34


Messung durch BefragungMessung durch Befragung

entweder:Befragte Person ist „Informant“; d.h. sie gibt unter standardisierten Bedingungen Auskunft über Sachverhalte und Merkmale = sie ist die „messende Person“, Antworten sind „Messwerte“

Voraussetzungen für das „Messen durch Befragung“

oder:Befragte Person ist „Versuchsperson“; d.h. sie wird mit dem Stimulus „standardisierte Frage“ konfrontiert, ihre Antwort ist eine „Reaktion auf den Stimulus“ (ein Indikator für den gesuchten Messwert), Interviewer/in beobachtet und protokolliert die Reaktion auf den Fragestimulus = Interviewer/in ist die „messende Person“


35


Problem: „quantifizierendes“ Messen durch BefragungProblem: „quantifizierendes“ Messen durch Befragung

formale Voraussetzungen, die für eine „Messung“ erfüllt sein müssen:

der „Gegenstand“ (das Objekt) der Beurteilung ist eindeutig definiert das zu messende „Merkmal“ (Variable) ist eindeutig definiert und

operationalisiert eine „Mess-Skala“ (Vergleichsmaßstab) existiert und ist eindeutig definiert

(incl. eindeutiger Skalen-Endpunkte sowie unterscheidbarer Abstufungen zwischen den Skalen-Endpunkten)

Befragte sind in der Lage, den „Gegenstand“ intersubjektiv überein-stimmend zu identifizieren, das zu messende „Merkmal“ intersubjektiv übereinstimmend zu erkennen (identische Semantik + identische Perspektive) und die „Mess-Skala“ in intersubjektiv übereinstimmender Weise darauf anzuwenden (= Messung durch Vergleich der Merkmals-ausprägung eines Objekts mit einem Vergleichsmaßstab, Übersetzung dieses Vergleichs in Skalenpunkte)


36


Problem2: „evaluierendes“ Messen durch BefragungProblem2: „evaluierendes“ Messen durch Befragung

Erfüllt sein müssen zunächst die formalen Voraussetzungen für eine „Messung“; hinzu kommen als weitere Anforderungen:

Neben dem „Kriterium” der Beurteilung („Qualitäts-Merkmal”) ist ein „Standard” der Beurteilung zu definieren: Wann ist etwas „gut”, wann „schlecht”, wann „mittelmäßig”? etc.

Dieser „Standard” ist von allen Evaluierenden in intersubjektiv übereinstimmender Weise anzuwenden.

Und auch das noch...Erforderlich ist die grundlegende Entscheidung:

Soll die befragte Person Auskunft über sich selbst und ihren Bezug zum Gegenstand der Bewertung geben? (“Akzeptanzaussage”)

Oder soll sie eine “quasi-objektive” Beurteilung des zu bewertenden Gegenstands vornehmen? (“Evaluationsaussage”)


37


Trotzdem Befragung auch zum Zwecke der Evaluation?Trotzdem Befragung auch zum Zwecke der Evaluation?

Natürlich! Eine bessere Alternative (im Sinne von „universell anwendbar“) kann die empirische Sozialforschung nicht anbieten.

Aber... Jede Antwort auf eine in der Situation

„Forschungskontakt“ gestellte Frage ist eine subjektiv gefärbte, interpretationsbedürftige „Information“.

Nur unter besonderen (selten erfüllten) Bedingungen ist sie auch ein „Messwert“.

Und nur unter weiteren (und noch seltener erfüllten) Bedingungen kann sie auch eine „intersubjektiv geltende“ Evaluation sein (z.B. bei einem Programmziel: Akzeptanz).

Für den Normalfall gilt: Das Erheben und Aufbereiten bewertender (=evaluierender) Aussagen liefert wichtige Informationen für die Evaluation, ist aber für sich genommen noch nicht die „Evaluation“!

Zur „Evaluation“ gehört ein Gesamtprojekt, in dem Befragungen ein wichtiges Instrument der Gewinnung evaluationsrelevanter Informationen sind.


38


Es gibt keine 'objektiven' Methoden zur Geltungsbegründung von Subjektivem

Es gibt keine 'objektiven' Methoden zur Geltungsbegründung von Subjektivem


39


Bewertung durch Forschung?Bewertung durch Forschung?

Ziel von Evaluation: empirisch gestützte Bewertungen mit intersubjektivem Geltungsanspruch

Evaluationsforschung: (durch das Ziel „Bewertung“ geprägte) spezifische Form anwendungsorientierter Forschung; methodisch kontrollierte, verwertungs- und bewertungsorientierte Form des Sammelns und Auswertens von Informationen


40


Aber Forschung kann nicht: Werturteile wissenschaftlich begründen

Aber Forschung kann nicht: Werturteile wissenschaftlich begründen

ihr methodologisches Problem: Legitimation des Anspruchs „empirisch gestützte Bewertungen mit intersubjektivem Geltungsanspruch“ zu formulieren; denn:

Nach gängiger wissenschaftstheoretischer Überzeugung geht eines nicht: empirische Begründung von Bewertungen durch Forschung (auch aus korrekten Beschreibungen und Analysen sind keine normativen Aussagen ableitbar);

Möglich ist lediglich, Forschung zum Zwecke von Bewertungen (s. den Stellenwert empirischer Daten im mehrstufigen Modell des peer review)

die Geltungsbegründung empirischer Analysen folgt einer anderen Logik als die Geltungsbegründung normativer Aussagen; für die ersteren gibt es in der vorherrschenden Wissenschaftstheorie klare Regeln, für die letzteren nicht

Zwei Lösungsmöglichkeiten: (1) Evaluation auf Tatsachenaussagen reduzieren oder: (2) Evaluation ‚externalisieren‘


41


PROGRAMMZIELE (u. Ziele der Programmakteure)

Dimensionen des „Evaluationsgegenstands“

HANDLUNGSPROGRAMM (Maßnahmen/Instrumente) (Programmakteure)

PROGRAMMUMWELT („stakeholder“, alternative Ziele)


Fall 1a: Evaluation als Programm(wirkungs)forschung

Fall 1a: Evaluation als Programm(wirkungs)forschung


42


Fall 1b: Evaluation als Qualitätsmessung durch

Indikatoren

Fall 1b: Evaluation als Qualitätsmessung durch

Indikatoren

Ziel: Die Bewertung „objektivieren“ (d.h. am zu bewertenden „Objekt“ festmachen) dadurch, dass „qualitätsrelevante“ Merkmale gemessen werden.

Voraussetzung: Das Konstrukt „Qualität“ ist so zu definieren, dass seine Dimensionen als Merkmale des Gegenstands erscheinen.

Methodologisch ist dann „nur“ noch die Aufgabe zu lösen, diese Qualitätsdimensionen so durch Indikatoren zu operationalisieren, dass sie als situationsunabhängige „Qualitäts-Messwerte“ gelten können.


43


Fall 2: Evaluation durch BefragungFall 2: Evaluation durch Befragung

Siehe Zitat aus dem Dozentenkurs des HDZ Essen von 1980 zum Thema Lehrevaluation:

"Urteile (Schätzungen) von Studenten über die Lehre ... sind − wenn man etwa 20-30 Studenten urteilen lässt − zuverlässig wie professionelle

Testverfahren". Und: "Sie sind von anderen Merkmalen der Studenten selbst und der Dozenten wenig beeinflusst." (Schmidt, J.: Evaluation. I. Evaluation als Diagnose, Essen 1980, 51 f.)

Sofern dies zuträfe, wäre die Evaluation per Befragung der Königsweg zur Lösung aller Probleme der Evaluationsforschung, insbesondere auch der Werturteilsproblematik.

Als Modell zur (intersubjektiven) ‚Messung‘ von Qualität ist es allerdings eher ein ‚Holzweg‘. Die Stärke von Evaluationsbefragungen liegt in ihrer Funktion der Lieferung ‚evaluationsrelevanter‘ Daten über und aus der Perspektive von stakeholdern.


44


Grundlegendes Problem für alle Modelle: „Qualität“Grundlegendes Problem für alle Modelle: „Qualität“

„Qualität“ (also der abzubildende Gegenstand) kann nicht als Merkmal des zu bewertenden Objekts selbst gesehen werden, sondern als relationales Merkmal: als Eignung, Brauchbarkeit, Güte in Bezug auf bestimmte Ziele und Zwecke sowie auf bestimmte Nutzer- und Klientengruppen.

Beim Modell der Programmevaluation wird konsequenterweise Qualität = Erfolg (also Eignung, Brauchbarkeit, Güte in Bezug auf bestimmte Ziele und Zwecke) gesetzt.

Beim Indikatorenmodell ist Qualität = Eigenschaft des Objekts. Anders als beim Modell der Programmevaluation existiert aber nicht dessen methodologische Problemlösung (nämlich vom Programm vordefinierte Ziele und Maßnahmen).

Beim Befragungsmodell schließlich gilt: Qualität = Qualitätswahrnehmung der urteilenden Person (an die Stelle ‚objektiver‘ Qualität tritt statistisch ermittelte ‚intersubjektive‘ Qualität)


45


GedankenexperimentGedankenexperiment

Qualität von Autoreifen ?:

Stadtverkehr, Landstraßen, Autobahn; „Normalfahrer“, LKW-Fahrer, Rennsportler; Rallye Paris-Dakar, Formel I

Date post:	06-Apr-2015
Category:	Documents
Upload:	cundrie-zerfas
View:	120 times
Download:	4 times

Prof. Dr. Helmut Kromrey – FU Berlin – kromrey - eMail: [email protected]...

Documents