Post on 17-Aug-2019
transcript
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Versorgungsforschung: erweiterte Anforderungen durch die Evaluation von Systeminterventionen -Implementierungsforschung
Univ.-Prof. Dr. Holger PfaffUniversität zu Köln
15. DKVF 2016, 6.10.2016Berlin
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Gliederung Ausgangslage Versorgungsinnovation Systemintervention Implementationsforschung Systemintervention erfordert komplexe Evaluation Konsequenzen für die Evaluation und Qualitätsentwicklung
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Komplexe Intervention: Definition
Komplexe Interventionen bestehen aus mehreren Komponenten, die unabhängig voneinander oder in Interaktion miteinander auf mehrere abhängige Variablen einwirken können
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Beispiel Innovationsfonds Komplexe Interventionen Programme mit oft bis zu 10 Teilprogrammen/Modulen Programme mit Implementierung plus Gesundheitsleistung Programme, die den Kontext der Erbringung der
Gesundheitsleistung beeinflussen (z.B. Koordination von Professionen)
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Gliederung Ausgangslage Versorgungsinnovation Systemintervention Implementationsforschung Systemintervention erfordert komplexe Evaluation Konsequenzen für die Evaluation und Qualitätsentwicklung
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Aderhold, Jens (2005): Gesellschaftsentwicklung am Tropf technischer Entwicklungen. In: J. Aderhold & R. John (Hg.): Innovation. Sozialwissenschaftliche Perspektiven. Konstanz: UVK Verlagsgesellschaft: 13-32.
InnovationWas ist eine Innovation? nicht nur eine neue Idee
Von einer Innovation ist somit erst dann zu sprechen, nachdem sich eine Idee, ein Produkt, ein Verfahren oder eine Veränderung durchgesetzt hat.Aderhold 2005: 31
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Beispiele: Prozessinnovation: S3-Leitlinien; Strukturinnovation: Einführung von Brustzentren; Diagnoseinnovation: Einführung eines neuen Screeningverfahrens; Therapieinnovation: Einführung eines neuen Blutdruckmedikaments
Innovationstypen im Gesundheitswesen
Innovation
Produkt-innovation
Struktur-innovation
Prozess-innovation
Diagnose-innovation
Therapie-innovation
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Drei Königswege zu mehr InnovationKonsensbasierte Innovation:Experten müssen zu einem informellen oder formellen Konsens kommen (z.B. S1/S2-Leitlinien der Fachgesellschaft)
Evidenzbasierte Innovation:Ex-ante-Evaluation, dann Übertragung
Prinzip: Evidenzbasierte MedizinVorteil: RichtungssicherheitProbleme: Vergangenheitsorientierung & Innovationsverzögerung
Lernbasierte Innovation: Ex-post-Evaluation und kontinuierlicher Verbesserungsprozess;
Prinzip: Industrie; Kennzahlen/BenchmarkVorteil: InnovationsförderlichProblem: Richtungsunsicherheit
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Gliederung Ausgangslage Versorgungsinnovation Systemintervention Implementationsforschung Systemintervention erfordert komplexe Evaluation Konsequenzen für die Evaluation und Qualitätsentwicklung
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Systemintervention = komplexe Intervention in ein oder mehrere Systeme, vor allem soziale Systeme
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Versorgungsinnovationen =
Technische
Innovation
Soziale
Innovation
Medizinische
Innovation
Psychologische
Innovation+ + +
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Pfaff, H.: Konzepte und Methoden der Versorgungsforschung. in: Psychiatrie, 1: 2004
Methodenvielfalt bei komplexen Interventionen
Gegenstand der Versorgungs-forschung
Menschlicher Körper Medizintechnik
Denken, Fühlen, Verhalten und subjektives Befinden der Akteure im Versorgungs-system
Wechselseitiges Verhalten der Akteure (Individuen und Organisationen) im Versorgungs-system
Systemtyp Menschlicher Organismus
Technisches System (Maschinen)
Psychisches System
Soziales System
Datenart Biomedizinische Daten Technische Daten Psychosoziale
Daten
Sozio-ökonomische Daten
Datengewinnung
Methoden der klinischen Forschung und der Biomedizin
Methoden der Ingenieur-wissenschaften
Methoden der empirischen Sozialforschung
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Erkenntnisse der Systemtheorie zu den sozialen Systemen
Autopoietische vs. allopoietische Systeme Typische autopoietische Systeme sind psychische Systeme,
organische Systeme und soziale Systeme Autopoietische Systeme sind selbstreferentielle Systeme Autopoietische Systeme „schmoren im eigenen Saft“ und
entwickeln ein Eigenleben mit Eigengesetzlichkeiten Autopoietische Systeme lassen sich kaum direkt beeinflussen
und reagieren vor allem auf Störungen und Angebote Bild: Menükarte im Restaurant
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
In Anlehnung an: Kiss, Gabor: Grundzüge und Entwicklung der Luhmannschen Systemtheorie ; 1990 ; Abb.1 ; S.30 ; Ferdinand Enke Verlag Stuttgart
Einteilung von Systemen (nach Luhmann)Systeme
Maschinen Organismen
psychische soziale SystemeSysteme
Interaktion Organisationen Gesellschaften
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Strukturen und Prozesse der Versorgungs-organisationen
Kranken- & Gesund-heitsversorgung
- Qualität - Preis/Kosten - Humanität der Arbeit - Quantität
Management
Ressourcen
Systemtheorie: Die unberechenbare Wirksamkeit von Management und Managementtechniken
Angebote und Anregungen statt Weisungen und blinder Gehorsam
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Gliederung Ausgangslage Versorgungsinnovation Systemintervention Implementationsforschung Systemintervention erfordert komplexe Evaluation Konsequenzen für die Evaluation und Qualitätsentwicklung
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Innovation
Kranken- & Gesundheits-versorgung• Qualität• Preis/Kosten• Humanität der Arbeit• Quantität
„Verwässerte“ WirkungEingebaute Innovation
Organisation
Implementation
Gesamtwirkung
„Reine “ Wirkung (klinische Studie)
• In Anlehnung an: Pfaff H et al. Methoden für die organisationsbezogene Versorgungsforschung. Gesundheitswesen 2009; 71: 777-790.
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
IV Herne – Beispiel für Implementierungsschwierigkeiten
• Die zu Projektbeginn befragten Hausärzten (n = 3) begründen ihre bislang nur geringe Teilnahmeaktivität mit einer generellen Praxisbelastung.
• Zudem zeigt sich ein Informationsdefizit hinsichtlich der einzuschreibenden Zielpopulation.
• Trotz der inzwischen etablierten Praxisentlastung durch eine Projekt-Krankenpflegerin wird ein ärztlicher Unterstützungsbedarf bei der Versicherteneinschreibung geltend gemacht.
• Die zum Projektende befragten aktiven Hausärzten (n = 3) betonen die Notwendigkeit einer Erinnerung und des kollegialen Austauschs zur Modellrealisierung.
Karbach, U., Steinhausen, S., Dietrich, A., Pientka, L., Pfaff, H.: Die Umsetzung eines integrierten Versorgungsmodells für hochbetagte Menschen aus hausärztlicher Sicht. Zeitschrift für Allgemeinmedizin 2013; 89(1): 16-22.
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Unabhängig davon, wie groß der objektive Nutzen einer Innovation ist, wird eine Innovation umso schneller angenommen, je größer ihr subjektiver Nutzen ist.
Eine Innovation, die nicht kompatibel zu den gegebenen Umständen und Normen eines sozialen Systems ist, wird langsamer angenommen, als eine kompatible Innovation.
Komplexe und komplizierte Innovationen werden langsamer angenommen, als einfach zu verstehende Innovationen.
Relativer Vorteil
Kompatibilität
Komplexität
Determinanten der Verbreitung von Innovationen (nach Rogers)
Rogers, E.M: Diffusion of innovations. 5th ed., The Free Press, New York 2003
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Determinanten der Verbreitung von Innovationen (nach Rogers)
Innovationen, die in Teilen von ihrer Einführung zu testen sind, werden schneller angenommen als Innovationen, die komplett eingeführt werden.
Je mehr die Resultate und Ergebnisse einer Innovation sichtbar sind, umso schneller wird die Innovation angenommen.
Testbarkeit
Beobachtbarkeit
Rogers, E.M: Diffusion of innovations. 5th ed., The Free Press, New York 2003
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Idealistische vs. materialistische Position
• Idealistisch = Ideen & Haltungen sind zentral für Wandel/Nicht-Wandel
• Materialistisch = Geld & Macht sind zentral für Wandel/Nicht-Wandel
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Beispiel für Widerstand gegen Wandel: Manager einer Krankenhaus- Kette: Entwicklung von
Behandlungspfaden
• Sollte jedes einzelne Krankenhaus/ jede Abteilung seine eigenen Behandlungspfade entwickeln?
• resistance to change : „Wir sind anders“
• „Not invented here“
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Warum haben wir Angst vor Wandel?
• Angst vor Bewältigungsproblemen
• Bedürfnis nach Sicherheit und Gemeinschaft (Wandel als Bindungsverlust)
• Bedürfnis nach Tradition und Routinen (reduzierte Komplexität, stabile Rollenerwartungen, Habitualisierung von Verhalten)
• Angst vor Verlusten (z.B. finanzielle Verluste)
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Change Management
Change Managementist ein geplanter, zielgerichteter Prozess der Herbeiführung eines
1. Struktur- und Prozesswandels+
2. Bewusstseins- und Verhaltenswandels
zur Anpassung an Umweltveränderungen oder eigene Strategien
______________________________________________________________________Struktur- und Prozesswandel =>Technik und OrganisationBewusstseins- und Verhaltenswandel => Mensch und Menschen
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Change Management: Kritische Phasen
Kritische Phasen im Change Management-Prozess
1. Der Anfang: Widerstand gegen Wandel
2. Der Prozess: Hilflosigkeit
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
„Kühlschrankmodell“ der Organisationsentwicklung
unfreezing ------> moving ------> freezing
(Kurt Lewin)
Kurt Lewin (1947): Frontiers in group dynamics, Human Relations, Vol. 1, No. 1, S. 5-41
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Change Management-Prinzipien
1. Mitnehmen und Beteiligen1. des Menschen2. der Menschen am Prozess des Wandels
2. Widerstand zulassen und zum Ausdruck kommen lassen3. Dem Widerstand auf den Grund gehen
- Verstehen, was los ist- Verstehen, was „uns im Innersten zusammenhält“
4. Die Menschen begleiten und coachen
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Hilflosigkeit und Prozessbegleitung
• Erfahrung: – die meisten Mitarbeiter sind mit den Veränderungsprozessen
überfordert– Sie wissen oft nicht, wie sie die Dinge konkret „anpacken“ sollen– Sie haben das nicht gelernt
• Prozessbegleitung ist Unterstützung bei der Bewerkstelligung der Veränderung
– Hilfe zur Selbsthilfe
• Man darf die Beteiligten im Veränderungsprozess nicht alleine lassen
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Gliederung Ausgangslage Versorgungsinnovation Systemintervention Implementierungsforschung Systemintervention erfordert komplexe Evaluation Konsequenzen für die Evaluation und Qualitätsentwicklung
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Komplexe Evaluation = Formative + summative + Struktur- + Prozess- + Ergebnis- + ex-ante- + ex-post- + Mehrebenen- + theoriebasierte Evaluation
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Pfaff, H. (2001). Evaluation und Qualitätssicherung des betrieblichen Gesundheitsmanagements, in: H. Pfaff & W. Slesina: Effektive betriebliche Gesundheitsförderung. Juventa: Weinheim, S. 27-49Bortz, J./Döring, N. (1995): Forschungsmethoden und Evaluation (2. Auflage), Berlin u.a.: SpringerBowers, D.G./Franklin, J.L. (1977): Survey-Guided Development I: Data-Based Organizational Change, La Jolla/California: University Associates
Formative Evaluation Bei der formativen Evaluation „werden die Durchführung der Intervention und deren Wirkung
fortlaufend kontrolliert. Wenn die Evaluation ergibt, dass eine Änderung der Intervention
erforderlich ist, wird diese vom Evaluierenden angeregt (Bowers/Franklin 1977). Im Rahmen der formativen Evaluation werden regelmäßig
Zwischenergebnisse erstellt mit dem Ziel, „die laufende Intervention zu modifizieren oder zu verbessern“ (Bortz/Döring 1995: 107)“ (Pfaff 2001: 30)
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Bortz, J./Döring, N. (1995): Forschungsmethoden und Evaluation (2. Auflage), Berlin u.a.: SpringerBowers, D.G./Franklin, J.L. (1977): Survey-Guided Development I: Data-Based Organizational Change, La Jolla/California: University Associates; Cook, T.D./Campbell, D.T. (1979): Quasi-Experimentation. Design & Analysis Issues for Field Settings, Boston u.a.: Houghton Mifflin Company; Weiss, C.H. (1974): Evaluierungsforschung. Methoden zur Einschätzung von sozialen Reformprogrammen, Opladen: Westdeutscher VerlagPfaff, H.(2001). Evaluation und Qualitätssicherung des betrieblichen Gesundheitsmanagements, in: H. Pfaff & W. Slesina: Effektive betriebliche Gesundheitsförderung. Juventa: Weinheim, S. 27-49
Summative Evaluation „Die summative Evaluation erfolgt nach Abschluss der
Intervention und prüft, ob die Intervention (Maßnahme, Programm, Managementsystem) erfolgreich war.
Sie stellt eine endgültige Bewertung einer Sache dar und erfolgt im Idealfall mit Hilfe von experimentellen oder quasi-experimentellen Methoden (Weiss 1974; Cook/Campbell 1979; Bortz/Döring 1995).
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Pfaff, H. (2001). Evaluation und Qualitätssicherung des betrieblichen Gesundheitsmanagements, in: H. Pfaff & W. Slesina: Effektive betriebliche Gesundheitsförderung. Juventa: Weinheim, S. 27-49
Struktur-, Prozess- und Ergebnisevaluation Wird geprüft, ob mit einer Maßnahme oder einem Programm die
beabsichtigte Strukturqualität erreicht wurde, sprechen wir von einer Strukturevaluation. Steht die Frage im Vordergrund, ob die geplanten Prozesse
qualitativ gut realisiert wurden (hohe Prozessqualität), ist eine Prozessevaluation gegeben. Eine Ergebnisevaluation wird angestrebt, wenn festgestellt
werden soll, ob mit einer Maßnahme oder einem Programm die beabsichtigten Zwecke erreicht wurden.
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Pfaff, H. (2001). Evaluation und Qualitätssicherung des betrieblichen Gesundheitsmanagements, in: H. Pfaff & W. Slesina: Effektive betriebliche Gesundheitsförderung. Juventa: Weinheim, S. 27-49
Ex-ante- vs. Ex-post-Evaluation Die Ex-ante-Evaluation findet vor der praktischen Anwendung
der Intervention statt und basiert auf der Methode der summativen Evaluation.
Von einer Ex-post-Evaluation kann man sprechen, wenn man Interventionen in geplanter Weise nachträglich hinsichtlich der Erreichung angestrebter Struktur-, Prozess- und Ergebnisziele bewertet.
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Pfaff, H. (2001). Evaluation und Qualitätssicherung des betrieblichen Gesundheitsmanagements, in: H. Pfaff/W. Slesina: Effektive betriebliche Gesundheitsförderung. Juventa: Weinheim, S. 27-49
Mehrebenen-Evaluation
Ziel der Evaluation
Evaluationsform Beispiel
Management Managementevaluation Evaluation des Rehabilitations-
managements
Programm Programmevaluation Evaluation des Rehabilitationsprogramms
Maßnahme Evaluation des Maßnahmentyps
Evaluation des Betrieblichen Eingliederungsmanagements/des Konzepts der Technischen Assistenz
Einzelmaßnahme Evaluation einer konkreten Maßnahme
Evaluation des konkreten Rehabilitationskurses, der von XY durchgeführt wurde
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Gliederung Ausgangslage Versorgungsinnovation Systemintervention Interventionsforschung Systemintervention erfordert komplexe Evaluation Konsequenzen für die Evaluation und Qualitätsentwicklung
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
STUFE 1
Vorab-Qualitätssicherungdurch experimentelle, quasi-experimentelle oder korrelative Studien im Wissenschaftsbetrieb
Akteur: Wissenschaft
STUFE 2
Vor-Ort-Qualitätssicherungdurch evidenzbasierte Pla-nung und Evaluation der Planausführung
Akteur: Planer und Arztpraxis bzw. Krankenhaus
STUFE 3
Qualitätsentwicklung durch Alltags-Evaluation (Ex-post-Evaluation)
Akteur: Arztpraxis/Krankenhaus
C
Erfahrungsbasiertes Wissen (C1) und/oder theoretisches Wissen (C2)
(Keine empirische Evidenz)
B
Expertenkonsens Konsens unter Wissen-schaftlern
(Evidenzstufe IV)
A
Vorher-Evaluation durch Wissenschaft Basis: Summative Evaluation
(Evidenzstufen I bis III)
E
Nicht evidenzbasierte, theorie- oder nichttheoriegeleitete • Maßnahmen, • Programme & • Managementsysteme
Struktur- und Prozessevaluation
D
Evidenzbasierte • Maßnahmen, • Programme & • Managementsysteme
G
Evaluation der • Maßnahmen, • Programme & • Managementsysteme
(formativ & summativ)
F
Situationsangepasste (evidenzbasierte)
• Maßnahmen, • Programme & • Managementsysteme
Ergebnis-evaluation
Ziel: Effektivität, Effizienz und Qualität der Maßnahmen, Programme und/oder
Managementsysteme Evidenz + Lernen = Erfolg
Ex-post-Evaluation
Ex-ante-Evaluation
Qualitäts-entwicklung
+
+
7
6
45
321
Universität zu KölnHumanwissenschaftliche FakultätMedizinische Fakultät
Institut für Medizinsoziologie,Versorgungsforschung und Rehabilitationswissenschaft
Vielen Dank für Ihre Aufmerksamkeit!
IMVR Institut für Medizinsoziologie, Versorgungsforschung
und Rehabilitationswissenschaft der Humanwissenschaftlichen Fakultät und der
Medizinischen Fakultät der Universität zu Köln
www.imvr.de