1
Beschwerdenvalidierung in der psychiatrischen Begutachtung. Ein Blick auf den BEVA und den SFSS
Hannoversche Werkstattgespräche Rehabilitation 15.05.2018 Dozentin: Dr. Franziska Walter, Dipl.-Psych. Zentrum für Klinische Psychologie und Rehabilitation der Universität Bremen
2
Anzahl der Rentenzugänge wegen verminderter Erwerbsfähigkeit nach 1. Diagnose
3
Einleitung
0
5
10
15
20
25
30
Somatoforme Beschwerden Depressivität Phobische Ängste
Mitt
elw
erte
Skalen der HEALTH-49
IS (Depression)
DP
KG
IS (Schmerz)
SP
p= .000 d= 0.74
p= .000 d= 0.82
p= .000 d= 1.06
p= .000 d= 1.66
p= .000 d= 2.34
p= .000 d= 2.26
Instruierte Simulant*innen (Depression)
Patient*innen mit Depressionen
Gesunde Kontrollgruppe
Instruierte Simulant*innen (Schmerz) Schmerzpatient*innen
Symptom- und Beschwerdefragebögen sind sehr anfällig für Antwortverzerrungen (Walter, Petermann, Dietrich & Kobelt, 2013)
4
Einleitung
• das Motiv „die Rente bedeutet für mich eine Chance wieder gesund zu werden“ sagt das Kriterium negative Antwortverzerrung vorher (Walter, Geissler, Petermann & Kobelt, 2014)
• Problem: Differentialdiagnostisch können negative Antwortverzerrungen aus vielen Faktoren resultieren (Merten,2014):
Negative Antwortverzerrungen
Simulation Aggravation Somatoforme Störung
Artifizielle Störung
Hilferuf
Testleiter-verhalten
Unlust
Ärger
Frustration
Persönlichkeits-störung
Psychiatrische Erkrankungen
5
Einleitung
• große Variation der Schätzungen der Basisrate von negativen Antwortverzerrungen bei psychischen, neurokognitiven und Schmerzstörungen (vgl. Aronoff et al., 2007; Mittenberg, Patton, Canyock & Condit, 2002; Stevens, Friedel, Mehren & Merten,2008)
6
Prävalenzen negativer Antwortverzerrungen (Plohmann & Hurter, 2017)
Diagnosegruppe Prävalenz N F00-F09 Organische, einschließlich symptomatischer psychischer Störungen 18.4 245
F10-F19 Psychische und Verhaltensstörungen durch psychotrope Substanzen 24.1 54
F20-F29 Schizophrenie, schizotype und wahnhafte Störungen 25.0 4 F30-F39 Affektive Störungen 36.1 119 F40-F49 Neurotische, Belastungs- und somatoforme Störungen 37.7 146 F43.0-F43.1 Reaktionen auf schwere Belastungen und Anpassungsstörungen 43.5 23
F45 Somatoforme Störungen 49.3 71 F50-F59 Verhaltensauffälligkeiten mit körperlichen Störungen und Faktoren 30.4 23
F60-F69 Persönlichkeits- und Verhaltensstörungen 33.3 27 F70-F79 Intelligenzstörung 31.3 16 F80-F89 Entwicklungsstörungen 7.9 38 F90-F98 Verhaltens- und emotionale Störungen mit Beginn in der Kindheit und Jugend 8.3 24
Chronische Schmerzen 31.4 344
7
Verfahren zur Beschwerdenvalidierung
• große Anzahl von neuropsychologischen Beschwerdenvalidierungstests (BVT), die hauptsächlich auf dem Alternativwahlverfahren beruhen
• kontroverse Diskussion, ob neuropsychologische Verfahren für die
Beschwerdenvalidierung bei psychiatrischen Erkrankungen geeignet sind (Bsp. Schmidt, Lanquillon & Ullmann, 2011)
8
BVT für psychiatrische Erkrankungen
Beschwerdenvalidierungstest BEVA • ausschließlich
psychosomatische Symptome • Validierungssstudien:
Erkrankte mit affektiven und somatoformen Störungen bzw. Schmerz und komorbider psychischer Störung
• eher spezifisches Verfahren • Rating anhand einer
viertstufigen Skala (stimmt – stimmt nicht)
• 51 Items
Strukturierter Fragebogen Simulierter Symptome SFSS • nicht ausschließlich
psychiatrische Symptome: Psychosen, affektive Störungen, neurologische Beeinträchtigungen, mnestische Störungen & niedrige Intelligenz
• eher sensitives Verfahren • dichotomes Antwortverhalten
• 75 Items
9
Vergleich von BEVA und SFSS
Auszug aus dem SFSS (Cima et al., 2003)
10
Vergleich von BEVA und SFSS
Auszug aus dem BEVA (Walter, Petermann & Kobelt, 2016)
11
Cut-Off-Wert Ermittlung im BEVA (Walter et al., 2016)
ISU (Depression)
Cut-Off-Wert = 107
Cut-Off-Wert = 84
ISU (Schmerz)
Cut-Off-Wert = 90
Cut-Off-Wert = 82
12
Gütekriterien des BEVA
Validierung (Depression; Cut-Off = 107): Sensitivität =.75 Spezifität =.95 positiv prädiktiver Wert =.90 negativ prädiktiver Wert =.86 Validierung (Schmerz; Cut-Off = 90): Sensitivität =.81 Spezifität =.96 positiv prädiktiver Wert =.97 negativ prädiktiver Wert von =.72
13
Cut-Off Wert Ermittlung SFSS
• ursprüngliche Cut-Off-Wert Ermittlung anhand von Instruierten Simulant*innen, die eine Erkrankung vortäuschen sollten und einer gesunden Kontrollgruppe
• Cut-Off-Wert = 16 • in der Validierung für die deutsche Version Einbezug einer
psychiatrisch-forensischen Stichprobe keine Veränderung des Cut-Off-Werts
sehr sensitives Verfahren Validierung (Cut-Off = 16; einschließlich gesunde Kontrollgruppe): Sensitivität = .87 Spezifität = .86 positiv prädiktiver Wert = .87 negativ prädiktiver Wert = .86
14
1. Fragestellung
Inwiefern ist der Cut-Off-Wert des SFSS auf die Stichprobe von klinisch-psychiatrischen Patient*innen mit einer Erkrankung aus dem Bereich F3 des ICD-10 übertragbar? Ändert sich der Cut-Off Wert des SFSS bei der Anwendung eines Analogstudiendesigns mit einer psychosomatischen Stichprobe, Instruierten Simulant*innen und einer gesunden Kontrollgruppe?
15
Methode
Stichprobe (N=219; Alter: 35-60 Jahre)
Instruierte Simulant*innen Gesunde Kontrollgruppe Klinische Patient*innen
N = 58 N=76 N=85
Männlich: n = 12 Weiblich: n = 46
Männlich: n = 26 Weiblich: n = 50
Männlich: n = 48 Weiblich: n = 37
Kein Schulabschluss: n = 0 Hauptschulabschluss: n = 2 Mittlere Reife: n = 8 Fachhochschulreife: n = 10 Hochschulreife: n = 38
Kein Schulabschluss: n = 0 Hauptschulabschluss: n = 3 Mittlere Reife: n = 8 Fachhochschulreife: n = 15 Hochschulreife: n = 49
Kein Schulabschluss: n = 1 Hauptschulabschluss: n = 25 Mittlere Reife: n = 41 Fachhochschulreife: n = 9 Hochschulreife: n = 9
16
Instruierte Simulanten Kontrollgruppe Patienten
Soziodemografischer Fragebogen
Beck Depressions-Inventar II (BDI II) Hautzinger, Keller & Kühner (2009)
Szenario Depression
Fragebogen zum Aufgabenverständnis
Strukturierter Fragebogen Simulierter Symptome (SFSS)
Beschwerdenvalidierungstest (BEVA)
Fragebogen zur Rollenerfüllung
Methode: Ablauf der (Online)-Analogstudie
Hinweis für die Instruierten Simulanten: möglichst ohne maßlose und offensichtliche Übertreibung
17
Ergebnisse der Cut-Off-Wert Ermittlung des SFSS
18
Ergebnisse der Cut-Off Wert Ermittlung des SFSS
Cut-Off-Wert Sensitivität 1- Spezifität 11.5 .983 .694 12.5 .983 .659 13.5 .983 .600 14 .986 .541 15 .966 .506 16.5 .897 .471 18 .879 .412 19.5 .776 .376 20.5 .741 .329 21.5 .655 .294 22.5 .621 .259 23.5 .621 .224 24.5 .621 .165 25.5 .586 .153
AUC = .816
19
Resultierende Fragestellungen
Wie ist die Vergleichbarkeit der Güte der Verfahren SFSS und BEVA im Kontext eines Analogstudiendesigns? Wie hoch ist die Beurteiler-Übereinstimmung des BEVA und des SFSS im Rahmen unterschiedlicher Kontexte (verschiedene Validierungsstichproben)?
Sozialmedizinische Begutachtung von Schmerzpatienten mit komorbiden psychischen Störungen (Exkurs zur anderen Studie)
Instruierte Simulant*innen, die im Rahmen eines Analogstudiendesign eine depressive Störung vortäuschen
20
Antragsteller für eine Rente aufgrund voller Erwerbsunfähigkeit (N=103) Alter M (SD) 53.21 (7.05)
Geschlecht weiblich 54% männlich 46%
Schulabschluss
Kein 14% Hauptschule 39% Mittlere Reife 29 % Fachhochschulreife/Hochschulreife 10 % anderer 8 %
Diagnose
F3 affektive Störungen und andere somatische Erkrankungen (davon 71 % M00 – M99 Krankheiten des Muskel-Skelett-Systems und des Bindegewebes)
35%
F 45 somatoforme Störungen 31% F 43 Reaktionen auf schwere Belastungen und Anpassungsstörungen und somatische Erkrankung (davon 46% M00 – M99 Krankheiten des Muskel-Skelett-Systems und des Bindegewebes)
24%
F 41 andere Angststörungen und somatische Erkrankung (davon 75 % M00 – M99 Krankheiten des Muskel-Skelett-Systems und des Bindegewebes)
7%
F 48 andere neurotische Störungen und somatische Erkrankung (davon 100 % M00 – M99 Krankheiten des Muskel-Skelett-Systems und des Bindegewebes)
3%
21
Ergebnisse (Exkurs)
SFSS
Cut-Off-Wert > 16 (auffällig)
Cut-Off-Wert < 17 (nicht auffällig)
BEVA
Cut-Off-Wert > 90 (auffällig) 25 (richtig positiv) 6 (falsch positiv) 31
Cut-Off-Wert < 91 (nicht auffällig) 35 (falsch negativ) 37 (richtig negativ) 72
Gesamt 60 43 103
Sensitivität = richtig positiv/(richtig positiv + falsch negativ) .42
Spezifität = richtig negativ / (richtig negativ + falsch positiv) .86 Positiv Prädiktiver Wert (PPW) = richtig positiv / ( richtig positiv + falsch positiv) .81 Negativ Prädiktiver Wert (NPW) = richtig negativ/ (richtig negativ+ falsch negativ)
.51
Cohens ϰ .253 Spearmans Rangkorrelation r (Korrelation der Summenwerte) .504 (p = .000) Spearmans Rangkorrelation r .303 (p = .000)
22
Ergebnisse Analogstudiendesign
Spearman Rangkorrelation der Summenwerte (einschlossen der Kontrollgruppe) r = .873 (p = .000)
• nachfolgende Ergebnisse beziehen sich nur auf den Vergleich der Gruppen Instruierte Simulant*innen und der klinischen Stichprobe
sind die entscheidenden Gruppen in der Begutachtung Spearman Rangkorrelation der Summenwerte r = .770 (p = .000)
23
Vergleich der ROC-Kurven von BEVA und SFSS
AUC = .816 AUC = .912
SFSS BEVA
AUC = Area under the curve
24
Ergebnisse für verschiedene Cut-Off-Werte des SFSS
SFSS
Cut-Off-Wert > 16 (auffällig)
Cut-Off-Wert < 17 (nicht auffällig)
BEVA
Cut-Off-Wert > 107(auffällig)
28 (richtig positiv) 25 Instruierte
1 (falsch positiv) 1 Instruierter 29
Cut-Off-Wert < 108 (nicht auffällig)
64 (falsch negativ) 27 Instruierte
50 (richtig negativ) 5 Instruierte 114
Gesamt 92 51 143
Cohens ϰ .223 Spearmans Rangkorrelation r .339 (p = .000)
25
Ergebnisse für verschiedene Cut-Off-Werte des SFSS
SFSS
Cut-Off-Wert > 18 (auffällig)
Cut-Off-Wert < 19 (nicht auffällig)
BEVA
Cut-Off-Wert > 107 (auffällig)
28 (richtig positiv) 25 Instruierte
1 (falsch positiv) 1 Instruierter 114
Cut-Off-Wert < 108 (nicht auffällig)
58 (falsch negativ) 26 Instruierte
56 (richtig negativ) 6 Instruierte 29
Gesamt 86 57 143
Cohens ϰ .264 Spearmans Rangkorrelation r .375 (p = .000)
26
Ergebnisse für verschiedene Cut-Off-Werte des SFSS
SFSS
Cut-Off-Wert > 24 (auffällig)
Cut-Off-Wert < 25 (nicht auffällig)
BEVA
Cut-Off-Wert > 107 (auffällig)
24 (richtig positiv) 21 Instruierte
5 (falsch positiv) 5 Instruierte 114
Cut-Off-Wert < 108 (nicht auffällig)
26 (falsch negativ) 15 Instruierte
88 (richtig negativ) 17 Instruierte 29
Gesamt 50 93 143
Cohens ϰ .472 Spearmans Rangkorrelation r .506 (p = .000)
27
Fazit
• eine Anpassung des Cut-Off-Werts des SFSS sollte für eine psychosomatische Stichprobe erwogen werden
• eine weitere Überprüfung der BEVA Cut-Off-Werte könnte die Güte des Verfahrens noch weiter verbessern
• auf Grundlage der vorliegenden ROC-Analyse im Analogstudiendesign ist der BEVA (AUC = .912) dem SFSS (AUC = .816) leicht überlegen
die Forschung zur Beschwerdenvalidierung ist relativ jung, daher fehlen noch weitere Studien, um die Erfassung von negativen Antwortverzerrungen in der sozialmedizinischen Begutachtung zu optimieren
28
Fazit
• der SFSS und der BEVA verfolgen aufgrund ihrer Konstruktion verschiedene Ansatzpunkte in der Erfassung von negativen Antwortverzerrungen können daher als sich ergänzende Tests angewendet werden
• die Verfahren könnten durch ihre Unterschiede in ihrer Psychometrie (SFSS = sensitiv; BEVA = spezifisch) als eine Art Ampelsystem fungieren gestufter Einsatz
• SFSS weist hohe falsch-positiv Rate auf je klinisch belasteter die Patienten sind, desto höher fällt diese
Quote aus van Impelen, Merckelbach, Jelicic,& Merten (2014)
• der BEVA könnte das Ergebnis des SFSS weiter spezifizieren Online-Version für niedergelassene Gutachter, welche beide
Verfahren kombiniert
29
Limitationen der Analogstudie
• das Analogstudiendesign führt zur geringen externen Validität • Hinweis - keine maßlose und offensichtliche Übertreibung -
vorzunehmen, ist ein Einfluss ins Studiendesign, deren Wirkung schwer einzuschätzen ist
• geringer Stichprobenumfang • keine Parallelisierung der Gruppen (Unterschiede in den
soziodemografischen Daten)
30
Implikationen für Forschung und Praxis
• Überprüfung der Validität von BEVA und SFSS in einem Studiendesign mit einer hohen externen Validität
(klinischer Kontext und sozialmedizinsiche Begutachtung) Anwendung der Screenings bei Patient*innen mit weiteren
psychischen Erkrankungen • Einfluss von personenbezogenen Daten (wie Bildung) auf die
Beschwerdendarstellung • Einfluss von Hinweisen auf die Darstellung von Symptomen bei
Instruierten Simulant*innen
6. Implikationen für Forschung und Praxis
31
Implikationen für Forschung und Praxis
• der Einsatz der Screeningverfahren ist anwenderfreundlich und ökonomisch
• die multiplen Testungen können die Ergebnisse in der Begutachtung weiter objektivieren und ergänzen
• können bei der Beurteilung in Hinblick auf die SLICK-Kriterien sehr hilfreich sein
6. Implikationen für Forschung und Praxis
32
Vielen Dank für Ihre Aufmerksamkeit
33
Literatur
Aronoff, G. M., Mandel, S., Genovese, E., Maitz, E. A., Dorto, A. J., E.H.., K.et al. (2007). Evaluating malingering in contested injury or illness. Pain Practice, 7, 178-204.
Cima, M., Hollnack, S., Kremer, K., Knauer, E., Schellbach-Matties, R., Klein, B. & Merckelbach, H. (2003). Strukturierter Fragebogen Simulierter Symptome. Der Nervenarzt, 74, 977-986.
Green, P. (2003). Green’s Word Memory Test. Edmonton: Green’s Publishing. Hautzinger, M., Keller, F. & Kühner, C. (2009). BDI-II. Beck-Depressions-Inventar. Revision (Bd. 2). Frankfurt:
Pearson Assessment. Merten, T. (2014). Erscheinungsformen und Auftretenskontexte von Antwortverzerrungen. In A. Thöne-Otto, H.
Flor, S. Gauggel, S. Lautenbacher & H. Niemann (Hrsg.), Beschwerdenvalidierung (S. 13-16). Göttingen: Hogrefe.
Mittenberg, W., Patton, C., Canyock, E.-M. & Condit, D.-C. (2002). Base rates of malingering and symptom exaggeration. Journal of Clinical and Experimental Neuropsychology, 24, 1094-1102.
Plohmann, A. M. & Hurter, M. (2017). Prevalence of poor effort and malingered neurocognitive dysfunction in litigating patients in Switzerland. Zeitschrift für Neuropsychologie, 28, 97-116.
Schmidt, T., Lanquillon, S. & Ullmann, U. (2011). Kontroverse zu Beschwerdenvalidierungsverfahren bei der Begutachtung psychischer Störungen. Forensische Psychiatrie, Psychologie, Kriminologie, 5, 177–183.
Stevens, A., Friedel, E., Mehren, G. & Merten, T. (2008). Malingering and uncooperativeness in psychiatric and psychological assessment: Prevalence and effects in a German sample of claimants. Psychiatry Research, 157, 191-200.
Tombaugh, T. N. (1996). Test of Memory Malingering. Toronto: Multi-Health Systems. Green, P. (2003). van Impelen, A., Merckelbach, H., Jelicic, M. & Merten, T. (2014). The Structured Inventory of Malingered
Symptomatology (SIMS): A Systematic Review and Meta-Analysis. The Clinical Neuropsychologist, 28, 1336-1365.
34
Literatur
Walter, F., Geissler, N., Petermann, F. & Kobelt, A. (2015). Beeinflussen Instruktionen und die Motivation für eine Rente die Beschwerdedarstellung in Fragebogen? Die Rehabilitation, 54, 166-172.
Walter, F., Lid, N., Petermann, F. & Kobelt, A. (2017). Einsatz des Beschwerdenvalidierungstests BEVA in der sozialmedizinischen Begutachtung. Die Rehabilitation, 56, 175-180.
Walter, F., Petermann, F., Dietrich, D. E. & Kobelt, A. (2013). Wie können Beschwerden im Rahmen der medizinischen Rehabilitation validiert werden? Physikalische Medizin, Rehabilitationsmedizin, Kurortmedizin, 23, 334-340.
Walter, F., Petermann, F. & Kobelt, A. (2016). Erfassung von negativen Antwortverzerrungen – Entwicklung und Validierung des Beschwerdenvalidierungstests BEVA. Die Rehabilitation, 55, 182-190.