Post on 03-Feb-2021
transcript
Anforderungen an die Qualität von Leitlinien aus der
Sicht des IQWiG
Dr. Claudia Mischke
Medizinische Leitlinien – Qualität und Unabhängigkeit sichern!
1. Juli 2017, Berlin
01.07.2017 2
Inhalt
Leitliniensynopsen: Hintergrund und Ablauf
Anforderungen an die Qualität von Leitlinien
Anforderungen an die Qualität an die Leitliniensynopsen
Methodik
Anforderungen an die Zusammenarbeit mit externen Sachverständigen
(IQWiG)
Diskussion / Fazit
C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
3
Aufgaben gemäß §139a SGB V
(1) Der Gemeinsame Bundesausschuss […] gründet ein fachlich unabhängiges,
rechtsfähiges, wissenschaftliches Institut für Qualität und Wirtschaftlichkeit im
Gesundheitswesen und ist dessen Träger. […]
(2) […]
(3) Das Institut wird […] insbesondere auf folgenden Gebieten tätig:
1. Recherche, Darstellung und Bewertung des aktuellen medizinischen Wissensstandes zu diagnostischen und therapeutischen Verfahren bei
ausgewählten Krankheiten,
2. Erstellung von wissenschaftlichen Ausarbeitungen, Gutachten und Stellungnahmen
[…]
3. Bewertungen evidenzbasierter Leitlinien für die epidemiologisch
wichtigsten Krankheiten,
4. Abgabe von Empfehlungen zu Disease-Management-Programmen,
5. Bewertung des Nutzens und der Kosten von Arzneimitteln,
6. Bereitstellung von für alle Bürgerinnen und Bürger verständlichen allgemeinen
Informationen zur Qualität und Effizienz in der Gesundheitsversorgung sowie zu
Diagnostik und Therapie von Krankheiten […],
7. Beteiligung an internationalen Projekten zur Zusammenarbeit und
Weiterentwicklung im Bereich der evidenzbasierten Medizin.
01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Leitliniensynopsen: Hintergrund
Leitliniensynopsen
01.07.2017 4
§ 139b SGB V
Das Institut leitet die
Arbeitsergebnisse der Aufträge …
dem Gemeinsamen Bundesausschuss
nach § 91 als Empfehlungen zu.
C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Leitliniensynopsen: Hintergrund
Berichterstellung
05.10.2017 Das IQWiG stellt sich vor 5 01.07.2017 5
Auftragserteilung durch G-BA / BMG
Formulierung der wissenschaftlichen Fragestellung(en)
Anhörung
Informationsbeschaffung und wissenschaftliche Bewertung
Anhörung Externes Review
(optional)
Zusammenführung und Bewertung der Stellungnahmen und des externen Reviews; Aktualisierung der Informationen
Berichtsplan (vorläufige Version)
Berichtsplan
Vorbericht
Abschlussbericht
C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Leitliniensynopsen: Ablauf
…das Produkt
01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG 6
Leitliniensynopsen: Ablauf
01.07.2017 7
Leitliniensynopse:
Anforderungen an die Qualität von Leitlinien
Einschlusskriterien für Leitlinien
Methodische Qualität der eingeschlossenen Leitlinien
Interessenkonflikte in den Leitlinien
Diskordante Empfehlungen und „good practice statements“
C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Anforderungen an Leitlinien
Einschluss von Leitlinien
8 01.07.2017
Einschlusskriterien
E1 Patienten mit [z. B. Erkrankung].
E2 Empfehlungen zu mindestens einem der in Abschnitt XXX genannten
Versorgungsaspekte
E3 Empfehlungen für die Versorgung in Deutschland oder in einer anderen
Industrienation
E4 Empfehlungen sind aufgrund einer formalen Kennzeichnung eindeutig zu
identifizieren
E5 Publikationssprache ist Deutsch oder Englisch.
E6 Publikationstyp Leitlinie
E7 Publikation erfolgte ab [Monat und Jahr]
E8 als gültig gekennzeichnet und / oder Überarbeitungsdatum nicht
überschritten
E9 Vollpublikation der Leitlinie
E10 evidenzbasiert
Empfehlungen
• basieren auf einer systematischen Literaturrecherche
• sind grundsätzlich mit GoR und / oder LoE versehen
• sind grundsätzlich direkt beziehungsweise indirekt mit
den Referenzen der ihnen zugrunde liegenden Primär-
und / oder Sekundärliteratur verknüpft sind
C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Anforderungen: Leitlinien
Methodische Qualität der eingeschlossenen Leitlinien
01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG 9
Anforderungen: Leitlinien
http://www.agreetrust.org/wp-content/uploads/2013/10/AGREE-II-Users-
Manual-and-23-item-Instrument_2009_UPDATE_2013.pdf
methodische Bewertung mittels AGREE II
Psychometrische Eigenschaften – Interraterreliabilität (Brouwers et al. 2010)
10 01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Anforderungen an Leitlinien
(Brouwers et al. 2010)
11
(Brouwers et al. 2010)
01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Anforderungen an Leitlinien
IQWiG-Erfahrungen zur methodischen Bewertung mittels
AGREE II
Projekt mit 3 – 4 AGREE-Bewertungen pro Leitlinie: wissenschaftliche
Mitarbeitende des IQWiG und externe Sachverständige
Leitliniensynopsen: Bewertung durch 2 IQWiG - wissenschaftliche
Mitarbeitende
12 01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Anforderungen an Leitlinien
Ziele der AGREE-Bewertung innerhalb der Leitliniensynopsen
Transparenz: methodische Stärken und Schwächen der eingeschlossenen
Leitlinien
AGREE-Cut-OFF für die Bewertung der methodischen Gesamtqualität von
Leitlinien: Kennzeichnung von Empfehlungen / Kernaussagen, wenn diese
(maßgeblich) auf Leitlinien mit schwacher methodischer Qualität beruhen
Kein Kriterium für den Einschluss von Leitlinien
01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG 13
Anforderungen an Leitlinien
Interessenkonflikte in Leitlinien
(Browers et al. 2016a; Browers et al. 2016b)
01.07.2017 14 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
AGREE-II-Instrument
Anforderungen an Leitlinien
AGREE Reporting Checklist
01.07.2017 15
Leitlinie
Domäne 1:
Geltungsbereich
und Zwecka
Domäne 2:
Interessengruppena
Domäne 3:
Methodologische
Exaktheita
Domäne 4: Klarheit
und Gestaltunga
Domäne 5:
Anwendbarkeita
Domäne 6:
Redaktionelle
Unabhängigkeita
Gesamt-
bewertungb
ACP 2016 92 % (20) 33 % (4) 59 % (9) 100 %d (21,5) 0 %c (3,5) 92 %d (22) 5,5 (12,5)
BAP 2016 31 % (2) 31 % (3) 15 %c (1,5) 64 % (3) 0 %c (3,5) 58 % (8)
3,5 (2)
BAP 2015 22 %c (1) 19 %c (1,5) 15 %c (1,5) 56 % (2) 0 %c (3,5) 71 % (12,5)
3 (1)
DGBS 2014 72 % (10) 89 % (21) 76 % (20) 78 % (7) 35 % (12,5) 63 % (10) 5,5 (12,5)
DGKJP 2013 92 % (20) 72 % (13,5) 67 % (14) 86 % (12,5) 46 % (15) 75 % (15) 6 (19)
ICSI 2016 58 % (6,5) 39 % (5) 54 % (8) 89 % (15,5) 52 % (19) 88 % (19,5) 5 (8)
KCE 2014 78 % (14) 67 % (12) 79 %d (22) 78 % (7) 46 % (15) 71 % (12,5) 6 (19)
KPCI 2012 36 % (3,5) 42 % (6) 75 % (18,5) 78 % (7) 13 % (9) 0 %c (1,5) 4,5 (5)
NCCMH 2014 89 % (18) 72 % (13,5) 66 % (13) 89 % (15,5) 58 % (20,5) 38 % (6)
6 (19)
NCCMH 2010 adults
86 % (16,5) 81 % (17,5) 63 % (10) 75 % (4,5) 60 %d (22) 63 % (10) 5,5 (12,5)
NCCMH 2010
physical 86 % (16,5) 78 % (16) 65 % (12) 75 % (4,5) 58 % (20,5) 63 % (10) 5,5 (12,5)
NICE 2015 75 % (12,5) 75 % (15) 74 % (17) 89 % (15,5) 35 % (12,5) 38 % (6)
6 (19)
NVL 2015 72 % (10) 92 %d (22) 78 % (21) 89 % (15,5) 8 % (8) 88 % (19,5)
6 (19)
RANZCP 2015 58 % (6,5) 50 % (8) 39 % (5) 97 % (20) 0 %c (3,5) 88 % (19,5)
4,5 (5)
RNAO 2016 69 % (8) 61 % (10,5) 64 % (11) 86 % (12,5) 33 % (11) 88 % (19,5)
5 (8)
SIGN 2012 72 % (10) 83 % (19,5) 72 % (15) 81 % (9,5) 50 % (18) 38 % (6)
6 (19)
SIGN 2010 75 % (12,5) 83 % (19,5) 75 % (18,5) 81 % (9,5) 46 % (15) 33 % (4)
6 (19)
SNHS 2014 97 %d (22) 81 % (17,5) 36 % (4) 94 % (18,5) 48 % (17) 75 % (15)
5,5 (12,5)
VADoD 2016 92 % (20) 61 % (10,5) 73 % (16) 100 %d (21,5) 17 % (10) 25 % (3)
5,5 (12,5)
VADoD 2010 83 % (15) 53 % (9) 52 % (7) 83 % (11) 6 % (7) 0 %c (1,5)
5 (8)
WFSBP 2013/2015 50 % (5) 47 % (7) 41 % (6) 94 % (18,5) 0 %c (3,5) 79 % (17) 4,5 (5)
WFSBP 2013 36 % (3,5) 19 %c (1,5) 30 % (3) 44 %c (1) 0 %c (3,5) 75 % (15)
4 (3)
Mittelwert (SD) 69,1 % (22,0) 60,4 % (22,6) 57,6 % (19,9) 82,1 % (13,8) 27,8 % (23,2) 59,5 % (27,7)
5,2 (0,9)
AGREE-II-Bewertung: standardisierte Domänenwerte und Gesamtbewertung
Leitliniensynopse Depression (2017)
C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Leitliniensynopse Chronische Herzinsuffizienz (2015)
01.07.2017 16
Leitlinie
Domäne 1:
Geltungsbereich
und Zwecka
Domäne 2:
Interessen-
gruppena
Domäne 3:
Methodologi-
sche Exaktheita
Domäne 4: Klarheit
und Gestaltunga
Domäne 5:
Anwendbarkeita
Domäne 6:
Redaktionelle
Unabhängigkeita
Gesamt-
bewertungb
ACCF 2013 78 % (18,5) 50 % (17,5) 85 % (21) 89 % (18) 31 % (14,5) 88 % (19,5) 5,5 (20)
ACCF 2009 47 % (4) 36 % (12,5) 56 % (14) 83 % (15,5) 31 % (14,5) 50 % (7) 4,5 (14)
ACCP 2012 92 % (21) 75 % (21) 76 % (20) 81 % (12) 10 % (7) 92 % (22)d 5,5 (20)
AHA 2015 53 % (8) 28 % (8) 26 % (4) 53 % (3) 48 % (21) 79 % (16) 4 (10)
CCS 2015 61 % (13) 44 % (15) 29 % (6) 53 % (3) 8 % (4,5) 58 % (8,5) 4 (10)
CCS 2013 child 69 % (15) 56 % (19) 71 % (19) 83 % (15,5) 2 % (2) 67 % (13,5) 5 (17,5)
CCS 2013 CRT 53 % (8) 47 % (16) 51 % (12) 92 % (19,5) 42 % (17,5) 67 % (13,5) 4,5 (14)
CCS 2013 CRT Impl 78 % (18,5) 50 % (17,5) 41 % (10) 81 % (12) 44 % (19,5) 63 % (11) 4,5 (14)
CCS 2013 HF 33 % (1,5)c 36 % (12,5) 37 % (7,5) 78 % (10) 13 % (9) 63 % (11) 3,5 (6,5)
CCS 2013 Reha 33 % (1,5)c 28 % (8) 37 % (7,5) 72 % (6,5) 13 % (9) 58 % (8,5) 4 (10)
CCS 2012 47 % (4) 28 % (8) 22 % (3) 81 % (12) 0 % (1)c 21 % (4) 2,5 (1,5)
c
CCS 2011 58 % (11,5) 25 % (6) 38 % (9) 83 % (15,5) 8 % (4,5) 63 % (11) 3,5 (6,5)
CCS 2010 50 % (6) 33 % (10) 19 % (1)c 61 % (5) 29 % (13) 29 % (5,5) 3 (3,5)
CCS 2009 47 % (4) 36 % (12,5) 21 % (2) 47 % (1)c 8 % (4,5) 17 % (2,5) 2,5 (1,5)c
CSNZ 2009 67 % (14) 36 % (12,5) 28 % (5) 75 % (8,5) 27 % (12) 0 % (1)c 3,5 (6,5)
ESC 2013 81 % (20) 22 % (5) 70 % (18) 97 % (22)d 42 % (17,5) 88 % (19,5) 5,5 (20)
ESC 2012 75 % (16,5) 19 % (4) 69 % (17) 94 % (21) 44 % (19,5) 88 % (19,5) 5 (17,5)
ESC 2010 75 % (16,5) 8 % (1)c 52 % (13) 92 % (19,5) 8 % (4,5) 17 % (2,5) 3,5 (6,5)
HFSA 2010 58 % (11,5) 17 % (2,5) 59 % (15) 83 % (15,5) 13 % (9) 75 % (15) 4,5 (14)
ICSI 2013 56 % (10) 58 % (20) 67 % (16) 72 % (6,5) 52 % (22)d 88 % (19,5) 4,5 (14)
MQIC 2013 53 % (8) 17 % (2,5) 42 % (11) 53 % (3) 19 % (11) 29 % (5,5) 3 (3,5)
NICE 2010 94 % (22)d 92 % (22)d 95 % (22)d 75 % (8,5) 40 % (16) 83 % (17) 6,5 (22)d
Mittelwert (SD) 61,7 % (16,9 %) 38,2 % (19,9 %) 49,6 % (22,1 %) 76,3 % (14,5 %) 24,2 % (16,7 %) 58,3 % (27,8 %) 4,2 (1,0)
C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Diskordante Empfehlungen und „good practice statements“
Hintergrund: Um relevante Empfehlungen für ein DMP zu identifizieren,
habe starke Empfehlungen besondere Bedeutung
Beobachtung: diskordante Empfehlungen und good practice statements
nehmen zu (Brito et al. 2013; Alexander et al. 2014, Alexander et al. 2016)
Gefahr: Überstrapazieren dieser Optionen (Guyatt et al. 2016)?
Mögliche Gründe:
„Fehlklassifikation“ der Evidenz
Option Bewertung der indirekten Evidenz wird nicht genutzt
Empfehlung nicht konsistent mit GRADE
(Alexander et al. 2016, Guyatt et al 2016)
01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG 17
Anforderungen an Leitlinien
Anforderungen an die Qualität an die Leitliniensynopsen
Die Methodik der Leitliniensynopsen: Qualitätssicherungsstufen im Prozess
Zusammenarbeit mit externen Sachverständigen – Umgang mit
Interessenkonflikten
01.07.2017 18 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Anforderungen: Leitliniensynopse
Qualität durch Methodik
05.10.2017 Das IQWiG stellt sich vor 19 01.07.2017 19
Auftragserteilung durch G-BA / BMG
Formulierung der wissenschaftlichen Fragestellung(en)
Anhörung
Informationsbeschaffung und wissenschaftliche Bewertung
Anhörung Externes Review
(optional)
Zusammenführung und Bewertung der Stellungnahmen und des externen Reviews; Aktualisierung der Informationen
Berichtsplan (vorläufige Version)
Berichtsplan
Vorbericht
Abschlussbericht
C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Umfangreiches
mehrstufiges QSverfahren
Umfangreiches mehrstufiges
QSverfahren
Umfangreiches
mehrstufiges QSverfahren
Umfangreiches
mehrstufiges QSverfahren
Leitliniensynopsen: Anforderung
Beteiligung externer Sachverständiger bei der Berichterstellung
20 01.07.2017 20
Auftragserteilung durch G-BA / BMG
Formulierung der wissenschaftlichen Fragestellung(en)
Anhörung
Informationsbeschaffung und wissenschaftliche Bewertung
Anhörung Externes Review
(optional)
Zusammenführung und Bewertung der Stellungnahmen und des externen Reviews; Aktualisierung der Informationen
Berichtsplan (vorläufige Version)
Berichtsplan
Vorbericht
Abschlussbericht = Beteiligung: externe
Sachverständigen
C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Leitliniensynopsen: Anforderung
Externe Sachverständige - Offenlegungspflicht
Zur Vermeidung von potenziellen Interessenkonflikten müssen externe Sachverständige
ihre Beziehungen offenlegen
01.07.2017 21 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Anforderungen: Leitliniensynopse
https://www.iqwig.de/de/sich-beteiligen/interessenkonflikte.3074.html
Gemäß § 139b Abs. 3 Satz 2 SGBV haben externe Sachverständige alle Beziehungen zu Interessenverbänden, Auftragsinstituten, insbesondere der
pharmazeutischen Industrie und der Medizinprodukteindustrie, einschl. Art und Höhe
von Zuwendungen offenzulegen, wenn sie für das Institut wissenschaftliche
Forschungsaufträge durchführen möchten. Die Offenlegungen werden von der
Interessenkonflikt(IK)-Kommission des Instituts bewertet.
01.07.2017 22 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
Externe Sachverständige - Offenlegungspflicht Leitliniensynopsen: Anforderung
https://www.iqwig.de/de/projekte-ergebnisse/publikationen/iqwig-berichte.1071.html
Fazit
Qualität der Leitlinien beeinflusst Aussagekraft der Leitliniensynopse
Methodische Qualität:
Bewertung mittels AGREE II ermöglicht trotz Grenzen des
Instruments eine Einschätzung der methodischen Qualität
Inhaltliche Qualität:
Prüfung im Rahmen von Leitliniensynopsen nicht realisierbar
Aber: Zunahme an diskordanten Empfehlungen und
good practice statements zeigt u.a. die Relevanz der inhaltlichen
Qualität von Leitlinien auch für die Leitliniensynopsen
Beachten von Interessenkonflikten in beiden Produkten – Leitlinien und
Leitliniensynopsen – kann helfen, Verzerrungen zu vermeiden
01.07.2017 23 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
24
Institut für Qualität und Wirtschaftlichkeit
im Gesundheitswesen (IQWiG)
Im Mediapark 8
50670 Köln
Telefon +49 221 35685-0
Telefax +49 221 35685-1
claudia.mischke@iqwig.de
www.iqwig.de
https://www.themencheck-
medizin.iqwig.de und
www.gesundheitsinformation.de
24 01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
mailto:claudia.mischke@iqwig.dehttp://www.iqwig.de/https://www.themencheck-medizin.iqwig.de/https://www.themencheck-medizin.iqwig.de/https://www.themencheck-medizin.iqwig.de/https://www.themencheck-medizin.iqwig.de/http://www.gesundheitsinformation.de/
Quellen
Alexander PE, Gionfriddo MR, Li S-A, Bero L, Stoltzfus RJ, Neumann I et al. A number of factors explain why
WHO guideline developers make strong recommendations inconsistent with GRADE guidance. J Clin Epidemiol
2016; 70: 111-122.
Alexander PE, Bero L, Montori VM, Brito JP, Stoltzfus R, Djulbegovic B et al. World Health Organization
recommendations are often strong based on low confidence in effect estimates. J Clin Epidemiol 2014; 67(6): 629-
634.
Brito JP, Domecq JP, Murad MH, Guyatt GH, Montori VM. The Endocrine Society guidelines: when the confidence
cart goes before the evidence horse. J Clin Endocrinol Metab 2013; 98(8): 3246-3252.
Brouwers M, Kho ME, Browman GP, Cluzeau F, feder G, Fervers B, Hanna S, Makarski J on behalf of the AGREE
Next Steps Consortium. AGREE II: Advancing guideline development, reporting and evaluation in healthcare. Can
Med Assoc J. Dec 2010, 182:E839-842;
Brouwers MC, Kerkvliet K, Spithoff K, on behalf of the AGREE Next Steps Consortium. The AGREE Reporting
Checklist: a tool to improve reporting of clinical practice guidelines. BMJ 2016;354:i4852
Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G et al. Development of the AGREE II, part
1: performance, usefulness and areas for improvement. CMAJ 2010; 182(10): 1047.
Guyatt GH, Alonso-Coello P, Schunemann HJ, Djulbegovic B, Nothacker M, Lange S et al. Guideline panels
should seldom make good practice statements: guidance from the GRADE Working Group. Journal of Clinical
Epidemiology 2016; 22: 22.
01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG 25
Erstellung eines Rapid Report
05.10.2017 Das IQWiG stellt sich vor 26 01.07.2017 26
Auftragserteilung durch G-BA / BMG
Formulierung der wissenschaftlichen Fragestellung(en)
Informationsbeschaffung und wissenschaftliche Bewertung
Optional: Externes Review
Projektskizze
Rapid Report
C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG
01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG 27
Alexander et al. 2016: 114