Anforderungen an die Qualität von Leitlinien aus der Sicht des … · 2019. 4. 2. ·...

Anforderungen an die Qualität von Leitlinien aus der

Sicht des IQWiG

Dr. Claudia Mischke

Medizinische Leitlinien – Qualität und Unabhängigkeit sichern!

1. Juli 2017, Berlin

01.07.2017 2

Inhalt

Leitliniensynopsen: Hintergrund und Ablauf

Anforderungen an die Qualität von Leitlinien

Anforderungen an die Qualität an die Leitliniensynopsen

Methodik

Anforderungen an die Zusammenarbeit mit externen Sachverständigen

(IQWiG)

Diskussion / Fazit

C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG

3

Aufgaben gemäß §139a SGB V

(1) Der Gemeinsame Bundesausschuss […] gründet ein fachlich unabhängiges,

rechtsfähiges, wissenschaftliches Institut für Qualität und Wirtschaftlichkeit im

Gesundheitswesen und ist dessen Träger. […]

(2) […]

(3) Das Institut wird […] insbesondere auf folgenden Gebieten tätig:

1. Recherche, Darstellung und Bewertung des aktuellen medizinischen Wissensstandes zu diagnostischen und therapeutischen Verfahren bei

ausgewählten Krankheiten,

2. Erstellung von wissenschaftlichen Ausarbeitungen, Gutachten und Stellungnahmen

[…]

3. Bewertungen evidenzbasierter Leitlinien für die epidemiologisch

wichtigsten Krankheiten,

4. Abgabe von Empfehlungen zu Disease-Management-Programmen,

5. Bewertung des Nutzens und der Kosten von Arzneimitteln,

6. Bereitstellung von für alle Bürgerinnen und Bürger verständlichen allgemeinen

Informationen zur Qualität und Effizienz in der Gesundheitsversorgung sowie zu

Diagnostik und Therapie von Krankheiten […],

7. Beteiligung an internationalen Projekten zur Zusammenarbeit und

Weiterentwicklung im Bereich der evidenzbasierten Medizin.

01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG

Leitliniensynopsen: Hintergrund

Leitliniensynopsen

01.07.2017 4

§ 139b SGB V

Das Institut leitet die

Arbeitsergebnisse der Aufträge …

dem Gemeinsamen Bundesausschuss

nach § 91 als Empfehlungen zu.


Leitliniensynopsen: Hintergrund

Berichterstellung

05.10.2017 Das IQWiG stellt sich vor 5 01.07.2017 5

Auftragserteilung durch G-BA / BMG

Formulierung der wissenschaftlichen Fragestellung(en)

Anhörung

Informationsbeschaffung und wissenschaftliche Bewertung

Anhörung Externes Review

(optional)

Zusammenführung und Bewertung der Stellungnahmen und des externen Reviews; Aktualisierung der Informationen

Berichtsplan (vorläufige Version)

Berichtsplan

Vorbericht

Abschlussbericht


Leitliniensynopsen: Ablauf

…das Produkt

01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG 6

Leitliniensynopsen: Ablauf

01.07.2017 7

Leitliniensynopse:

Anforderungen an die Qualität von Leitlinien

Einschlusskriterien für Leitlinien

Methodische Qualität der eingeschlossenen Leitlinien

Interessenkonflikte in den Leitlinien

Diskordante Empfehlungen und „good practice statements“


Anforderungen an Leitlinien

Einschluss von Leitlinien

8 01.07.2017

Einschlusskriterien

E1 Patienten mit [z. B. Erkrankung].

E2 Empfehlungen zu mindestens einem der in Abschnitt XXX genannten

Versorgungsaspekte

E3 Empfehlungen für die Versorgung in Deutschland oder in einer anderen

Industrienation

E4 Empfehlungen sind aufgrund einer formalen Kennzeichnung eindeutig zu

identifizieren

E5 Publikationssprache ist Deutsch oder Englisch.

E6 Publikationstyp Leitlinie

E7 Publikation erfolgte ab [Monat und Jahr]

E8 als gültig gekennzeichnet und / oder Überarbeitungsdatum nicht

überschritten

E9 Vollpublikation der Leitlinie

E10 evidenzbasiert

Empfehlungen

• basieren auf einer systematischen Literaturrecherche

• sind grundsätzlich mit GoR und / oder LoE versehen

• sind grundsätzlich direkt beziehungsweise indirekt mit

den Referenzen der ihnen zugrunde liegenden Primär-

und / oder Sekundärliteratur verknüpft sind


Anforderungen: Leitlinien

Methodische Qualität der eingeschlossenen Leitlinien


Anforderungen: Leitlinien

http://www.agreetrust.org/wp-content/uploads/2013/10/AGREE-II-Users-

Manual-and-23-item-Instrument_2009_UPDATE_2013.pdf

methodische Bewertung mittels AGREE II

Psychometrische Eigenschaften – Interraterreliabilität (Brouwers et al. 2010)

10 01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG


(Brouwers et al. 2010)

11

(Brouwers et al. 2010)

01.07.2017 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG


IQWiG-Erfahrungen zur methodischen Bewertung mittels

AGREE II

Projekt mit 3 – 4 AGREE-Bewertungen pro Leitlinie: wissenschaftliche

Mitarbeitende des IQWiG und externe Sachverständige

Leitliniensynopsen: Bewertung durch 2 IQWiG - wissenschaftliche

Mitarbeitende



Ziele der AGREE-Bewertung innerhalb der Leitliniensynopsen

Transparenz: methodische Stärken und Schwächen der eingeschlossenen

Leitlinien

AGREE-Cut-OFF für die Bewertung der methodischen Gesamtqualität von

Leitlinien: Kennzeichnung von Empfehlungen / Kernaussagen, wenn diese

(maßgeblich) auf Leitlinien mit schwacher methodischer Qualität beruhen

Kein Kriterium für den Einschluss von Leitlinien



Interessenkonflikte in Leitlinien

(Browers et al. 2016a; Browers et al. 2016b)

01.07.2017 14 C. Mischke / Anforderungen an die Qualität von Leitlinien aus Sicht des IQWiG

AGREE-II-Instrument


AGREE Reporting Checklist

01.07.2017 15

Leitlinie

Domäne 1:

Geltungsbereich

und Zwecka

Domäne 2:

Interessengruppena

Domäne 3:

Methodologische

Exaktheita

Domäne 4: Klarheit

und Gestaltunga

Domäne 5:

Anwendbarkeita

Domäne 6:

Redaktionelle

Unabhängigkeita

Gesamt-

bewertungb

ACP 2016 92 % (20) 33 % (4) 59 % (9) 100 %d (21,5) 0 %c (3,5) 92 %d (22) 5,5 (12,5)

BAP 2016 31 % (2) 31 % (3) 15 %c (1,5) 64 % (3) 0 %c (3,5) 58 % (8)

3,5 (2)

BAP 2015 22 %c (1) 19 %c (1,5) 15 %c (1,5) 56 % (2) 0 %c (3,5) 71 % (12,5)

3 (1)

DGBS 2014 72 % (10) 89 % (21) 76 % (20) 78 % (7) 35 % (12,5) 63 % (10) 5,5 (12,5)

DGKJP 2013 92 % (20) 72 % (13,5) 67 % (14) 86 % (12,5) 46 % (15) 75 % (15) 6 (19)

ICSI 2016 58 % (6,5) 39 % (5) 54 % (8) 89 % (15,5) 52 % (19) 88 % (19,5) 5 (8)

KCE 2014 78 % (14) 67 % (12) 79 %d (22) 78 % (7) 46 % (15) 71 % (12,5) 6 (19)

KPCI 2012 36 % (3,5) 42 % (6) 75 % (18,5) 78 % (7) 13 % (9) 0 %c (1,5) 4,5 (5)

NCCMH 2014 89 % (18) 72 % (13,5) 66 % (13) 89 % (15,5) 58 % (20,5) 38 % (6)

6 (19)

NCCMH 2010 adults

86 % (16,5) 81 % (17,5) 63 % (10) 75 % (4,5) 60 %d (22) 63 % (10) 5,5 (12,5)

NCCMH 2010

physical 86 % (16,5) 78 % (16) 65 % (12) 75 % (4,5) 58 % (20,5) 63 % (10) 5,5 (12,5)

NICE 2015 75 % (12,5) 75 % (15) 74 % (17) 89 % (15,5) 35 % (12,5) 38 % (6)

6 (19)

NVL 2015 72 % (10) 92 %d (22) 78 % (21) 89 % (15,5) 8 % (8) 88 % (19,5)

6 (19)

RANZCP 2015 58 % (6,5) 50 % (8) 39 % (5) 97 % (20) 0 %c (3,5) 88 % (19,5)

4,5 (5)

RNAO 2016 69 % (8) 61 % (10,5) 64 % (11) 86 % (12,5) 33 % (11) 88 % (19,5)

5 (8)

SIGN 2012 72 % (10) 83 % (19,5) 72 % (15) 81 % (9,5) 50 % (18) 38 % (6)

6 (19)

SIGN 2010 75 % (12,5) 83 % (19,5) 75 % (18,5) 81 % (9,5) 46 % (15) 33 % (4)

6 (19)

SNHS 2014 97 %d (22) 81 % (17,5) 36 % (4) 94 % (18,5) 48 % (17) 75 % (15)

5,5 (12,5)

VADoD 2016 92 % (20) 61 % (10,5) 73 % (16) 100 %d (21,5) 17 % (10) 25 % (3)

5,5 (12,5)

VADoD 2010 83 % (15) 53 % (9) 52 % (7) 83 % (11) 6 % (7) 0 %c (1,5)

5 (8)

WFSBP 2013/2015 50 % (5) 47 % (7) 41 % (6) 94 % (18,5) 0 %c (3,5) 79 % (17) 4,5 (5)

WFSBP 2013 36 % (3,5) 19 %c (1,5) 30 % (3) 44 %c (1) 0 %c (3,5) 75 % (15)

4 (3)

Mittelwert (SD) 69,1 % (22,0) 60,4 % (22,6) 57,6 % (19,9) 82,1 % (13,8) 27,8 % (23,2) 59,5 % (27,7)

5,2 (0,9)

AGREE-II-Bewertung: standardisierte Domänenwerte und Gesamtbewertung

Leitliniensynopse Depression (2017)


Leitliniensynopse Chronische Herzinsuffizienz (2015)

01.07.2017 16

Leitlinie

Domäne 1:

Geltungsbereich

und Zwecka

Domäne 2:

Interessen-

gruppena

Domäne 3:

Methodologi-

sche Exaktheita

Domäne 4: Klarheit

und Gestaltunga

Domäne 5:

Anwendbarkeita

Domäne 6:

Redaktionelle

Unabhängigkeita

Gesamt-

bewertungb

ACCF 2013 78 % (18,5) 50 % (17,5) 85 % (21) 89 % (18) 31 % (14,5) 88 % (19,5) 5,5 (20)

ACCF 2009 47 % (4) 36 % (12,5) 56 % (14) 83 % (15,5) 31 % (14,5) 50 % (7) 4,5 (14)

ACCP 2012 92 % (21) 75 % (21) 76 % (20) 81 % (12) 10 % (7) 92 % (22)d 5,5 (20)

AHA 2015 53 % (8) 28 % (8) 26 % (4) 53 % (3) 48 % (21) 79 % (16) 4 (10)

CCS 2015 61 % (13) 44 % (15) 29 % (6) 53 % (3) 8 % (4,5) 58 % (8,5) 4 (10)

CCS 2013 child 69 % (15) 56 % (19) 71 % (19) 83 % (15,5) 2 % (2) 67 % (13,5) 5 (17,5)

CCS 2013 CRT 53 % (8) 47 % (16) 51 % (12) 92 % (19,5) 42 % (17,5) 67 % (13,5) 4,5 (14)

CCS 2013 CRT Impl 78 % (18,5) 50 % (17,5) 41 % (10) 81 % (12) 44 % (19,5) 63 % (11) 4,5 (14)

CCS 2013 HF 33 % (1,5)c 36 % (12,5) 37 % (7,5) 78 % (10) 13 % (9) 63 % (11) 3,5 (6,5)

CCS 2013 Reha 33 % (1,5)c 28 % (8) 37 % (7,5) 72 % (6,5) 13 % (9) 58 % (8,5) 4 (10)

CCS 2012 47 % (4) 28 % (8) 22 % (3) 81 % (12) 0 % (1)c 21 % (4) 2,5 (1,5)

c

CCS 2011 58 % (11,5) 25 % (6) 38 % (9) 83 % (15,5) 8 % (4,5) 63 % (11) 3,5 (6,5)

CCS 2010 50 % (6) 33 % (10) 19 % (1)c 61 % (5) 29 % (13) 29 % (5,5) 3 (3,5)

CCS 2009 47 % (4) 36 % (12,5) 21 % (2) 47 % (1)c 8 % (4,5) 17 % (2,5) 2,5 (1,5)c

CSNZ 2009 67 % (14) 36 % (12,5) 28 % (5) 75 % (8,5) 27 % (12) 0 % (1)c 3,5 (6,5)

ESC 2013 81 % (20) 22 % (5) 70 % (18) 97 % (22)d 42 % (17,5) 88 % (19,5) 5,5 (20)

ESC 2012 75 % (16,5) 19 % (4) 69 % (17) 94 % (21) 44 % (19,5) 88 % (19,5) 5 (17,5)

ESC 2010 75 % (16,5) 8 % (1)c 52 % (13) 92 % (19,5) 8 % (4,5) 17 % (2,5) 3,5 (6,5)

HFSA 2010 58 % (11,5) 17 % (2,5) 59 % (15) 83 % (15,5) 13 % (9) 75 % (15) 4,5 (14)

ICSI 2013 56 % (10) 58 % (20) 67 % (16) 72 % (6,5) 52 % (22)d 88 % (19,5) 4,5 (14)

MQIC 2013 53 % (8) 17 % (2,5) 42 % (11) 53 % (3) 19 % (11) 29 % (5,5) 3 (3,5)

NICE 2010 94 % (22)d 92 % (22)d 95 % (22)d 75 % (8,5) 40 % (16) 83 % (17) 6,5 (22)d

Mittelwert (SD) 61,7 % (16,9 %) 38,2 % (19,9 %) 49,6 % (22,1 %) 76,3 % (14,5 %) 24,2 % (16,7 %) 58,3 % (27,8 %) 4,2 (1,0)


Diskordante Empfehlungen und „good practice statements“

Hintergrund: Um relevante Empfehlungen für ein DMP zu identifizieren,

habe starke Empfehlungen besondere Bedeutung

Beobachtung: diskordante Empfehlungen und good practice statements

nehmen zu (Brito et al. 2013; Alexander et al. 2014, Alexander et al. 2016)

Gefahr: Überstrapazieren dieser Optionen (Guyatt et al. 2016)?

Mögliche Gründe:

„Fehlklassifikation“ der Evidenz

Option Bewertung der indirekten Evidenz wird nicht genutzt

Empfehlung nicht konsistent mit GRADE

(Alexander et al. 2016, Guyatt et al 2016)



Anforderungen an die Qualität an die Leitliniensynopsen

Die Methodik der Leitliniensynopsen: Qualitätssicherungsstufen im Prozess

Zusammenarbeit mit externen Sachverständigen – Umgang mit

Interessenkonflikten


Anforderungen: Leitliniensynopse

Qualität durch Methodik




Anhörung



(optional)



Berichtsplan

Vorbericht

Abschlussbericht


Umfangreiches

mehrstufiges QSverfahren

Umfangreiches mehrstufiges

QSverfahren

Umfangreiches


Umfangreiches


Leitliniensynopsen: Anforderung

Beteiligung externer Sachverständiger bei der Berichterstellung

20 01.07.2017 20



Anhörung



(optional)



Berichtsplan

Vorbericht

Abschlussbericht = Beteiligung: externe

Sachverständigen


Leitliniensynopsen: Anforderung

Externe Sachverständige - Offenlegungspflicht

Zur Vermeidung von potenziellen Interessenkonflikten müssen externe Sachverständige

ihre Beziehungen offenlegen


Anforderungen: Leitliniensynopse

https://www.iqwig.de/de/sich-beteiligen/interessenkonflikte.3074.html

Gemäß § 139b Abs. 3 Satz 2 SGBV haben externe Sachverständige alle Beziehungen zu Interessenverbänden, Auftragsinstituten, insbesondere der

pharmazeutischen Industrie und der Medizinprodukteindustrie, einschl. Art und Höhe

von Zuwendungen offenzulegen, wenn sie für das Institut wissenschaftliche

Forschungsaufträge durchführen möchten. Die Offenlegungen werden von der

Interessenkonflikt(IK)-Kommission des Instituts bewertet.


Externe Sachverständige - Offenlegungspflicht Leitliniensynopsen: Anforderung

https://www.iqwig.de/de/projekte-ergebnisse/publikationen/iqwig-berichte.1071.html

Fazit

Qualität der Leitlinien beeinflusst Aussagekraft der Leitliniensynopse

Methodische Qualität:

Bewertung mittels AGREE II ermöglicht trotz Grenzen des

Instruments eine Einschätzung der methodischen Qualität

Inhaltliche Qualität:

Prüfung im Rahmen von Leitliniensynopsen nicht realisierbar

Aber: Zunahme an diskordanten Empfehlungen und

good practice statements zeigt u.a. die Relevanz der inhaltlichen

Qualität von Leitlinien auch für die Leitliniensynopsen

Beachten von Interessenkonflikten in beiden Produkten – Leitlinien und

Leitliniensynopsen – kann helfen, Verzerrungen zu vermeiden


24

Institut für Qualität und Wirtschaftlichkeit

im Gesundheitswesen (IQWiG)

Im Mediapark 8

50670 Köln

Telefon +49 221 35685-0

Telefax +49 221 35685-1

[email protected]

www.iqwig.de

https://www.themencheck-

medizin.iqwig.de und

www.gesundheitsinformation.de


mailto:[email protected]://www.iqwig.de/https://www.themencheck-medizin.iqwig.de/https://www.themencheck-medizin.iqwig.de/https://www.themencheck-medizin.iqwig.de/https://www.themencheck-medizin.iqwig.de/http://www.gesundheitsinformation.de/

Quellen

Alexander PE, Gionfriddo MR, Li S-A, Bero L, Stoltzfus RJ, Neumann I et al. A number of factors explain why

WHO guideline developers make strong recommendations inconsistent with GRADE guidance. J Clin Epidemiol

2016; 70: 111-122.

Alexander PE, Bero L, Montori VM, Brito JP, Stoltzfus R, Djulbegovic B et al. World Health Organization

recommendations are often strong based on low confidence in effect estimates. J Clin Epidemiol 2014; 67(6): 629-

634.

Brito JP, Domecq JP, Murad MH, Guyatt GH, Montori VM. The Endocrine Society guidelines: when the confidence

cart goes before the evidence horse. J Clin Endocrinol Metab 2013; 98(8): 3246-3252.

Brouwers M, Kho ME, Browman GP, Cluzeau F, feder G, Fervers B, Hanna S, Makarski J on behalf of the AGREE

Next Steps Consortium. AGREE II: Advancing guideline development, reporting and evaluation in healthcare. Can

Med Assoc J. Dec 2010, 182:E839-842;

Brouwers MC, Kerkvliet K, Spithoff K, on behalf of the AGREE Next Steps Consortium. The AGREE Reporting

Checklist: a tool to improve reporting of clinical practice guidelines. BMJ 2016;354:i4852

Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G et al. Development of the AGREE II, part

1: performance, usefulness and areas for improvement. CMAJ 2010; 182(10): 1047.

Guyatt GH, Alonso-Coello P, Schunemann HJ, Djulbegovic B, Nothacker M, Lange S et al. Guideline panels

should seldom make good practice statements: guidance from the GRADE Working Group. Journal of Clinical

Epidemiology 2016; 22: 22.


Erstellung eines Rapid Report





Optional: Externes Review

Projektskizze

Rapid Report



Alexander et al. 2016: 114

Date post:	03-Feb-2021
Category:	Documents
Upload:	others
View:	0 times
Download:	0 times

Anforderungen an die Qualität von Leitlinien aus der Sicht des … · 2019. 4. 2. ·...

Documents