Hta Online Grade EinfüHrg Final

GRADE in der Erstellung von Leitlinien und GRADE in der Erstellung von Leitlinien und HTA-BerichtenHTA-Berichten

HTA-onlineHTA-online„„Berlin“ 19. November 2009Berlin“ 19. November 2009

Dr. med. Monika Lelgemann, MSc

HTA-Zentrum, Universität Bremen

- GRADE Vorgehen zur Beurteilung der Qualität der Evidenz

- Einbettung von GRADE in die Erstellung von Leitlinien

- GRADE Profil – was ist das

- GRADE Anwendungsbeispiele

Was sollte vorkommen:Was sollte vorkommen:

Ursprung oder wie alles anfing…..Ursprung oder wie alles anfing…..

Canadian Medical Association Journal 2003; 169: 677-680

The Grading of Recommendations Assessment, Development and Evaluation (short GRADE) Working Group

Symbolik für Qualität der Evidenz und Empfehlungsgrad…..Symbolik für Qualität der Evidenz und Empfehlungsgrad…..

Leitlinien Leitlinien sollen dazu dienen

- das umfangreiche Wissen (wissenschaftliche Evidenz und Praxiserfahrung) zu definierten Versorgungsfragen zu werten;

- gegensätzliche Standpunkte zu klären;

- unter Abwägung von Nutzen und Schaden das derzeitige Vorgehen der Wahl zu definieren.

DefinitionenDefinitionen

KlassifikationKlassifikation

Typ Charakteristika der Entwicklung

Auf-wand

Method.Legiti-mation

Politische Legiti-mation

Handlungsem-pfehlungen von Experten ((SS11))

Gremium selektiert keine systematische Entwicklung

gering niedrig normativ gering

Konsens- basierte LL ((SS22kk))

Gremium repräsent. formalisiertes Konsensverfahren

mittel

niedrig normativ hoch

Evidenz-basierte LL ((SS22ee))

Gremium selektiert Evidenzbasierung

hoch hoch normativ gering

Evidenz- und konsensbasierte LL (S3)

Gremium repräsent. Evidenzbasierung formalisiertes Konsensverfahren

sehr hoch

hoch

normativ hoch

Leitlinienprogrammauch rechtliche Legitimation im

Sinne des medizinischen

Standards

Gute klinische LeitlinienGute klinische Leitlinien

benennen klar ihren Geltungsbereich und Zweck

entstehen unter Beteiligen alle Adressaten (multidisziplinär und berufsgruppenübergreifend) und der betroffenen Patienten

entstehen nach einer expliziten, transparenten Methodik unter Beachtung der Prinzipien der Evidenzbasierten Medizin

bedienen sich eines formalisierten Konsensprozesses zur Abstimmung des Inhalts und des Stärkegrades der Empfehlungen

sind leicht anwendbar

legen mögliche Interessenkonflikte der Autoren dar

werden regelmäßig aktualisiert

................ n. Field und Lohr. IOM 1990

Leitlinien Leitlinien ≠≠ Leitlinie Leitlinie

- explizite Formulierung der Fragestellung

- systematische Literatursuche (transparente Darlegung, a priori Festlegung der Ein- und Ausschlusskriterien,Dokumentation)

- kritische Bewertung der gefundenen Literatur hinsichtlich ihrer Robustheit gegen systematische Verzerrungen und zufälliger Ergebnisse ⇒ ErgebnissicherheitErgebnissicherheit

- SyntheseSynthese der eingeschlossenen Evidenz – qualitativ oder quantitativ

Interpretation der Ergebnisse (RelevanzErgebnisse (Relevanz….)

- Anwenden der Evidenz ⇒ Entscheidung mit der Patientin / politische Entscheidung / LL-Empfehlung

EbM / PrinzipienEbM / Prinzipien

5 Schritte Schema5 Schritte Schema

Die ausgesprochenen Empfehlungen resultieren bei einer „evidenzbasierten Leitlinie“ mit größerer Wahrscheinlichkeit

in einem tatsächlichen Nutzen (pos. Beeinflussung eines patientenrelevanten Endpunktes)

Empfehlungen sind das Charakteristikum von Leitlinien

Interventionen werden empfohlen;diagnostische und therapeutische

Empfehlungen sind nur sinnvoll, wenn es um zu empfehlende „Maßnahmen“ geht (handlungsleitend)

EvidenzEvidenz→→EmpfehlungEmpfehlung

Voraussetzungen / Annahmen Voraussetzungen / Annahmen

Konsens über die Empfehlungen unterschiedet Leitlinien von Evidenzanalysen bzw. Evidenzdarlegungen

Konsens ist der „Brückenschlag“ zwischen der Welt der Evidenz und der realen Welt der Patientenversorgung

⇓EvidenzlückenAnwendbarkeit

Relevanz

Leitlinienautoren wollen auch dann Empfehlungen geben, wenn Evidenz der höchsten Stufe nicht vorhanden ist

EvidenzEvidenz→→EmpfehlungEmpfehlung

Voraussetzungen / Annahmen Voraussetzungen / Annahmen

EvidenzEvidenz→→Empfehlung Empfehlung

Interdisziplinare S3-Leitlinie fur dieDiagnostik, Therapie und Nachsorgedes Mammakarzinoms. 2008

Prophylaxe der venösen Thromboembolie (VTE) / S3 LL AWMF; Stand März 2009

EvidenzEvidenz→→Empfehlung Empfehlung

Sollen und ⇑⇑

Sollte und ⇑

Wie können wir zu einer klinisch relevanten Frage das

vorhandene Wissen transparent und explizit darlegen und

das Ausmaß der (Un-) Sicherheit ausdrücken, dass das

Umsetzen einer Empfehlung (Anwenden oder Vermeiden

einer Intervention) in größerem Nutzen als Schaden

resultiert?

GRADE - AufgabeGRADE - Aufgabe

Themenauswahl (Versorgungsproblem)

Definition der Ziele

Zusammenstellung der Leitlinien-Gruppe

Formulierung von Schlüsselfragen

Systematische Literatursuche

Kritische Bewertung der Literatur

Formulierung graduierter Empfehlungen

Konsultation und externe Begutachtung

Präsentation und Disseminierung

Implementierung

Wartung, Evaluation und Überarbeitung

formalisiertes Konsensverfahren

formalisiertes Konsensverfahren

Berücksichtigung aller Elemente der PICO Frage in der Beantwortung der SchlüsselfragenIntervention, Vergleichstherapie, genaue Patienten-

charakteristik, Versorgungssetting und Outcomes

a priori Festlegung und Hierarchisierung der zu berücksichtigenden resp. nicht zu berücksichtigenden Endpunkte

wichtige Klärung über evtl. entscheidende Werturteilebereits zu Beginn

Kernelemente von GRADEKernelemente von GRADE

1

2

3

6

5

4

7

8

9 entscheidender Endpunkt für Formulierung der Empfehlung / Risiko-Nutzen Abwägung (critical)

leitend für „Qualität der Evidenz gesamt“, auf welcher Empfehlung beruht

relevanter Endpunkt, aber nachrangig für Formulierung der Empfehlung / Risiko-Nutzen Abwägung (important)

unerheblicher / irrelevanter Endpunkt,sollte in GRADE Profil nicht aufgenommen werden

Gewichtung der Endpunkte Gewichtung der Endpunkte

5

mitel

Dauer der Erkrankung

8

wichtig

LRTI

7

wichtig

Dauer KH-Aufenthalt

6

mittel

Hospitalisierung

9

wichtig

Mortalität

Oseltamivir / Vogelgrippe; Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31

Gewichtung der Endpunkte Gewichtung der Endpunkte

GRADE GRADE Evidence Profile Evidence Profile

GRADE GRADE Overview of Reviews Overview of Reviews

Berücksichtigung aller Elemente der PICO Frage in der Beantwortung der SchlüsselfragenIntervention, Vergleichstherapie, genaue Patienten-

charakteristik, Versorgungssetting und Outcomes

a priori Festlegung und Hierarchisierung der zu berücksichtigenden resp. nicht zu berücksichtigenden Endpunkte

wichtige Klärung über evtl. entscheidende Werturteilebereits zu Beginn

Systematische Übersicht ist Voraussetzung, resultiert nicht in Heraufstufung der EvidenzÄnderung der Hierarchie der Evidenz erforderlich?


⊕⊕ ⊕⊕ ⊕⊕ ⊕⊕ hohe Qualitäthohe QualitätEs ist unwahrscheinlich, dass weitere Forschung in diesem Bereich unser Vertrauen in den geschätzten Effekt ändern wird.

⊕⊕ ⊕⊕ ⊕⊕ mittlere Qualitätmittlere QualitätEs ist wahrscheinlich, dass unser Vertrauen in den geschätzten Effekt durch weitere Forschung erheblich beeinflusst wird und sich der geschätzte Effekt dadurch ändern kann.

⊕⊕ ⊕⊕ niedrige Qualitätniedrige QualitätEs ist sehr wahrscheinlich, dass unser Vertrauen in den geschätzten Effekt durch weitere Forschung erheblich beeinflusst und sich der geschätzte Effekt dadurch wahrscheinlich ändern wird.

⊕⊕ sehr niedrige Qualitätsehr niedrige QualitätJede Effektschätzung ist sehr unsicher.

Bedeutung der EvidenzklassifizierungBedeutung der Evidenzklassifizierung

Beurteilung der Qualität der Evidenz” bezogen auf die festgelegten Endpunkte / across studies

⇓

in vielen Fällen wird die Qualität der Evidenz für die einzelnen Endpunkte verschieden sein

“sogar” aus gleichen Studien kann unterschiedliche Qualität der Evidenz für einzelne Endpunkte resultieren

GRADE dient nicht der Qualitätsbeurteilung einzelner Studien sondern eines „body of evidence“


Leitlinienempfehlungen beinhalten die Empfehlung einer Maßnahme ( Intervention)

Bei Anwendung des Prinzips der Evidenzbasierten Medizin gilt damitdamit das Primat des RCTs

BiasBeweis

Systematischer Review (Metaanalyse) auf der Basis vergleichender, randomisierter Studien (RCT)

Vergleichende Studien mit Randomisierung (RCT)

Vergleichende Studien ohne Randomisierung

Nicht experimentelle, deskriptive Studien (z.B. Vergleichsstudien, Korrelationsstudien, Fall-Kontroll-Studien)

Meinungen und Berichte von Expertenkommissionen, Konsensuskonferenzen, Fallberichte etc….

Kein„roter

Strich“ bei GRADE

Grading Grading the Quality of the Quality of

Evidence Evidence

Konkretes Vorgehen / Bewertung der Qualität der EvidenzKonkretes Vorgehen / Bewertung der Qualität der Evidenz

Sonstige Evidenzoder….

Sehr niedrig ⊕

Beobachtungs-Studieoder abgewertete RCTs

Niedrig ⊕⊕

abgewertete RCTs oder aufgewertete Beobachtungs-studien

Mittel ⊕⊕⊕

Effekte groß……. +1sehr groß........... +2

Dosis-WirkungsbeziehungNachweis einer Dosis- Wirkungsbeziehung.... +1

Confounderwürden plausible Confounder Effekt verkleinert haben…….+1oderwürden für den Fall, dass kein Effekt nachgewiesen, fälschlicherweise einen Effekt suggeriert haben…..+1

Mängel in der StudienmethodikSchwerwiegend…………-1sehr schwerwiegend……-2 Heterogene Ergebnisse (inconsistency)Schwerwiegend………..-1sehr schwerwiegend…...-2

Indirekte EvidenzSchwerwiegend……-1sehr schwerwiegend…..-2

Fehlende PräzisionSchwerwiegend…….-1sehr schwerwiegend…….-2

Reporting Biaswahrscheinlich……..-1sehr wahrscheinlich…..-2

RCTHoch ⊕⊕⊕⊕

Heraufstufen falls…Herabstufen falls…StudiendesignQualität der

Evidenz

Konkretes Vorgehen / Konkretes Vorgehen / AbwertungAbwertung der Qualität der Evidenz der Qualität der Evidenz

• Mängel in der Durchführungsqualität (bis zu ⇓⇓)

verdeckte Randomisierung

magelnde Verblindung

Umgang mit ausgeschiedenen Patienten, resp. fehlenden Daten

Ergebnissicherheit / Ergebnissicherheit / „durchführungsbedingt“ „durchführungsbedingt“

Risk o

f Bias

Risk o

f Bias


Risk o

f Bias

Risk o

f Bias

(Studienebene)

(Studienebene)


Risk of Bias Risk of Bias (Endpunktebene)(Endpunktebene)

Konkretes Vorgehen / Konkretes Vorgehen / AbwertungAbwertung der Qualität der Evidenz der Qualität der Evidenz

• Mängel in der Durchführungsqualität (bis zu ⇓⇓)

verdeckte Randomisierung

magelnde Verblindung

Umgang mit ausgeschiedenen Patienten, resp. fehlenden Daten

2. Inkonsistenz der Ergebnisse (bis zu ⇓⇓)

Heretogene oder sogar widersprüchliche Ergebnisse

3. Indirektheit (bis zu ⇓⇓)

kann sich beziehen auf eingeschlossenen Patienten, durchgeführte Intervention oder Kontrolltherapie, Endpunkte

4. Spärliche Datenlage, unpräzise Effekte (bis zu ⇓⇓)

5. Anhalt für “Reporting Bias” ( bis zu ⇓⇓)

Studien und Endpunkte

Konkretes Vorgehen / Konkretes Vorgehen / AufwertungAufwertung der Qualität der Evidenz der Qualität der Evidenz

1. Starke Assozioation im Sinne eines großen Effektes

RR > 2 / < 0,5 bei mehr als zwei Beobachtungsstudien ohne erkennbare confounder und mit konsistenten Ergebnissen (⇑)

RR > 5 / < 0,2 based on direct evidence with no major threats to validity (⇑⇑)

2. Nachweis einer Dosis-Wirkungs-Beziehung (⇑)

3. Alle verbleibeneden confounder haben zu einer “Verdünnung” des Effektes geführt (⇑)

1. Beurteilung der Qualität der Evidenz” für die gesamte Evidenzlage (body of evidence)

- alle relevanten Endpunkte werden berückschtigt

- die schlechteste Beurteilung ist leitend

⇓

möglicherweise der schwierigste und häufigst kritisierte Schritt


GRADE GRADE Evidence Profile Evidence Profile

GRADE GRADE

Summary of Summary of Findings Findings

Evid

enzb

ericht zu

r S3 L

L

Bru

stkrebsfrü

herken

nu

ng

NNS ca. 2500

(über 10 Jahre alle 2

Jahre eingeladen)

Elemente von Grade in HTA Bsp. / Elemente von Grade in HTA Bsp. /

Versuch einer Nutzen-Schaden Bilanz Mammographiescreening 40-49 JahreVersuch einer Nutzen-Schaden Bilanz Mammographiescreening 40-49 Jahre

Evidenzprofil für BeobachtungsstudienEvidenzprofil für Beobachtungsstudien

Eher getrennte Darstellung wählen, üblicherweise nicht Beobachtungsstudien und RCTs in ein Profil eingeben

Einflussfaktoren auf die Stärke der EmpfehlungEinflussfaktoren auf die Stärke der Empfehlung

stark ↑↑ oder ↓↓

schwach ↑ oder ↓

↑↑ gewünschte Effekte überwiegen eindeutig die unerwünschten

↑ annähernd gleiches „Gewicht“ der erwünschten und unerwünschten Effekte - Balance


Entscheidung über Empfehlungsgrad

Einflussfaktoren

Urteil Erläuterung

Unsicherheit in der Nutzen/Risiko-Bilanz

□ Ja □ Nein

Mängel in der Qualität der Evidenz □ Ja □ Nein

Unsicherheit über Patientenpräferenzen (values and preferences)

□ Ja □ Nein

Unsicherheit ob Nutzen den “Aufwand” rechtfertigt

□ Ja □ Nein

Viele mit ja zu beantwortende Punkte werden die Chance auf eine Abschwächung der Empfehlung verstärken

AchtungFestlegung über

Qualität der Gesamtevidenz erforderlich!!!

across outcomes


• Balance between desirable and undesirable effects (not considering cost)The larger the difference between the desirable and undesirable consequences, the

more likely is a strong recommendation warranted. The smaller the net benefit and the lower certainty for that benefit, the more likely is a weak recommendation warranted.

• Quality of the evidenceThe higher the quality of evidence, the more likely is a strong recommendation.

• Values and preferencesThe greater the variability in values and preferences, or uncertainty in values and

preferences, the more likely is a weak recommendation warranted.

Costs (resource utilization)The higher the costs of an intervention – that is, the more resources consumed – the less likely is a strong recommendation warranted


Evidenzprofil

Oseltamivir zur Therapie der Vogelgrippe

Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31

Qualitätsbeurteilung Effektstärke

Zusammen-fassung Qualität

Relevanz der

Endpunkte

Relevanz der Endpunkte

Abstimmung per Delphi Verfahren

5

mitel

Dauer der Erkrankung

8

wichtig

LRTI

7

wichtig

Dauer KH-Aufenthalt

6

mittel

Hospitalisierung

9

wichtig

Mortalität

Oseltamivir / Vogelgrippe; Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31

Qualitätsbeurteilung

⊕⊕

⊕⊕

⊕⊕

Resultierende Empfehlung

Abstimmung per formalisiertem Konsensprozess





Elemente von Grade in HTA Bsp. / Elemente von Grade in HTA Bsp. / LBI HTA 2008: Minimal invasiver Aortenklappenersatz LBI HTA 2008: Minimal invasiver Aortenklappenersatz

Elemente von Grade in HTA Bsp. / Elemente von Grade in HTA Bsp. / LBI HTA 2008: Rheopherese bei AMD und anderen IndikationenLBI HTA 2008: Rheopherese bei AMD und anderen Indikationen

Elemente von Grade in HTA Bsp. / Elemente von Grade in HTA Bsp. / LBI HTA 2008: Rheopherese bei AMD und anderen IndikationenLBI HTA 2008: Rheopherese bei AMD und anderen Indikationen

1. Guyatt GH, Oxman AD, Kunz R, Jaeschke R, Helfand M, Liberati A, Vist GE, Schunemann HJ. Incorporating considerations of resources use into grading recommendations. BMJ 2008;336(7654):1170-3.

2. Schunemann HJ, Oxman AD, Brozek J, Glasziou P, Jaeschke R, Vist GE, Williams JW, Jr., Kunz R, Craig J, Montori VM, Bossuyt P, Guyatt GH. Grading quality of evidence and strength of recommendations for diagnostic tests andstrategies. BMJ 2008;336(7653):1106-10.

3. Guyatt GH, Oxman AD, Kunz R, Falck-Ytter Y, Vist GE, Liberati A, Schunemann HJ. Going from evidence to recommendations. BMJ 2008;336(7652):1049-51.

4. Guyatt GH, Oxman AD, Kunz R, Vist GE, Falck-Ytter Y, Schunemann HJ.What is "quality of evidence" and why is it important to clinicians? BMJ 2008;336(7651):995-8.

5. Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, onso-Coello P, Schunemann HJ. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ 2008;336(7650):924-6.

6. Atkins D, Best D, Briss PA, Eccles M, Falck-Ytter Y, Flottorp S, Guyatt GH, Harbour RT, Haugh MC, Henry D, Hill S, Jaeschke R, Leng G, Liberati A, Magrini N, Mason J, Middleton P, Mrukowicz J, O'Connell D, Oxman AD, Phillips B, Schunemann HJ, Edejer TT, Varonen H, Vist GE, Williams JW, Jr., Zaza S. Grading quality of evidence and strength of recommendations. BMJ 2004;328(7454):1490.

Date post:	13-Jul-2015
Category:	Health & Medicine
Upload:	choffmann
View:	179 times
Download:	2 times

Hta Online Grade EinfüHrg Final

Health & Medicine