De kwaliteit van richtlijnen - Volgens AGREE II

Artikel in PDF

Richtlijnen zijn documenten met aanbevelingen ter ondersteuning van zorgprofessionals en zorggebruikers, gericht op het verbeteren van de kwaliteit van zorg. De hedendaagse richtlijn berust op wetenschappelijk onderzoek aangevuld met expertise en ervaringen van zorgprofessionals en zorggebruikers. [1] Het aantal richtlijnen in de gezondheidszorg neemt toe; ook binnen de dermatologie. De kwaliteit van deze richtlijnen is echter wisselend. [2-5] Naast medisch inhoudelijke kwaliteit moet een zorgprofessional en/of zorggebruiker ervan uit kunnen gaan dat de methodologische kwaliteit van de ontwikkelde richtlijnen zo optimaal mogelijk is en dat er aandacht wordt geschonken aan de toepasbaarheid in de dagelijkse praktijk. Des te meer omdat richtlijnen belangrijke instrumenten zijn geworden in het kwaliteitsbeleid van beroepsverenigingen en in toenemende mate worden omarmt door andere belanghebbenden zoals zorgverzekeraars en overheidsinstanties. [6]

Om objectief de kwaliteit van de richtlijnmethodologie te kunnen beoordelen is internationaal door richtlijndeskundigen het Appraisal of Guidelines and Research and Evaluation (AGREE)-instrument ontwikkeld. Het originele AGREE-instrument is herzien en verfijnd. De gevalideerde tweede versie van dit instrument (AGREE II) evalueert het proces van richtlijnontwikkeling op zes domeinen; ‘onderwerp en doel’, ‘betrokkenheid van belanghebbenden’, ‘methodologie’, ‘helderheid en presentatie’, ‘toepassing en onafhankelijkheid van de opstellers’. [7] In 2007 werden reeds acht Nederlandse dermatologische richtlijnen met de eerste versie van het AGREE-instrument geëvalueerd en aanbevelingen geformuleerd. [8] Ook internationale evaluatie van dermatologische richtlijnen leverde een aantal verbeterpunten op. [9-11] Door herziening en uitbreiding van de Nederlandse dermatologische richtlijnen en het beschikbaar komen van het AGREE IIinstrument, is hernieuwde evaluatie van de kwaliteit zinvol.

Methode

Alle Nederlandse dermatologische richtlijnen tot en met januari 2017 werden geselecteerd en geraadpleegd vanaf de website van de Nederlandse Vereniging voor Dermatologie en Venereologie (NVDV) (www.nvdv.nl). Dit leverde 20 richtlijnen op waarin 1 of meerdere dermatologische onderwerpen aan bod komen (tabel 1). 7 van deze 20 richtlijnen betroffen herzieningen van richtlijnen die in 2007 reeds met de eerste versie van het AGREE-instrument werden beoordeeld. Alle 20 richtlijnen werden onafhankelijk beoordeeld met het AGREE II-instrument door ten minste 2 beoordelaars (RB, SL, CB). Het AGREE II-instrument bestaat uit 23 items, verdeeld over 6 domeinen (tabel 1). Per item wordt gescoord op een 7-punts likertschaal variërend van ‘sterk mee oneens’ tot ’sterk mee eens’. Vervolgens werden uit de individuele itemscores de gestandaardiseerde domeinscores berekend volgens de instructies behorende bij het AGREE II-instrument. [12]

Resultaten

De AGREE II-scores van de twintig dermatologische richtlijnen worden per domein weergegeven in tabel 1.

Onderwerp en doel
Dit domein gaat na of het doel van de richtlijn, de vragen die aan de orde komen en de populatie waarop de richtlijn betrekking heeft specifiek zijn beschreven. De gemiddelde domeinscore was zeer goed met 85% (95%-betrouwbaarheidsinterval 81-90). Toch kunnen de richtlijnen Actinische keratose en Lichen sclerosus en lichen planus specifieker geformuleerd worden.

Betrokkenheid van belanghebbenden
Met het AGREE II-instrument wordt in dit domein gekeken of de leden van de werkgroep die de richtlijn hebben ontwikkeld uit alle relevante beroepsgroepen komen en of het perspectief en de voorkeuren van de doelpopulatie zijn nagegaan. Voor het creëren van een zo breed mogelijk draagvlak is het van belang om te zorgen voor een zorgvuldige en evenwichtige samenstelling van de werkgroep waarin alle bij de richtlijn betrokken disciplines zijn vertegenwoordigd. Dit domein haalde een goede score met 78% (95%-betrouwbaarheidsinterval 74-83). De geselecteerde dermatologische richtlijnen zijn nagenoeg allemaal richtlijnen waarbij meerdere relevante disciplines betrokken zijn. De beoogde gebruikers van de richtlijn zijn duidelijk benoemd. Desalniettemin leverde de meerderheid van de richtlijnen aan score in omdat de rollen van de werkgroepleden niet werden gespecificeerd, bijvoorbeeld wie er werkte aan welke vragen en conceptteksten en wie welke tabellen maakte. De richtlijnen Actinische keratose, Basaalcelcarcinoom, Contacteczeem’ en Cellulitis en erysipelas kregen een lagere score voor het nagaan van het perspectief/voorkeuren van de doelpopulatie. Bij de richtlijn Psoriasis werd dit zeer uitgebreid gedaan met een literatuuronderzoek, een focusgroepdiscussie met patiënten, een enquête onder patiënten en vertegenwoordiging in de richtlijnwerkgroep. Voor een richtlijn over een chronische aandoening met een actieve patiëntenvereniging kan het wellicht makkelijker zijn om patiënten(organisaties) te vinden die bereid zijn mee te werken.

Methodologie
Het domein ‘methodologie’ is het meest uitgebreide domein, waarbij wordt getoetst of er systematische methoden gebruikt zijn voor het zoeken naar wetenschappelijk bewijsmateriaal. Ook dienen de criteria voor het selecteren van het wetenschappelijk bewijsmateriaal en de gebruikte methoden om de aanbevelingen op te stellen duidelijk zijn beschreven. Daarnaast moeten voor een hoge itemscore de gezondheidswinst, bijwerkingen en risico’s zijn overwogen bij het opstellen van de aanbevelingen en moet er een expliciet verband tussen de aanbevelingen en het onderliggende bewijsmateriaal bestaan. Verder is de richtlijn idealiter voor publicatie door externe experts beoordeeld en is er een procedure voor herziening van de richtlijn vermeld. De gemiddelde domeinscore was goed met 69% (95%-betrouwbaarheidsinterval 64-73). Alle richtlijnen beschreven dan ook systematische zoekacties naar relevante literatuur, maar in niet alle gevallen was de zoekactie en de in- en exclusiecriteria voor de literatuur bijgevoegd. In de richtlijnen SOA en Lipoedeem was de methodologische totstandkoming van de aanbevelingen soms minder duidelijk met een domeinscore van respectievelijk 45 en 44%. Mogelijkheden om een hogere score te halen liggen in een aantal richtlijnen bij het vermelden of voorafgaande beoordeling door experts heeft plaatsgevonden en op welke wijze eventueel commentaar werd verwerkt. Ook werd de procedure voor herziening van de richtlijn niet in alle richtlijnen beschreven en was deze procedure vaak niet geheel helder. Een minderheid van de richtlijnen maakte voor onderdelen gebruik van GRADE (Grading of Recommendations, Assessment, Development and Evaluation tool). [13] Het graderen van aanbevelingen kan helpen om interpretatie van aanbevelingen meer uniform te maken en te verduidelijken.

Helderheid en presentatie
De AGREE II-scores in dit domein zijn hoog als aan de volgende voorwaarden wordt voldaan: de aanbevelingen zijn specifiek en ondubbelzinnig, de verschillende beleidsopties zijn duidelijk vermeld en de kernaanbevelingen zijn gemakkelijk te herkennen. Dit was in vrijwel alle richtlijnen het geval, mede doordat de kernaanbevelingen in aparte kaders of samenvattingen werden geplaatst. Het resultaat was een zeer goede domeinscore van 87% (95%-betrouwbaarheidsinterval 83-91).

Aanbevelingen kunnen specifieker worden gemaakt door bewoordingen als ‘meestal’, ‘bij uitgebreide’, ‘groot aantal’, ‘bij voldoende’ te expliciteren.

Toepassing
Bij ‘toepassing’ wordt gekeken of de richtlijn advies en/of hulpmiddelen voor toepassing van de aanbevelingen in de praktijk geeft en bevorderende en belemmerende factoren bij het toepassen van de richtlijn beschrijft. Eveneens wordt in dit domein beschouwd of mogelijke implicaties van het toepassen van de aanbevelingen voor de kosten en benodigde middelen zijn overwogen. Verder is het van belang dat er criteria zijn om te toetsen of de richtlijn wordt gevolgd. De domeinscore was met 49% (95%-betrouwbaarheidsinterval 43-56) redelijk te noemen. Vooral in de recentere richtlijnen vanaf 2014 en de richtlijn Melanoom en Decubitus werd er stilgestaan bij belemmerende factoren voor de toepassing van de richtlijn en de kostenimplicaties. Ook hebben bijna alle richtlijnen een samenvatting en aparte informatie voor patiënten.

Onafhankelijkheid van de opstellers
Dit domein kijkt of de opvattingen van de financierende instantie de inhoud van de richtlijn niet hebben beïnvloed en of conflicterende belangen van leden van de richtlijnwerkgroep zijn vastgelegd en besproken. De gemiddelde domeinscore bedroeg 37% (95%-betrouwbaarheidsinterval 29-44). De financierende instantie wordt in alle richtlijnen benoemd maar er kan aan de hand van de gegeven informatie veelal niet worden beoordeeld of er onafhankelijk gehandeld is. Het hoogste (79%) scoorde de richtlijn Decubitus met een uitgebreide uitspraak over conflicterende zakelijke en financiële belangen en opvraagbare screening en verklaringen van de individuele leden van de richtlijnwerkgroep.

Discussie

De onderzochte Nederlandse dermatologische richtlijnen zijn alle ontwikkeld op basis van systematisch literatuuronderzoek en de aanbevelingen zijn geformuleerd na het meewegen van belangrijke praktische aspecten. Ze voldoen dan ook aan de principes van evidencebased richtlijnontwikkeling. Het AGREE II-instrument is ook volgens deze principes ontwikkeld om systematisch de kwaliteit van richtlijnen na te gaan. Een beperking in het gebruik van het AGREE-instrument is dat het niet de inhoudelijke kwaliteit van de aanbevelingen in een richtlijn toetst. Verslaglegging van een item is vaak voldoende om een hoge score te halen. Het kan daarnaast voorkomen dat de feitelijk gevolgde procedures afwijken van de verslaglegging. Desondanks biedt het AGREE II-instrument richtlijnontwikkelaars houvast welke punten er in een kwalitatief goede richtlijn meegenomen dienen te worden. Het biedt de clinicus vooral de geruststelling dat de aanbevelingen en de (wetenschappelijke) achtergrondinformatie in de richtlijn op een valide manier tot stand zijn gekomen.

De achterblijvende scores in de domeinen ‘toepassing’ en ‘onafhankelijkheid’ van de opstellers komen ook tot uiting in eerdere publicaties waarin richtlijnen met het AGREE-instrument zijn geanalyseerd. [14] Zo scoorden deze domeinen in het Nederlandse review van Hukkelhoven et al. in 2007 ook het laagst met een gemiddelde score van respectievelijk 44% en 38%. Een kanttekening hierbij is dat de eerdere versie van het AGREE-instrument gebruikmaakt van een 4-punts likertschaal. Vergelijking van individuele scores met de huidige 7-punts likertschaal is dan ook lastig. Internationaal zijn er enkele onderzoeken naar dermatologische richtlijnen met behulp van AGREE II verricht. In een review van de zeven evidencebased EDF (European Dermatology Forum)-richtlijnen werden vergelijkbare gemiddelde domeinscores behaald van 51 tot 84%. Oudere en minder rigoureus ontwikkelde EDF-richtlijnen scoorden beduidend minder met gemiddelde domeinscores variërend van 39 tot 61%. [15] Andere internationale reviews onderzochten de richtlijnen voor actinische keratose en acne. [9,16] Wat opvalt is het ontbreken van de Nederlandse richtlijnen Acne en Actinische keratose in deze publicaties. Het ontbreken van Nederlandse richtlijnen in internationaal onderzoek werd eerder beschreven door Spuls et al. in het geval van de psoriasisrichtlijn. [17] Het is van belang dat elke Nederlandstalige richtlijn op zijn minst een Engels abstract krijgt en actief toegevoegd wordt aan internationale databases. Dit kan kosten en moeite besparen voor andere richtlijnontwikkelaars. [9,17]

Toepassing
Voldoende budget, expertise en vooral menskracht zijn vereist om een richtlijn te maken die hoog scoort op alle items en domeinen van het AGREE-instrument. Het domein ‘toepassing’ was één van de twee domeinen die achterbleven in de gemiddelde score. Toch is de toepassing van een richtlijn in de dagelijkse praktijk van vitaal belang om de kwaliteitsverbetering die richtlijnen nastreven te halen. Het is een vereiste om vanaf het begin van het ontwikkelen van een richtlijn barrières voor de toepassing na te gaan en deze te documenteren. Een vooraf opgesteld implementatieplan met acceptatie- en evaluatiestrategieën zoals audit en feedback en het ontwikkelen van richtlijntoetsen als geaccrediteerde nascholing kan zinvol zijn. Er moet echter gewaakt worden voor het ontwikkelen van zinloze procesindicatoren omdat “dat er nu eenmaal bij hoort”. Daarnaast moet er aandacht blijven voor voldoende flexibiliteit en het weloverwogen en beargumenteerd afwijken van de richtlijnen op basis van de situatie van een individuele patiënt.

Onafhankelijkheid van de opstellers
Reden voor de lagere domeinscore was veelal het ontbreken van informatie over potentiële belangverstrengeling. Dit lijkt een bredere kwestie te zijn, aangezien in een review naar belangverstrengeling in Duitse dermatologische richtlijnen ook maar in 18% een verklaring werd gevonden. [18] Bij een ontbrekende verklaring over belangenverstrengeling blijkt er volgens Choudry et al. bij de meerderheid van de richtlijnauteurs toch enige relatie met de farmaceutische industrie te bestaan. Van deze richtlijnauteurs onderschreef 7% dat de relatie met de industrie de aanbevelingen die zij formuleerden beïnvloedde, hoewel zij vonden dat 19% van de coauteurs werden beïnvloed door hun relaties. [19] Hoewel van de goede trouw van een richtlijnauteur moet worden uitgegaan, is het belangrijk om elke twijfel over bewuste of onbewuste belangenverstrengeling weg te nemen. Er kan een strategie gevolgd worden van verslaglegging en weergave van (potentiele) conflicten en bij belangrijke discussies met potentiële belangenverstrengeling onthouding van commentaar door de desbetreffende richtlijnontwikkelaar. [18]

Conclusie

De huidige Nederlandse dermatologische richtlijnen voldoen over het algemeen aan de internationale kwaliteitscriteria van het AGREE II-instrument en zijn methodologisch valide. De domeinen ‘toepassing’ en ‘onafhankelijkheid van de opsteller’ behoeven aandacht om de kwaliteitsverbetering die richtlijnen beogen te kunnen waarmaken. Richtlijnontwikkeling blijft een middel en geen doel.

Literatuur

1. Werkgroep Richtlijn voor richtlijnen; in opdracht: Regieraad Kwaliteit van Zorg. Richtlijn voor richtlijnen. Den Haag, 2010.

2. Grilli R, Magrini N, Penna A, et al. Practice guidelines developed by specialty societies: the need for a critical appraisal. Lancet 2000;355:103-6.
3. Shaneyfelt M, Mayo-Smith MF, Rothwangle J. Are guidelines following guidelines? The methodological quality of clinical practice guidelines in the peer-reviewed medical literature. JAMA 1999;281:1900-5.
4. Kung J, Miller RR, Mackowiak PA. Failure of clinical practice guidelines to meet institute of medicine standards: two more decades of little, if any progress. Arch Intern Med 2012;172:1628-33.
5. Burgers JS, Fervers B, Haugh M, et al. International assessment of the quality of clinical practice guidelines in oncology using the appraisal of guidelines and research and evaluation instrument. J Clin Oncol 2004;22:2000-7.
6. Buiting AMJ, van Barneveld T, Bartels PCM. Richtlijnen als basis voor kwaliteitsontwikkeling. Ned Tijdschr Klin Chem 2003;28:192-6.

De complete literatuurlijst is, vanaf drie weken na publicatie in dit tijdschrift, te vinden op www.nvdv.nl.

Correspondentieadres
Rinke Borgonjen
E-mail: rinkeborgonjen@hotmail.com