Ontwikkelen van NHG-richtlijnen

Deze handleiding beschrijft de manier waarop NHG-Standaarden en NHG-Behandelrichtlijnen, hierna te noemen 'NHG-richtlijnen', tot stand komen.  

Kwaliteit van de NHG-richtlijnen 

NHG-richtlijnen zijn richtlijnen voor het handelen van de huisarts bij uiteenlopende klachten en aandoeningen. Werkgroepen die grotendeels uit huisartsen bestaan, stellen deze richtlijnen op. Dit gebeurt volgens een vaste werkwijze om kwalitatief hoogwaardige richtlijnen te waarborgen die nationaal en internationaal de toets der kritiek kunnen doorstaan. Daarbij zijn de AQUA-Leidraad (2021) en het AGREE II -instrument leidend.

Onderdelen van de procedure zijn: 

• zorgvuldig besluiten voor welke onderdelen van de richtlijn een herziening nodig is;
• relevante beroepsorganisaties, patiëntenorganisaties en zorgverzekeraars betrekken;
• het wetenschappelijk bewijs beoordelen en graderen met de GRADE-methode;
• kwaliteitsfilters inbouwen, zoals een commentaarronde en goedkeuring door de NHG-Autorisatiecommissie.

Publicatie van de NHG-richtlijnen in wetenschappelijke tijdschriften en online biedt gelegenheid tot openbare discussie en het achteraf corrigeren van eventuele onjuistheden. 

De procedure die we hier beschrijven is van toepassing op de ontwikkeling van nieuwe richtlijnen en op herzieningen van bestaande richtlijnen. Bij herzieningen geeft het deel Totstandkoming en methoden weer welke onderdelen zijn aangepast en volgens deze handleiding tot stand zijn gekomen. 

NHG-leden financieren via contributies het overgrote deel van het richtlijnenprogramma. Daarnaast krijgt het NHG kwaliteitsgelden van ZonMw. Financiële steun vanuit de farmaceutische en medische industrie wordt niet geaccepteerd. 

De ontwikkeling van NHG-richtlijnen is onderverdeeld in 4 fasen. Figuur 1 geeft deze fasen weer, inclusief de stappen binnen het proces. Bekijk de Totstandkoming van een NHG-richtlijn.

Voor vrijwel elke NHG-richtlijn wordt een werkgroep samengesteld. Hierin nemen naast huisartsen ook vertegenwoordigers van andere beroepsgroepen (bijvoorbeeld medisch specialisten) zitting. Het streven is naar een evenwichtige samenstelling, omdat dit het draagvlak van de richtlijn ten goede komt. Uitgangspunten zijn:

• De werkgroep bestaat uit 8-10 personen.
• Minstens de helft van de werkgroepleden is – bij voorkeur praktiserend – huisarts, met én zonder specifieke expertise op het betreffende gebied.
• Werkgroepleden nemen bij voorkeur niet vaker dan 2 keer deel aan een werkgroep over hetzelfde onderwerp.
• Als er een expertgroep van huisartsen bestaat over het onderwerp, wordt deze gevraagd 1 of 2 leden af te vaardigen.

Een wetenschappelijk medewerker en senior wetenschappelijk medewerker van het NHG-cluster Richtlijnontwikkeling begeleiden de werkgroep. Een van hen treedt meestal op als voorzitter van de vergaderingen. Een epidemioloog schrijft de wetenschappelijke onderbouwing van de aanbevelingen. Er is ook een adviseur farmacotherapie bij betrokken.

De medisch informatiespecialist van het NHG verricht het oriënterend literatuuronderzoek. In eerste instantie gaat het hierbij om systematische reviews en (inter)nationale evidencebased richtlijnen. Daarnaast wordt gezocht naar artikelen met de thema’s eerstelijnszorg, migratieachtergrond, sekse/gender, arbeid, implementatie, patiëntenperspectief, spoed, en naar Nederlands onderzoek. Aan de hand van de resultaten van dit literatuuronderzoek oriënteert de wetenschappelijk medewerker zich op het onderwerp

Bij elke richtlijn inventariseert de wetenschappelijk medewerker welke andere beroepsgroepen naast de huisarts een belangrijke rol hebben in de beschreven zorg. Er zijn verschillende opties voor samenwerking mogelijk:

• Werkgroeplid: een afgevaardigde van een andere beroepsgroep neemt deel aan alle vergaderingen namens zijn eigen beroepsvereniging en is volwaardig lid van de werkgroep.
• Meelezer/adviseur: een meelezer/adviseur leest tijdens het herzieningsproces mee met de notulen en de uitwerking van de uitgangsvragen of geeft specifiek advies over 1 of meerdere onderwerpen binnen de richtlijn.
• Referent: een referent doet mee aan de commentaarronde.

Alle relevante samenwerkingspartners dragen bij aan de knelpunteninventarisatie, zie Knelpuntenanalyse.

Het perspectief van de patiënt staat centraal bij de ontwikkeling van elke richtlijn. Hiertoe staan verschillende methoden ter beschikking. Sommige methoden behoren tot de standaardprocedure, andere zijn optioneel.

We gaan in samenspraak met de Patiëntenfederatie Nederland na of er een patiëntenvereniging bestaat voor de aandoening die de richtlijn behandelt. Als dit het geval is, bespreken partijen samen hoe intensief de betrokkenheid van de patiëntenorganisatie moet zijn, uitgaand van de volgende opties:

• een afgevaardigde van de patiëntenvereniging wordt waar wenselijk geconsulteerd;
• een afgevaardigde van de patiëntenvereniging leest mee;
• een afgevaardigde van de patiëntenvereniging neemt zitting in de werkgroep.

In een kennismakingsgesprek met de patiëntenvereniging komen de wederzijdse verwachtingen aan de orde. Ook wordt ingegaan op de ervaring van de vereniging met richtlijnontwikkeling, opvattingen over en knelpunten in de huisartsenzorg, verwijzing en contacten met derden. De wensen en mogelijkheden van de patiëntenvereniging bepalen mede de wijze van participatie.

Een NHG-richtlijn heeft vaak raakvlakken met andere standaarden of andere producten, zoals Landelijke Transmurale Afspraken of Landelijke Eerstelijns Samenwerkings Afspraken (bijvoorbeeld de LESA Laboratoriumdiagnostiek).  

Al tijdens de voorbereiding van de richtlijn is er aandacht voor afgeleide producten,  zoals Thuisartsteksten, e-learnings of andere implementatiematerialen. 

De wetenschappelijke basis is bij de ontwikkeling van richtlijnen een absoluut vereiste. Beïnvloeding vanuit de farmaceutische industrie of door bijvoorbeeld onderzoeks- of reputatiebelangen moet uitgesloten worden. Daarom ondertekenen alle werkgroepleden de Code ter voorkoming van oneigenlijke beïnvloeding door belangenverstrengeling, opgesteld door de Koninklijke Nederlandse Academie van Wetenschappen (KNAW). In dit document zijn functie, nevenfunctie en mogelijke belangen van de werkgroepleden opgenomen. Alle formulieren moeten bij het NHG binnen zijn nog voordat de eerste werkgroepvergadering plaatsvindt. Een senior wetenschappelijk medewerker van het NHG-cluster Richtlijnontwikkeling beoordeelt de formulieren, waarna wordt besloten over definitieve toelating tot de werkgroep. Hierbij gelden de volgende basisregels: 

• Directe en persoonlijke financiële belangen bij een aanbeveling in de NHG-richtlijn staan het zitting nemen in de werkgroep in de weg. Dit geldt ook voor deelname aan adviesraden waarvoor structurele vergoedingen worden ontvangen. 
• Bij incidentele diensten voor commerciële instellingen of bij indirecte financiële belangen wordt van geval tot geval besloten. 
• Werkgroepleden met wetenschappelijke publicaties op hun naam die rechtstreeks raken aan aanbevelingen uit de richtlijn, kunnen worden uitgesloten van besluitvorming over de betreffende materie. 
• NHG-medewerkers moeten vrij zijn van belangen die conflicteren met het onderwerp van de NHG-richtlijn. 

De gerapporteerde belangen zijn openbaar en opvraagbaar en komen bij de eerste werkgroepvergadering ter tafel. Aan het eind van het ontwikkelingstraject van een NHG-richtlijn vullen de werkgroepleden de KNAW-code opnieuw in, bij voorkeur voorafgaand aan de vergadering waarin het (externe) commentaar op de richtlijn wordt besproken.  

Elke NHG-richtlijn moet zo goed mogelijk aansluiten bij de behoeften van en de problemen in de dagelijkse huisartsenpraktijk. Daarom worden knelpunten geïnventariseerd, zowel medisch-inhoudelijk als organisatorisch. Dit gebeurt in 2 stappen: de inventarisatie en de prioritering van de knelpunten.

De wetenschappelijk medewerker brengt de knelpunten in kaart door:

• het raadplegen van zorgverleners, zorggebruikers en andere relevante partijen, alsmede – bij herzieningen – de wetenschappelijk medewerker die de vorige versie van de richtlijn heeft begeleid;
• bij herzieningen van richtlijnen: het bekijken van de gesignaleerde kennislacunes en het verwerken van commentaar dat is ontvangen na publicatie van de vorige versie van de richtlijn;
• oriënterend literatuuronderzoek.

De wetenschappelijk medewerker benadert de volgende partijen om de knelpunten in kaart te brengen:

NHG-Adviesraad Standaarden (NAS) 

De NAS bestaat uit circa 10 praktiserende huisartsen met:

• minimaal 5 jaar praktijkervaring
• grote vakinhoudelijke interesse
• activiteiten binnen bijvoorbeeld de (huis)artsenopleiding, nascholing of wetenschappelijk onderzoek

De samenstelling van de NAS weerspiegelt bij voorkeur de diversiteit van de NHG-leden: mannelijke en vrouwelijke, jonge en oudere, praktijkhouder en waarnemer, stads- en plattelandshuisartsen, afkomstig uit alle delen van het land.

De NAS signaleert eventuele nieuwe ontwikkelingen en knelpunten die praktiserende huisartsen ervaren.

Werkgroepleden 

Bij herzieningen van NHG-richtlijnen krijgen werkgroepleden de vraag voorgelegd of er nieuwe ontwikkelingen moeten worden meegenomen. Ook kunnen zij ervaren knelpunten bij het gebruik van de huidige richtlijn aangeven. 

Wetenschappelijke en beroepsverenigingen 

Desgevraagd geven de relevante wetenschappelijke en beroepsverenigingen de knelpunten aan op zorginhoudelijk gebied of in de afstemming en samenwerking tussen de huisarts en de betreffende beroepsgroep. 

Patiënten 

De volgende activiteiten geven inzicht in de knelpunten vanuit het patiëntenperspectief. De keuze wordt gemaakt in samenspraak met Patiëntenfederatie Nederland:

• oriënterende search naar literatuur over patiëntenperspectief over het onderwerp van de richtlijn (standaardprocedure);
• benaderen van de betreffende patiëntenvereniging (standaardprocedure);
• organiseren van een patiëntenfocusgroep (optioneel);
• informatie ophalen bij een patiëntenpanel via een online vragenlijst (optioneel).

Koepelorganisaties 

De Nederlandse wet- en regelgeving schrijft voor dat naast professionals en patiënten ook zorgverzekeraars betrokken moeten zijn bij de ontwikkeling van kwaliteitsrichtlijnen (zie het toetsingskader van het Zorginstituut Nederland). Zorgverzekeraars leveren vooral knelpunten aan over de doelmatigheid

en kosteneffectiviteit van de zorg. Het NHG benadert de volgende koepels:

• Zorgverzekeraars Nederland
• Koninklijke Nederlandse Maatschappij ter bevordering der Pharmacie
• Instituut voor Verantwoord Medicijngebruik
• Federatie Medisch Coördinerende Centra (vooral voor knelpunten in de regionale samenwerking)

Niet alle knelpunten kunnen worden meegenomen in een NHG-richtlijn. Sommige knelpunten zijn niet relevant voor de huisartsenzorg, andere zijn niet op te lossen met een richtlijn. Geïnventariseerde knelpunten worden eerst gerubriceerd in een van de categorieën:  

• (nieuw) bewijs
• patiëntenperspectief
• samenwerking
• implementatie

Daarna worden de knelpunten geprioriteerd volgens de criteria: 

• ziektelast
• gezondheidswinst
• omvang en ernst van de ervaren problematiek
• kosten
• werklast

Door documentatie van het resultaat kan in een later stadium worden gecontroleerd of de aanbevelingen in de richtlijn antwoord geven op de geprioriteerde knelpunten. 

Voor de onderdelen diagnostische en therapeutische interventies vertaalt de werkgroep de gesignaleerde knelpunten naar uitgangsvragen. De werkgroep stelt uitgangsvragen op volgens het PICO-format. Hierbij volgt de werkgroep een systematische aanpak bij het zoeken, selecteren, en beoordelen en graderen van bewijs met de GRADE (‘Grading of Recommendations Assessment, Development and Evaluation’) methode. PICO staat voor:

• Patient 
• Intervention 
• Comparison 
• Outcome 

Bij andere onderdelen (zoals epidemiologie, etiologie en prognose), die te vinden zijn in het deel Achtergronden, wordt vaak gekozen voor een minder systematische aanpak omdat deze onderdelen vaak niet uitmonden in concrete aanbevelingen voor de praktijk.  

De werkgroep bedenkt eerst wat de rol van de test is ten opzichte van de bestaande situatie: vervanging, triage of add-on test?  (zie Figuur 2) 

Diagnostische uitgangsvragen worden opgesteld op basis van onderstaand format. 

Format voor een diagnostische uitgangsvraag:
Is [indextest] als [rol van de test] versus [referentietest] aan te bevelen voor het diagnosticeren van [aandoening] bij mensen met [gezondheidsprobleem/bepaalde kenmerken]?
Populatie: …
Indextest: …
Referentietest: …
Patiëntrelevante uitkomstmaten: ……………

Voorbeeld ‘vervangende test’:
Is echoscopie [indextest] ter vervanging [rol] van een CT-scan [referentietest] aan te bevelen voor het diagnosticeren van urinestenen bij patiënten met flank of buikpijn (met een vermoeden van urinestenen) [populatie]?

Voorbeeld ‘triage test’:
Is het toepassen van de Ottawa Ankle Rules [indextest] aan te bevelen als triagetest [rol] voor het uitsluiten van een enkelfractuur bij patiënten met een enkeldistorsie in de huisartsenpraktijk [populatie]?

Voorbeeld ‘toegevoegde test’:
Is een CT-scan [indextest] aan te bevelen als toegevoegde test [rol] bij patiënten met klinische verschijnselen van een herseninfarct zonder tekenen van een bloeding op een blanco CT (CT-scan zonder contrast)[populatie]?

De werkgroep formuleert therapeutische uitgangsvragen zo specifiek mogelijk volgens onderstaand PICO-format.

Format voor een therapeutische uitgangsvraag  

Is [interventie] (I) in vergelijking met [comparison] (C) aan te bevelen bij de behandeling van patiënten met [<gezondheidsprobleem/bepaalde kenmerken>] (P)?  

Voorbeeld 

Zijn NSAID’s (I) in vergelijking met paracetamol (C) aan te bevelen bij de behandeling van patiënten met aspecifieke lagerugklachten (P)? 

De werkgroep formuleert therapeutische uitgangsvragen zo specifiek mogelijk volgens onderstaand PICO-format.

Binnen de GRADE-methode worden de meest patiëntrelevante uitkomstmaten (maximaal 7) geformuleerd. Vaak scoort de werkgroep de uitkomstmaten met een scoresysteem van 1 tot 9 (zie Figuur 3). Uitkomstmaten met score 7-9 zijn essentieel voor het nemen van een beslissing; 4-6 zijn belangrijk maar niet essentieel; en 1-3 zijn niet belangrijk voor het nemen van een beslissing (en zijn minder relevant voor patiënten).

Bijvoorbeeld: om het effect van fosfaatverlagende medicatie vast te stellen bij nierfalen zijn mortaliteit, een myocardinfarct en fracturen cruciale uitkomstmaten. Pijn is een belangrijke maar niet-cruciale uitkomstmaat en flatulentie als bijwerking van de medicatie is een niet-belangrijke uitkomstmaat.

Als er voor een aandoening een vastgestelde set van uitkomstmaten gepubliceerd is, bijvoorbeeld door het Core Outcome Measures in Effectiviness Trials (COMET) initiatief, gebruiken we die.

Elke uitgangsvraag leidt tot een specifieke literatuursearch. Om de literatuur op een systematische, efficiënte en transparante manier te zoeken en selecteren, volgen we onderstaande procedure.

Om elke uitgangsvraag te beantwoorden zijn de selectiecriteria aangegeven waaraan de onderzoeken moeten voldoen. Het gaat hierbij om methodologische criteria voor het type onderzoek (RCT, cohort, et cetera.) en inhoudelijke criteria.

• De methodologische criteria zijn afhankelijk van het karakter van de uitgangsvraag (therapie, preventie of diagnostiek). Voor therapeutische uitgangsvragen zoeken we in eerste instantie naar RCT’s, omdat deze onderzoeksopzet de minste kans op vertekening oplevert.
• De inhoudelijke criteria zijn de PICO-onderdelen.

De medisch informatiespecialist van het NHG ontwikkelt voor elke uitgangsvraag een zoekstrategie en voert deze uit. Er wordt gezocht in de databases PubMed en Embase. Afhankelijk van het onderwerp kunnen daar eventueel andere databases aan worden toegevoegd. De specifieke zoekstrategieën worden bewaard en na afronding van de richtlijn gepubliceerd in het deel Totstandkoming en methoden van de richtlijn.

Met het oog op efficiëntie verricht de informatiespecialist een ‘hiërarchische’ literatuursearch. Er wordt met methodologische zoekfilters apart gezocht naar systematische reviews (A) en daarnaast, afhankelijk van het type vraag, naar RCT’s (B) en/of overige onderzoekstypen (C). De epidemioloog kan hierdoor allereerst bewijs van het hoogste niveau selecteren. Als dit niet genoeg bewijs oplevert, bijvoorbeeld omdat de gevonden literatuur van onvoldoende kwaliteit is, niet recent genoeg is of niet toepasbaar is op patiënten in de Nederlandse eerste lijn, bekijkt de epidemioloog literatuur binnen het volgende onderzoekstype.

Aan het einde van het ontwikkeltraject wordt een update van alle literatuursearches verricht. Eventuele nieuwe relevante literatuur wordt genoemd in het detail. De onderzoeken worden beoordeeld op relevantie, kwaliteit en er wordt bekeken of de resultaten de aanbevelingen in de richtlijn zouden veranderen.

De epidemioloog en/of wetenschappelijk medewerker selecteert de geschikte literatuur voor het beantwoorden van de uitgangsvraag aan de hand van de vooraf opgestelde in- en exclusiecriteria. Dat gaat eerst op basis van titel en abstract, vervolgens op basis van de volledige tekst. De epidemioloog presenteert de redenen voor exclusie in PRISMA-stroomdiagrammen.

Systematische reviews van goede kwaliteit, volgens de AMSTAR-2-Checklist, kunnen dienen als uitgangspunt om de uitgangsvraag te beantwoorden. Vaak is echter nog een aanvullende zoekactie nodig om de review te actualiseren. Omdat de uniformiteit van methoden toeneemt, is soms ook de literatuurselectie uit een andere richtlijn bruikbaar, als deze voldoet aan de kwaliteitseisen voor systematische reviews en goed aansluit bij een uitgangsvraag van de te ontwikkelen richtlijn.

Om de kans dat relevante literatuur ontbreekt te verkleinen, is er nog een aantal aanvullende methoden beschikbaar:

• Vooraf:
  • Werkgroepleden kunnen belangrijke sleutelpublicaties aanleveren. Dit helpt de informatiespecialist om de juiste zoektermen te formuleren.
  • Zoekstrategieën die zijn gebruikt in relevante systematische reviews of (internationale) richtlijnen kunnen als voorbeeld dienen.
• Gedurende het ontwikkeltraject:
  • De wetenschappelijk medewerker neemt de literatuurverwijzingen van geïncludeerde artikelen door om te zien of relevante artikelen ontbreken in het zoekresultaat (sneeuwbalmethode/citation tracking).
  • Werkgroepleden kunnen literatuur aanleveren die buiten de uiteindelijke literatuurselectie valt. De opbrengst hiervan wordt expliciet gedocumenteerd.
  • Als (via 1 van bovenstaande manieren) blijkt dat relevante artikelen ontbreken, gaat de informatiespecialist na wat de reden daarvan is en past zo nodig de zoekstrategie aan zodat vergelijkbare artikelen ook gevonden worden.

Het wetenschappelijk bewijs voor zowel therapeutische als diagnostische uitgangsvragen vatten we samen met behulp van de GRADE-methode. Figuur 4 geeft schematisch weer welke stappen de GRADE-methode doorloopt. Het toepassen van GRADE bevordert de transparantie van het ontwikkelingsproces van de aanbevelingen met bijbehorende onderbouwing. Zie het GRADE-handboek voor een uitgebreide beschrijving van de methode.

De GRADE-methode is als eerste ontwikkeld voor interventieonderzoek en daarom beschrijven we het beoordelen en graderen van interventieonderzoek eerst. Bekijk het filmpje 'Hoe maak je een aanbeveling met GRADE?'.

Voorafgaand aan de beoordeling met GRADE vatten we de onderzoekskarakteristieken samen en beoordelen we het risico op vertekening (RoB = risk of bias) per geïncludeerd onderzoek. Indien mogelijk gebruiken we daarbij bestaande systematische reviews.

Het beoordelen van de kwaliteit van bewijs gebeurt per uitkomstmaat en kent 4 niveaus: hoog, redelijk, laag of zeer laag. Een hoge kwaliteit wil zeggen dat het geschatte effect zeer waarschijnlijk dicht bij het werkelijke effect ligt. Naarmate de kwaliteit van bewijs lager is, is daar toenemende onzekerheid over (zie Tabel 1). 

Uitgangspunt bij GRADE is dat RCT’s initieel worden ingedeeld in de categorie ‘hoog’ omdat deze onderzoeksopzet de minste kans op vertekening geeft, gevolgd door het beoordelen van factoren die de kwaliteit van bewijs kunnen verlagen. Observationele onderzoeken hebben meer kans op vertekening en starten in de categorie ‘laag’, gevolgd door het beoordelen van factoren voor afwaardering en – indien van toepassing – factoren om op te waarderen (zie Figuur 5). 

Zo kunnen niet goed uitgevoerde RCT’s een lage of zeer lage kwaliteit van bewijs toegekend krijgen. Bij observationeel onderzoek kan soms ook de kwaliteit van bewijs redelijk of hoog zijn. 

Er zijn vijf factoren die de kwaliteit van bewijs kunnen verlagen. Om deze te signaleren stellen we de volgende vragen: 

Wanneer 1 of meer van deze 5 factoren aanwezig zijn, kan de kwaliteit van het bewijs met 1 of 2 niveaus per factor worden verlaagd. Hieronder volgt een uitgebreidere toelichting op de 5 factoren. 

Risico op bias 

RCT’s zijn het minst gevoelig voor vertekening, maar als de opzet en uitvoering van dit onderzoekstype beperkingen kent, kunnen de resultaten van het (gepoolde) effect toch vertekend zijn. Bij de beoordeling van RCT’s kijken we naar de volgende bronnen van vertekening:

• selectieve toewijzing van de onderzoeksdeelnemers door een gebrekkige randomisatie of niet-geblindeerde toewijzing; 
• ontbreken van blindering in de toegepaste zorg of blootstelling aan andere factoren dan de onderzochte interventie;  
• gebrek aan blindering bij de effectbeoordelaars;  
• selectieve uitval van onderzoeksdeelnemers;  
• selectieve publicatie van onderzoeksuitkomsten;  
• andere aspecten, zoals disbalans van prognostische factoren aan het begin van het onderzoek of factoren die samenhangen met bepaalde onderzoekstypen (bijvoorbeeld een carry-over effect in crossover trials of contaminatie in cluster-RCT’s). 
• sponsoring door de industrie 

Als bij een groot deel van de geïncludeerde onderzoeken sprake is van bias voor een bepaalde uitkomstmaat, is de kans groot dat het gepoolde effect ervan vertekend is. Vaak is dit het gevolg van beperkingen in de opzet en uitvoering van de onderzoeken. Daarom is bij de beoordeling van de validiteit van de onderzoeken (en dus de geldigheid van de resultaten voor de onderzochte deelnemers) een onderscheid tussen veel en weinig kans op vertekening van belang (risk of bias). Hierbij wordt de mate en richting van de vertekening ingeschat. Is de kans op vertekening groot, dan is er meer onzekerheid over de resultaten van het onderzoek en of de effecten ervan worden over- of onderschat. 

De kwaliteit van elk geïncludeerd onderzoek wordt beoordeeld, de kwaliteitsbeoordelingen samen bepalen of er wordt afgewaardeerd vanwege kans op vertekening. 

Inconsistentie  

Soms vertonen de geïncludeerde onderzoeken grote onderlinge afwijkingen in behandelingseffecten die niet kunnen worden verklaard door bijvoorbeeld verschillen in populaties, interventies of onderzoeksdesign. Dergelijke inconsequenties spelen alleen als de literatuursearch meerdere onderzoeken heeft opgeleverd; afwijkende resultaten binnen eenzelfde onderzoek (bijvoorbeeld een positief effect op overleving maar een negatief effect op kwaliteit van leven) worden niet gezien als inconsistentie. 

Indirect bewijs 

Er kan sprake zijn van indirect bewijs als de onderzoeksvraag afwijkt van de PICO waarop de richtlijn antwoord wil geven. Zo kan de patiëntenpopulatie (P) zijn gebaseerd op de situatie in een ziekenhuis, terwijl de richtlijn de eerste lijn betreft. Ook de interventie (I) kan afwijken, bijvoorbeeld psychotherapie door speciaal getrainde therapeuten die in Nederland niet beschikbaar is. Geneesmiddelenonderzoek maakt vaak gebruik van een placebo-controlegroep, terwijl de belangstelling vooral uitgaat naar de meerwaarde ten opzichte van bestaande geneesmiddelen. Ook gebruik van surrogaatuitkomsten (O) valt onder indirect bewijs.

Onnauwkeurigheid 

Grote betrouwbaarheidsintervallen rond een geschat effect duiden op onzekerheid over de grootte van het effect. Een kleine steekproef (lage statistische power) of weinig voorkomende events (bijvoorbeeld sterfte of ernstige bijwerkingen) kunnen onnauwkeurigheid veroorzaken. Ook het ontbreken van een klinisch relevant effect beïnvloedt de kwaliteit van het bewijs negatief. 

Publicatiebias 

Het is een bekend fenomeen dat negatieve onderzoeksresultaten minder vaak worden gepubliceerd dan onderzoeken met positieve resultaten. Dit is een vorm van publicatiebias. Het is goed hierop bedacht te zijn als slechts enkele kleine onderzoeken met positieve resultaten zijn gepubliceerd. Om publicatiebias te kunnen vaststellen moet de literatuursearch voldoende onderzoeken opleveren. Tegenwoordig zijn er ook ‘trialregisters’ waarin de belangrijkste kenmerken van onderzoeken zijn opgenomen (onder meer de primaire uitkomstmaten) nog voor ze van start zijn gegaan. Raadpleging hiervan kan helpen om op het spoor te komen van onderzoeken waarvan de resultaten nooit zijn gepubliceerd. 

Wanneer het bewijs uit observationeel onderzoek bestaat (lage kwaliteit) en er geen redenen voor afwaarderen zijn, zijn er 3 factoren die de kwaliteit van bewijs kunnen verhogen.

Grootte van het effect 

Een sterk effect (zoals een risicoratio > 2 of < 0,5) bij een goed uitgevoerd onderzoek kan het vertrouwen in de juistheid van het geschatte effect verhogen. Het is immers onwaarschijnlijk dat een sterk effect volledig verklaard kan worden door verstoring van de invloed van andere, ongelijk verdeelde prognostische factoren (confounding).

Dosis-responsrelatie 

Een dosis-responsrelatie doet het vertrouwen in het geschatte effect toenemen, omdat hierbij causaliteit aannemelijk lijkt. Een dosis-responsrelatie doet zich bijvoorbeeld voor als een hogere dosering van een geneesmiddel een sterker effect laat zien dan een lage dosering.  

Gunstig effect van confounders  

In observationeel onderzoek is meestal sprake van overgebleven verstorende factoren (residual confounding), waarvoor niet is gecorrigeerd. Soms kan echter wel de richting van de vertekening worden beredeneerd. Als er een verband is tussen interventie en uitkomst kan het vertrouwen in het effect van de interventie toenemen als de niet-gecorrigeerde confounding uitsluitend zou leiden tot onderschatting van het werkelijke effect. Na correctie voor vertekening zou het effect dan dus nog groter zijn.

De epidemioloog beoordeelt, al dan niet in samenwerking met de wetenschappelijk medewerker en een werkgroeplid, de aan- of afwezigheid van deze factoren voor afwaarderen per uitkomstmaat en bepaalt aan de hand daarvan de kwaliteit van het bewijs. De resultaten van de GRADE-beoordeling worden weergegeven in een GRADE Summary of Findings-tabel (SoF-tabel). Deze tabel bevat de effectschattingen en de kwaliteit van bewijs van alle cruciale en belangrijke uitkomstmaten. Bij het NHG maken we SoF-tabellen met MAGICapp. Zie Tabel 3 voor een voorbeeld of bekijk de interactieve weergave. 

Net als bij ‘de zwakste schakel’ bepaalt de cruciale uitkomstmaat met de laagste kwaliteit de hoogte van de algehele kwaliteit van bewijs. Het niveau van deze algehele kwaliteit is van invloed op de kracht van de aanbeveling.  

Traditioneel kijken clinici en richtlijnontwikkelaars meestal naar de diagnostische testeigenschappen, zoals sensitiviteit en specificiteit, wanneer zij besluiten om een diagnostische test al dan niet te gebruiken. Maar het nut van een test hangt niet alleen af van hoe goed deze test zieken en niet-zieken onderscheidt. Ook de nadelen van de test spelen mee, zoals complicaties en belasting, en de mate waarin het uitvoeren van de test iets aan het te volgen klinisch beleid verandert. 

Er zijn 2 mogelijkheden om de gezondheidswinst van diagnostische tests in de klinische praktijk te evalueren: de directe en indirecte methode.
De meest ideale methode is de directe methode: evaluatie via een RCT (of eventueel vergelijkend onderzoek met observationele opzet). Patiënten worden willekeurig toegewezen aan de nieuwe of de oude teststrategie en vervolgens behandeld op geleide van de testuitslag. Voor alle patiënten worden de patiëntrelevante uitkomsten gemeten en vergeleken. Wanneer er direct bewijs voorhanden is, kan de GRADE-methode voor interventie onderzoek toegepast worden om een aanbeveling te formuleren. 

Omdat dergelijke RCT’s zeldzaam zijn, richt dit hoofdstuk zich op de situatie dat direct bewijs niet voorhanden is. Dit hoofdstuk beschrijft de benodigde stappen om op basis van het bewijs met betrekking tot testeigenschappen een inschatting te maken van de patiënt-relevante consequenties. Zie ook de GRADE-tool voor diagnostiek voor een uitgebreide beschrijving van de methode. 

De indirecte methode heeft 2 onderdelen:

1. samenvatten van het bewijs over de diagnostische accuratesse van de nieuwe test(s). De diagnostische accuratesse wordt uitgedrukt in de verdeling van het aantal patiënten met een terecht-positieve, terecht-negatieve, fout-positieve en fout-negatieve uitslag;
2. doorredeneren naar mogelijke gevolgen van de testuitslag en de voor de patiëntrelevante consequenties op basis van de testuitslagen. Bijvoorbeeld: patiënten met een positieve testuitslag worden behandeld. Patiënten met een terecht-positieve testuitslag verminderen door de behandeling hun kans op sterfte, maar hebben ook kans op bijwerkingen. Patiënten met een fout-positieve uitslag ondervinden niet het gunstige effect van de behandeling: hun kans op sterfte vermindert niet, maar zij hebben wel kans op bijwerkingen.

Op deze manier worden de testuitslagen gebruikt om de potentiële gezondheidswinst in kaart te brengen. Omdat diagnostische accuratesse als tussenstap wordt gebruikt spreken we een van indirecte methode.

Bij de indirecte methode is er sprake van verschillende typen bewijs:

• bewijs verkregen uit diagnostische accuratesseonderzoeken;
• bewijs over directe gevolgen van de test, zoals mogelijke complicaties en de belasting van de test;
• bewijs behorend bij de consequenties, zoals de gewenste en ongewenste effecten van de behandeling die volgt op een positieve testuitslag of het natuurlijk beloop bij een fout-negatieve testuitslag.

Voor elk van deze typen bewijs bepaalt de werkgroep de kwaliteit van bewijs (mate van zekerheid van de gevonden effecten).

De algehele kwaliteit van bewijs heeft betrekking op alle schakels in de keten van bewijs voor de geschatte gezondheidswinst van de test. De algehele kwaliteit van het bewijs is gelijk aan de laagste kwaliteit van bewijs van de schakel in de keten van bewijs.

Neem bijvoorbeeld de volgende situatie: de werkgroep oordeelt dat het natuurlijk beloop en de effectiviteit van de behandeling cruciaal zijn om de gunstige en ongunstige effecten van een test te bepalen. De kwaliteit van bewijs is laag voor deze schakels. De algehele kwaliteit van bewijs wordt daarmee laag, ondanks een eventueel hoge kwaliteit van bewijs voor de diagnostische accuratesse.

Na de beoordeling en samenvatting van het wetenschappelijk bewijs volgt in de GRADE-methode de vertaling van de resultaten naar aanbevelingen voor de praktijk, ofwel de zogenoemde vertaalslag ‘Van bewijs naar aanbeveling’. Ook praktische en contextuele factoren spelen een rol, om te komen tot goed toepasbare aanbevelingen.

De volgende 6 factoren komen in elk geval aan de orde in de vertaalslag van bewijs naar aanbeveling:

• balans tussen gewenste en ongewenste effecten van de betreffende interventie; 
• algehele kwaliteit van het wetenschappelijke bewijs; 
• waarden en voorkeuren van patiënten; 
• beschikbare middelen (kosten); 
• aanvaardbaarheid van de interventie;  
• haalbaarheid van de interventie.  

Veel richtlijngebruikers kijken vooral naar de aanbevelingen in de NHG-richtlijn. Het is daarom essentieel dat een aanbeveling:

• de uitgangsvraag beantwoordt;  
• op zichzelf staand gelezen kan worden; 
• niet op verschillende manieren uitgelegd kan worden. 

GRADE maakt een onderverdeling in sterke en voorwaardelijke (zwakke) aanbevelingen. De in paragraaf 8.1 Van bewijs naar aanbeveling genoemde factoren bepalen of een aanbeveling sterk of zwak wordt geformuleerd. Het NHG brengt de sterkte van een aanbeveling tot uitdrukking door de formulering van de aanbeveling (zie tabel 4).  

Het doel van de praktische uitwerking van de medicamenteuze behandeling is om de huisarts te ondersteunen bij het verantwoord voorschrijven van geneesmiddelen in de praktijk.  

Adviezen voor de praktische toepassing omvatten bijvoorbeeld:

• voorkeursmiddelen
• dosering, toedieningsvorm
• voorlichting aan de patiënt over het geneesmiddel
• afwijkende dosering bij relevante patiëntengroepen (bijvoorbeeld kinderen, zwangere/lacterende vrouwen, patiënten met een verminderde nierfunctie) 
• de belangrijkste contra-indicaties/interacties
• controles, behandelduur 
• stopcriteria

De wetenschappelijk medewerker stelt deze adviezen samen met de werkgroep op.

Het NHG gebruikt een vaste werkwijze om voorkeursmiddelen aan te wijzen. Naast de beoordeling van de inhoudelijke eigenschappen van de geneesmiddelen spelen ook de kosten mee. Door deze voorkeursmiddelen voor te schrijven doet de huisarts ervaring op met een beperkt aantal geneesmiddelen. Hierdoor is de farmaceutische zorg, en dus de zorgkosten voor de patiënt, niet duurder dan noodzakelijk.

Deze werkwijze omvat de volgende stappen:

• Inventarisatie welke geneesmiddel(groep)en, en specifieke toedieningsvormen, beschikbaar zijn voor de behandeling van de betreffende klacht/aandoening met het beoogde behandeldoel.
• Beoordeling gelijkwaardigheid van de geneesmiddelen. De beoordeling van de effectiviteit en veiligheid zijn de 2 belangrijkste criteria. Daarnaast weegt het NHG mee: bijwerkingen, toepasbaarheid en gebruiksgemak. Onder gelijkwaardigheid verstaat het NHG: er zijn geen aanwijzingen voor klinisch relevante verschillen bij de meerderheid van de patiënten met deze aandoening.
• Als de middelen niet gelijkwaardig zijn, volgt een advies over voorkeursmiddelen. Als de middelen gelijkwaardig zijn, wordt de voorkeur bepaald door de kosten. Bij relevante kostenverschillen tussen de voorkeursmiddelen zal het NHG een voorkeur uitspreken voor het geneesmiddel met de laagste kosten. Het NHG gebruikt als bron voor de kosten de voor iedereen beschikbare website www.medicijnkosten.nl van Zorginstituut Nederland.

Nieuwe geneesmiddelen beoordeelt het NHG met terughoudendheid. Met een geneesmiddel is bij voorkeur gedurende minimaal 5 jaar ervaring opgedaan in de eerste lijn in Nederland of in een land met een vergelijkbare populatie en met een vergelijkbare goede registratie van bijwerkingen.

Offlabel geneesmiddelen neemt het NHG mee in de beoordeling als het gebruik bij de indicatie voldoende kan worden onderbouwd.

Een NHG-Richtlijn bestaat uit vier delen:  

• Samenvatting 
• Hoofdtekst 
• Details  
• Totstandkoming en methoden 

Bij elke richtlijn formuleert het NHG bovendien kennislacunes en indien relevant indicatoren.

Van elke richtlijn verschijnt er een samenvatting en volledige tekstversie op richtlijnen.nhg.org.

Onderstaande tekst toont de structuur en opbouw van de hoofdtekst, waarin achtergrondinformatie en aanbevelingen voor de praktijk zijn opgenomen. 

Belangrijkste wijzigingen

Kernboodschappen

Inleiding

Achtergronden

• Begrippen
• Epidemiologie
• Etiologie/prognose/natuurlijk beloop
• Pathofysiologie/symptomatologie

Richtlijnen diagnostiek

• Anamnese
• Lichamelijk onderzoek
• Aanvullend onderzoek
• Evaluatie

Richtlijnen beleid

• Voorlichting en advies
• Niet-medicamenteuze behandeling
• Medicamenteuze behandeling
• Controles
• Verwijzing

Er verschijnen nog maar weinig geheel nieuwe NHG-richtlijnen; meestal gaat het om actualiseringen. De samenvatting van de belangrijkste wijzigingen is bestemd voor degenen die de vorige versie van de richtlijn kennen.  

De kernboodschappen vatten de belangrijkste aanbevelingen van de richtlijn samen. Ze geven lezers een goed overzicht van de inhoud en leggen extra nadruk op de meest belangrijkste wijzigingen en aanbevelingen.

De inleiding bevat een toelichting op het doel en de afbakening (scope) van de richtlijn. Meestal is hier ook beschreven waar de richtlijn niet over gaat, bijvoorbeeld als er doelgroepen of interventies buiten het bestek van de richtlijn vallen. Bij nieuwe onderwerpen geeft de inleiding de redenen weer om hiervoor een NHG-richtlijn te ontwikkelen. 

Dit deel van de richtlijn bevat: 

• een introductie op het onderwerp van de richtlijn
• een omschrijving van de gehanteerde begrippen
• informatie over de epidemiologie van de betreffende aandoening in de huisartsenpraktijk
• informatie over de etiologie, prognose en natuurlijk beloop
• informatie over pathofysiologie en symptomatologie

Dit deel bevat een beschrijving van: 

• signalen en symptomen die de huisarts aanleiding geven tot het vermoeden van de ziekte; 
• indien van toepassing: de presentatie bij subgroepen, zoals kinderen of ouderen;
• aanbevelingen voor anamnestische vragen en lichamelijk onderzoek om de diagnose te kunnen stellen en differentiaaldiagnoses uit te sluiten;
• aanbevelingen voor aanvullend onderzoek bij specifieke indicaties;
• een evaluatie van de diagnoses die aan de hand van de bevindingen uit anamnese, lichamelijk en aanvullend onderzoek kunnen worden gesteld en welk onderscheid relevant is met het oog op het beleid;
• indien van toepassing: een onderscheid naar aard en/of ernst van de diagnose.

Dit deel bevat een beschrijving van:

• aanbevelingen over voorlichting en adviezen aan de patiënt, met aandacht voor zelfhulp en zelfmanagement;
• richtlijnen voor medicamenteuze en niet-medicamenteuze behandeling, inclusief een beschrijving van interventies die minder effectief zijn of niet worden aanbevolen;
• adviezen voor controles, de frequentie en het doel daarvan;
• criteria voor consultatie en verwijzing; deze komen meestal tot stand op basis van consensus tussen de diverse samenwerkingspartijen.

Het doel van de details is om transparant en expliciet te maken hoe een aanbeveling tot stand is gekomen en welke literatuur en argumentatie eraan ten grondslag liggen. Alle details volgen waar mogelijk een vaststaande structuur, te weten: 

• uitgangsvraag
• achtergrond
• methoden
• resultaten
• conclusie
• van bewijs naar aanbeveling
• aanbeveling

Het deel Totstandkoming en methoden geeft een toelichting op het ontwikkelingsproces van een richtlijn, waaronder de samenstelling van de werkgroep en mogelijke belangenverstrengelingen. Dit deel beschrijft de bij de ontwikkeling van de richtlijn gehanteerde methoden. In bijlagen staan: 

• betrokken wetenschappelijke verenigingen, beroepsorganisaties en patiëntenverenigingen 
• samenvattende tabel KNAW belangenverklaringen 
• uitgangsvragen 
• zoekstrategieën 
• PRISMA-stroomdiagram per uitgangsvraag  
• uitgesloten artikelen na full-tekst beoordeling 
• samenvatting onderzoekskarakteristieken (inclusief risico op bias) van afzonderlijke onderzoeken (optioneel) 
• forest plots (optioneel) 
• gevolgen van diagnostische testeigenschappen (optioneel) 

De aanbevelingen in NHG-richtlijnen zijn zoveel mogelijk gebaseerd op de resultaten van wetenschappelijk onderzoek. Soms echter ontbreekt onderzoek om de aanbevelingen te onderbouwen of is dit ontoereikend: een ‘kennislacune’. Bij de publicatie van elke (herziene) richtlijn publiceert het NHG ook de bijbehorende kennislacunes op richtlijnen.nhg.org. 

Indicatoren zijn meetbare elementen die een aanwijzing kunnen geven over de kwaliteit van zorg. Ze hebben vooral een signalerende functie om de mate waarin de richtlijn wordt toegepast te kunnen beoordelen. Bij de ontwikkeling of herziening van elke NHG-Richtlijn wordt de formulering van indicatoren overwogen.

Indicatoren zijn gebaseerd op de kernaanbevelingen van NHG-richtlijnen. Hierbij wordt onderscheid gemaakt tussen structuur-, proces- of uitkomstindicatoren. De uit indicatoren voortvloeiende informatie kan men gebruiken voor kwaliteitsverbetering.

De ontwikkeling van indicatoren volgt de procedure uit de handleiding Indicatorenontwikkeling op basis van NHG-Standaarden (2017).

Het Cluster Richtlijnontwikkeling van het NHG voorziet als eerste de conceptrichtlijn van commentaar. Als dit is verwerkt krijgen externe belanghebbenden, zoals toekomstige richtlijngebruikers, experts en patiëntenverenigingen, gelegenheid de conceptrichtlijn te becommentariëren. Is ook dit commentaar verwerkt, dan wordt de richtlijn ter bekrachtiging voorgelegd aan de NHG-Autorisatiecommissie.  

Het doel van de interne commentaarronde is dat het Cluster Richtlijnontwikkeling de richtlijn checkt op wetenschappelijke onderbouwing, bruikbaarheid, leesbaarheid en consistentie. Ook wordt gekeken of de inhoud goed aansluit bij andere NHG-Standaarden en NHG-Behandelrichtlijnen en of de geprioriteerde knelpunten voldoende aan de orde komen. 

In de interne commentaarronde becommentariëren een programmaleider Richtlijnen en (senior) wetenschappelijk medewerkers van het Cluster Richtlijnontwikkeling de conceptrichtlijn.  

Tijdens de externe commentaarronde, die 4 tot 6 weken in beslag neemt, krijgen de volgende partijen de conceptrichtlijn voorgelegd:

• richtlijngebruikers: plaatsing van de richtlijn op HAweb zodat leden van het NHG de richtlijn van commentaar kunnen voorzien en/of bespreking van de richtlijn in een focusgroep van circa 10 huisartsen
• 2 leden van de NHG-Adviesraad Standaarden
• relevante wetenschappelijke beroepsverenigingen
• relevante NHG-expertgroep(en)
• Patiëntenfederatie Nederland (PFN) en relevante patiëntenvereniging(en)
• Zorginstituut Nederland
• Zorgverzekeraars Nederland
• KNMP Geneesmiddel Informatie Centrum
• College ter beoordeling van Geneesmiddelen (CBG)
• Instituut Verantwoord Medicijngebruik (IVM)
• Vereniging Innovatieve Geneesmiddelen (VIG)
• Landelijke Huisartsen Vereniging (LHV)
• Medische vakcommissie NVvPO
• InEen, vereniging van organisaties voor eerstelijnszorg
• Federatie van Medisch Coördinerende Centra (FMCC)
• Domus Medica België
• hoofdredacteur Huisarts en Wetenschap
• ExpertDoc B.V.

Afhankelijk van het onderwerp krijgen ook deskundigen op het gebied van migratieachtergrond, arbeid, seksualiteit en gender de richtlijn voorgelegd.

De werkgroep bespreekt of het binnengekomen commentaar noodzaakt tot bijstelling of aanvulling van de conceptrichtlijn. De wetenschappelijk medewerker documenteert hoe de binnengekomen commentaren zijn verwerkt. Alle partijen die commentaar hebben geleverd op de richtlijn (behalve de richtlijngebruikers) krijgen schriftelijk bericht van de manier waarop hun opmerkingen zijn verwerkt.

De conceptrichtlijn wordt voorgelegd aan de NHG-Autorisatiecommissie (AC). De AC bestaat uit 14 huisartsen (7 koppels). Er zitten 6 leden op voordracht van het Universitair Netwerk Huisartsgeneeskunde (UNH) in de AC; 6 leden op voordracht van het NHG, van wie 2 leden vanuit de Verenigingsraad  en 2 leden op voordracht van de Landelijke Huisartsen Vereniging. De AC-leden worden benoemd door de ALV voor een termijn van 4 jaar. Bij een AC-vergadering is er 1 AC-lid per koppel aanwezig.

Aan de AC is een secretaris toegevoegd vanuit het cluster Richtlijnontwikkeling van het NHG. Tijdens de AC-vergadering is bij voorkeur de gehele werkgroep aanwezig. De AC beoordeelt de wetenschappelijke onderbouwing en de praktische uitvoerbaarheid van de richtlijn. De criteria waaraan NHG-richtlijnen moeten voldoen, staan beschreven in het reglement van de AC. Bij vragen van de AC geven de werkgroepleden een toelichting. De AC bespreekt de conceptrichtlijn op hoofdlijnen aan de hand van de door de werkgroep gesignaleerde en eventueel aanvullende discussiepunten. De AC besluit via stemming over autorisatie van een richtlijn en heeft daarbij de volgende mogelijkheden:

• Autorisatie van de richtlijn zonder voorwaarden 
  Hierbij kan de AC nog redactionele voorstellen doen die de wetenschappelijk medewerker verwerkt.
• Autorisatie van de richtlijn onder voorwaarden 
  Hierbij geeft de AC duidelijk aan op welke onderdelen verandering wenselijk is. De wetenschappelijk medewerker verwerkt de aanpassingen in overleg met de werkgroep. Eén of meer hiertoe gemandateerde AC-leden beoordelen en autoriseren vervolgens de aangepaste richtlijn.
• Aangehouden autorisatie van de richtlijn
  Hierbij geeft de AC duidelijk aan op welke onderdelen verandering is vereist. De AC krijgt de aangepaste richtlijn opnieuw ter beoordeling voorgelegd.

Na autorisatie volgt publicatie van de richtlijn op de richtlijnen.nhg.org. Deze site is ook benaderbaar op smartphones en tablets. Het tijdschrift Huisarts en Wetenschap publiceert een artikel gericht op de kernboodschappen en belangrijkste wijzigingen van de richtlijn. Gelijktijdig verschijnt ook de (aangepaste) patiënteninformatie op de publiekswebsite Thuisarts.nl.  

Samen met de richtlijn worden ook de kennislacunes en eventuele indicatoren gepubliceerd op de richtlijnen.nhg.org. Publicatie van een NHG-Richtlijn gaat vaak gepaard met een persbericht en een nieuwsbericht op nhg.org. 

• Bossuyt PM, Irwig L, Craig J, Glasziou P. Comparative accuracy: assessing new tests against existing diagnostic pathways. BMJ 2006; 332: 1089-92. 
• Guyatt GH, Oxman AD, Kunz R, Atkins D, Brozek J, Vist G, et al. GRADE guidelines: 2. Framing the question and deciding on important outcomes. J Clin Epidemiol. 2011;64:395-400.