6. Een magisch gevolg van betere scans en laboratoriumtesten: het Will Rogers effect

In de vorige 2 hoofdstukken heb ik uitgelegd dat betere diagnostische testen en het aanscherpen van normen zorgen voor verrassende effecten. In deze aflevering laat ik zien dat er nog een effect is dat wel op tovenarij lijkt.

Als de domste Nederlander naar België verhuist, stijgt het IQ in beide landen.

Wat is het Will Rogers effect?

Dit foute grapje zullen de meeste mensen wel eens hebben gehoord. Het is natuurlijk grote onzin, maar het geeft wel precies weer wat het Will Rogers effect is. Daarom gebruik ik dit grapje toch om het uit te leggen. Mocht iemand uit België dit lezen, wissel Nederland en België om en er is geen vuiltje meer aan de lucht. We nemen voor het gemak aan dat in België en Nederland 30 mensen wonen. Die staan in figuur 1 netjes op volgorde van hun IQ. Boven in het zwart van de Belgische leeuw; onder in het oranje van de Nederlandse leeuw. We hebben in eerdere hoofdstukken al gezien dat de meeste mensen rond het gemiddelde zitten. Zowel naar beneden als naar boven neemt het aantal snel af. Links (bij A) is goed te zien dat het gemiddelde van Nederland een stuk hoger ligt dan dat van België. Nu vertrekt de Nederlander met het laagste IQ naar België en komt in de bovenste grafiek terecht bij B. Het gevolg is dat het gemiddelde IQ in beide landen stijgt (de onderbroken lijnen)! Dat is gek, de mensen worden niet slimmer. Er verandert eigenlijk helemaal niets en toch neemt het gemiddelde IQ in beide landen toe. Het voelt een beetje als magie. Dat is het Will Rogers effect.

Omdat het zo vreemd aanvoelt, zal ik nog een voorbeeld geven. Een middelbare scholier is heel goed in wiskunde, maar slecht in Frans. Hieronder staan de rapportcijfers voor deze vakken van het afgelopen jaar.

Wat zou er gebeuren als het laagste cijfer (7,8) voor wiskunde wordt verplaatst naar Frans? Precies: het gemiddelde voor beide vakken zal omhoog gaan. Dit voorbeeld voelt misschien al minder magisch omdat je het hier gewoon uit kunt rekenen. Maar in wezen gebeurt er precies hetzelfde als in het eerste voorbeeld.

De voorbeelden die je in de praktijk ziet, zijn eigenlijk altijd van het eerste type. Je herkent het alleen als je het fenomeen kent en er aan denkt.

Het Will Rogers effect in de praktijk.

In 2010 werd bij mannen met prostaatkanker die mogelijk uitzaaiingen hadden een botscan gemaakt. De ontwikkelingen hebben niet stil gestaan. Vandaag de dag wordt bij deze patiënten een PET-scan gemaakt. Daarmee kunnen betrouwbaar kleine uitzaaiingen worden gevonden. Bovendien kijkt een PET-scan niet alleen naar de botten, maar naar heel het lichaam.

Stel je een groep van 20 van deze mannen in 2010 voor. Bij al die mannen wordt een botscan gemaakt. Acht mannen blijken uitzaaiingen in de botten te hebben. In figuur 3 staat ze schematisch weergegeven.

Patiënten zonder uitzaaiingen hebben gemiddeld een veel beter vooruitzicht (prognose) dan patiënten die wel uitzaaiingen hebben. Vier van deze mannen hebben in 2010 wel degelijk uitzaaiingen (roze markering). Die zijn op de botscan echter niet te zien en dus zitten deze mannen in de groep zonder uitzaaiingen. Die mannen hebben gemiddeld een slechtere prognose dan de mannen die echt geen uitzaaiingen hebben.

Het is nu 2018 en we hebben precies dezelfde groep van 20 prostaatkankerpatiënten als in 2010. Het enige verschil is dat er nu een PET-scan gemaakt wordt in plaats van een botscan. Met de PET-scan zijn de uitzaaiingen van die 4 mannen nu wel te zien. Dit is schematisch weergegeven in figuur 4. Als je goed kijkt zie in figuur 3 en 4 ook weer het effect van de betere scans terug. Er worden meer afwijkingen gevonden en die afwijkingen zijn kleiner.

De prognose van de mannen zonder uitzaaiingen is gemiddeld verbeterd. Dat komt omdat de mannen die toch uitzaaiingen bleken te hebben niet meer meetellen. Tegelijkertijd is de prognose van de mannen met uitzaaiingen gemiddeld ook beter geworden. De mannen die er nieuw bij gekomen zijn (roze) hebben namelijk minder en kleinere uitzaaiingen en daarmee een beter vooruitzicht.

Hier lijkt het toch weer magie. Er is een betere scan en alleen daardoor wordt de gemiddelde prognose van alle patiënten beter. Je hoeft daar trouwens niet voor te behandelen, het gebeurt automatisch. Voor alle duidelijkheid: er verandert op zich helemaal niets; alleen de gemiddelde vooruitzichten worden anders. Die vooruitzichten bespreek je wel met patiënten. En dus heeft het Will Rogers effect in de praktijk wel degelijk gevolgen.

Het is natuurlijk mogelijk dat zo’n nieuwe scan echt zorgt voor een preciezere en betere behandeling. En het kan best zijn dat de prognose van de patiënten echt beter wordt. Maar je kunt de verbetering niet zonder meer toeschrijven aan de behandeling. Het Will Rogers effect ligt altijd op de loer, maar wordt lang niet altijd herkend.

Ik keer nog even terug naar hoofdstuk 5. Het laatste deel ging over het aanscherpen van de norm voor verhoogd cholesterol. Het gevolg was een kleinere kans op hart- en vaatziekten bij patiënten met een verhoogd cholesterol. Maar, kijk nog eens terug naar de mensen met een niet verhoogd cholesterol. Ook die hebben gemiddeld een wat lager risico op hart- en vaatziekten. En dat alleen maar doordat we strenger zijn geworden. Dus ook daar treedt het Will Rogers effect op!

Samenvatting van hoofdstuk 4-6

Nieuwere scans en laboratoriumonderzoeken hebben ons veel goeds gebracht zoals betere behandelingen en betere voorspellingen. Ze leiden ook tot het vinden van steeds meer een steeds kleinere afwijkingen. Het is belangrijk om daar rekening mee te houden. Want je zou kunnen denken dat die ziekte ineens veel vaker voorkomt.

Voor veel testen is de grens van normaal en afwijkend door experts afgesproken. Door nieuwe inzichten kan zo’n grens worden aangepast. Ook hier geldt dat dit goed voor de patiënten kan zijn. Meestal worden de normen strenger. Als de norm strenger wordt, komen er automatisch meer patiënten bij. Die hebben gemiddeld ook kleinere afwijkingen. Dat zorgt ervoor dat de prognose van de patiënten gemiddeld beter wordt. Dus alleen al door het aanpassen van de norm, wordt de prognose beter. Ook dit is belangrijk om rekening mee te houden. Je zou namelijk kunnen denken dat er echt iets is verbeterd in de behandeling. Als de norm strenger wordt, wordt de behandeling in totaal beter. De behandeling per patiënt wordt steeds minder effectief.

Door verbeteringen van scans en het aanpassen van normen komen patiënten in andere groepen terecht. Of mensen die geen patiënt waren, zijn nu ineens wel patiënt geworden. Dit zorgt altijd voor een verandering van de prognose van iedereen. Het Will Rogers effect. Ik val in herhaling: ook dit is belangrijk, maar wordt vaak niet herkend.

Volgende onderwerp

De volgende 2 hoofdstukken gaan over wat de uitslag van een test voor een patiënt betekent. Er komt een interessante vraag aan de orde: Klopt de uitslag van een test altijd?

Volgend hoofdstuk (7). Diagnostisch onderzoek: klopt de uitslag altijd? Over fout positieve en fout negatieve uitslagen

Vorig hoofdstuk (5). De gevolgen van het aanscherpen van normen

Overige hoofdstukken

Het Will Rogers effect is genoemd naar een Amerikaanse acteur en komiek die tijdens de depressie van de jaren 30 een vergelijkbaar grapje maakte: “When the Okies left Oklahoma and moved to California, they raised the average intelligence level in both states.” terug