Statistieken kunnen, ondanks hun reputatie van objectiviteit, contra-intuïtieve resultaten opleveren die in strijd zijn met het gezond verstand. Dit is vaak te wijten aan statistische paradoxen, zoals de Simpson-paradox, waarbij een trend in de verzamelde gegevens voorkomt, maar omkeert wanneer de gegevens in subgroepen worden opgesplitst. Het begrijpen van deze verschijnselen is cruciaal voor nauwkeurig onderzoek en besluitvorming.
De toelatingszaak van Berkeley
Een beroemd voorbeeld deed zich voor in de jaren zeventig, toen de Universiteit van Californië, Berkeley, werd beschuldigd van genderdiscriminatie bij de toelating tot afgestudeerden. Uit de eerste gegevens bleek dat vrouwelijke aanvragers (35%) minder geaccepteerd werden dan mannelijke (44%), wat schijnbaar op vooringenomenheid duidt. Wanneer de opnames per afdeling werden geanalyseerd, bleek echter het tegendeel waar: op vier van de zes grote afdelingen werden meer vrouwen opgenomen dan mannen.
De discrepantie ontstond omdat vrouwen onevenredig solliciteerden op meer competitieve afdelingen met lagere algemene acceptatiepercentages, terwijl mannen solliciteerden op afdelingen met meer vacatures en minder sollicitanten. Dit illustreert hoe groepering de onderliggende trends kan vertekenen.
De oorsprong van de paradox
Het fenomeen werd voor het eerst beschreven in 1899 door wiskundige Karl Pearson en vervolgens herontdekt door George Udny Yule in 1903. Het bleef echter grotendeels onopgemerkt totdat Edward Simpson het formeel documenteerde in 1951, en zijn naam aan het effect leende. Simpsons werk benadrukte hoe trends kunnen variëren afhankelijk van de subgroepverdelingen.
Implicaties in de echte wereld
Deze paradox is niet louter theoretisch. Uit gegevens bleek dat in 2021 COVID-19 in Italië bijna twee keer zo dodelijk was als in China, ondanks het feit dat elke leeftijdsgroep in Italië een hoger overlevingspercentage had. Deze ogenschijnlijk tegenstrijdige bevinding laat zien hoe geaggregeerde trends de dynamiek van subgroepen kunnen verdoezelen.
Uitdagingen in medisch onderzoek
De paradox van Simpson levert uitdagingen op in medische onderzoeken, vooral bij het evalueren van de werkzaamheid van geneesmiddelen. Een medicijn kan over het algemeen effectief zijn, maar toch minder effectief blijken te zijn dan een placebo wanneer het wordt geanalyseerd op basis van subgroepen (bijvoorbeeld geslacht). De beslissing om een dergelijk medicijn goed te keuren vereist een zorgvuldige afweging: moet het algehele resultaat prioriteit krijgen, of moeten inconsistenties in de subgroepen aanleiding geven tot bezorgdheid?
De wetenschappelijk meest verantwoorde aanpak is verder onderzoek om de omvang van verstorende factoren vast te stellen en ervoor te zorgen dat causale relaties op de juiste manier worden geïdentificeerd. Er is geen kortere weg naar een rigoureuze analyse bij het ontwarren van correlaties en echte effecten.
Concluderend herinnert de paradox van Simpson ons eraan dat statistieken, ook al zijn ze krachtig, niet onfeilbaar zijn. Een kritische benadering van data-analyse, inclusief onderzoek van subgroepen en het in overweging nemen van verborgen invloeden, is essentieel om misleidende conclusies te voorkomen.
