Le statistiche, nonostante la loro reputazione di obiettività, possono produrre risultati controintuitivi che sfidano il buon senso. Ciò è spesso dovuto a paradossi statistici, come il paradosso di Simpson, in cui una tendenza appare nei dati aggregati ma si inverte quando i dati vengono suddivisi in sottogruppi. Comprendere questi fenomeni è fondamentale per una ricerca e un processo decisionale accurati.
Il caso di ammissione a Berkeley
Un famoso esempio si è verificato negli anni ’70, quando l’Università della California, Berkeley, fu accusata di discriminazione di genere nelle ammissioni dei suoi laureati. I dati iniziali hanno mostrato un tasso di accettazione inferiore per le candidate donne (35%) rispetto ai candidati uomini (44%), indicando apparentemente un pregiudizio. Tuttavia, quando le ammissioni sono state analizzate per dipartimento, è vero il contrario: in quattro dei sei dipartimenti principali, sono state ammesse più donne che uomini.
La discrepanza è dovuta al fatto che le donne hanno fatto domanda in modo sproporzionato a dipartimenti più competitivi con tassi di accettazione complessivi più bassi, mentre gli uomini hanno fatto domanda a dipartimenti con più opportunità e meno candidati. Ciò illustra come il raggruppamento possa distorcere le tendenze sottostanti.
Le origini del paradosso
Il fenomeno fu descritto per la prima volta nel 1899 dal matematico Karl Pearson, poi riscoperto da George Udny Yule nel 1903. Tuttavia, rimase in gran parte inosservato finché Edward Simpson non lo documentò formalmente nel 1951, prestando il suo nome all’effetto. Il lavoro di Simpson ha evidenziato come le tendenze possano variare a seconda delle divisioni dei sottogruppi.
Implicazioni nel mondo reale
Questo paradosso non è meramente teorico. Nel 2021, i dati hanno indicato che il COVID-19 è stato quasi due volte più mortale in Italia che in Cina, nonostante il fatto che ogni fascia di età in Italia avesse un tasso di sopravvivenza più elevato. Questa scoperta apparentemente contraddittoria dimostra come le tendenze aggregate possano oscurare le dinamiche dei sottogruppi.
Sfide nella ricerca medica
Il paradosso di Simpson presenta sfide negli studi medici, in particolare quando si valuta l’efficacia dei farmaci. Un farmaco potrebbe dimostrare un’efficacia complessiva, ma rivelarsi meno efficace di un placebo se analizzato per sottogruppi (ad esempio, sesso). Decidere se approvare un farmaco di questo tipo richiede un’attenta considerazione: si dovrebbe dare la priorità al risultato complessivo o le incoerenze dei sottogruppi dovrebbero sollevare preoccupazioni?
L’approccio scientificamente più valido prevede ulteriori indagini per determinare l’entità dei fattori confondenti e garantire che le relazioni causali siano adeguatamente identificate. Non c’è scorciatoia per un’analisi rigorosa quando si districano le correlazioni dagli effetti reali.
In conclusione, il paradosso di Simpson ci ricorda che le statistiche, sebbene potenti, non sono infallibili. Un approccio critico all’analisi dei dati, compreso l’esame dei sottogruppi e la considerazione delle influenze nascoste, è essenziale per evitare conclusioni fuorvianti.
