Статистика, незважаючи на свою репутацію об’єктивності, може призводити до нелогічних результатів, що суперечать здоровому глузду. Це часто відбувається через статистичні парадокси, такі як парадокс Сімпсона, коли закономірність проявляється в агрегованих даних, але змінюється на протилежну при поділі даних на підгрупи. Розуміння цих явищ вкрай важливе для точних досліджень та прийняття рішень.
Справа про Прийом у Берклі
Відомий приклад стався у 1970-х роках, коли Університет Каліфорнії в Берклі був звинувачений у ґендерній дискримінації під час вступу до аспірантури. Початкові дані показали нижчий відсоток прийому для жінок (35%) порівняно з чоловіками (44%), що, начебто, вказувало на упередженість. Однак, коли прийом аналізували на факультетах, виявилося протилежне: на чотирьох із шести основних факультетів “жінок приймали більше, ніж чоловіків”.
Розбіжність виникла через те, що жінки непропорційно подавали заяви до більш конкурентних факультетів з нижчими загальними показниками прийому, тоді як чоловіки подавали заяви до факультетів з більшою кількістю місць та меншою кількістю абітурієнтів. Це ілюструє, як угруповання може спотворювати тенденції, що лежать в основі.
Витоки Парадоксу
Це явище вперше описав в 1899 математик Карл Пірсон, а потім заново відкрив Джордж Юдні Юл в 1903 році. Однак воно залишалося значною мірою непоміченим до тих пір, поки Едвард Сімпсон формально не задокументував його в 1951 році, давши ефект його ім’я. Робота Сімпсона підкреслила, як тенденції можуть змінюватись в залежності від поділу на підгрупи.
Реальні Наслідки
Цей парадокс – не просто теоретична вправа. У 2021 році дані показали, що COVID-19 був майже вдвічі смертельнішим в Італії, ніж у Китаї, незважаючи на те, що в кожній віковій групі в Італії виживання було вищим. Ця уявна суперечлива знахідка демонструє, як агреговані тенденції можуть приховувати динаміку підгруп.
Проблеми в Медичних Дослідженнях
Парадокс Сімпсон створює проблеми в медичних дослідженнях, особливо при оцінці ефективності ліків. Ліки можуть демонструвати загальну ефективність, але виявитися менш ефективними, ніж плацебо, при аналізі за підгрупами (наприклад, за статтю). Рішення про те, схвалювати такі ліки чи ні, потребує ретельного розгляду: чи слід віддавати пріоритет загальному результату чи невідповідності у підгрупах мають викликати побоювання?
Найбільш науково обґрунтований підхід — подальше вивчення, щоб визначити ступінь впливу факторів, що змішують, і переконатися, що причинно-наслідкові зв’язки встановлені правильно. Немає обхідних шляхів для суворого аналізу під час поділу кореляцій та реальних ефектів.
** На закінчення, парадокс Сімпсона нагадує нам, що статистика, хоч і потужна, не є безпомилковою. Критичний підхід до аналізу даних, включаючи перевірку підгруп та облік прихованих впливів, необхідний, щоб уникнути висновків, що вводять в оману.**
