Думаете, p-value это вероятность ошибки? Ошибаетесь
При сравнении среднего роста 50 человек из двух стран разница в 3 сантиметра может быть просто случайностью. Чтобы это проверить, учёные используют p-value. P-value — число, которое называют «статистической значимостью». От него зависят публикации, карьеры и выводы о лекарствах. Но большинство людей, включая самих учёных, понимают его неправильно. Если p-value равно 0,06, это означает: при условии, что реальной разницы нет, такая же случайная разница возникла бы в 6% случаев. Это не вероятность того, что результат случаен. Это вероятность получить такие данные, если эффекта нет. Смысл часто путают. Порог 0,05 предложил британский статистик Рональд Фишер в 1920-х годах как эмпирическое правило. Если p-value меньше 0,05, результат считают «значимым». Один из двадцати таких результатов — ложная тревога. Незначимый результат не значит, что разницы нет. Просто данных недостаточно. Например, исследование на 40 тысячах человек показало повышение IQ на полбалла с p меньше 0,001 — статистически значимо, но практически бесполезно. А более скромное исследование с эффектом в 5 баллов и p=0,06 — «не значимо», хотя эффект больше. Из-за порога учёные иногда подглядывают в данные и добавляют испытуемых, пока p не станет меньше 0,05. Это называется p-хак, и так делают довольно часто. В 2019 году более 800 учёных призвали отказаться от термина «статистическая значимость». Один журнал вообще запретил p-value. Вместо них советуют смотреть на размер эффекта и доверительные интервалы. Но совсем отказываться от p-value, возможно, не стоит — оно показывает, насколько результат необычен, если ничто не работает. Главное — не делать из него приговор. Эту информацию сообщает сайт Phys.org.
