p-hacking – błędy metodologiczne, jakich dopuszczają się badacze łamiący założenia przyjętego podejścia wnioskowania statystycznego, szczególnie w obszarze weryfikacji hipotez statystycznych, kierując się nadmierną motywacją uzyskania wyniku istotnego statystycznie, ze szkodą dla faktycznej wartości naukowej badań. Polega to na łamaniu założeń używanych modeli statystycznych, w tym stosowaniu niezależnych prób losowych, oraz na popełnianiu błędów logicznych.
Przykłady błędów typu p-hacking to: Nadużycie metodologiczne Prawidłowe podejścieData fishing, HARKing – wykonywanie niezaplanowanych porównań, w poszukiwaniu różnic istotnych statystycznie, i przedstawianie ich jako zaplanowanej weryfikacji hipotezBadania eksploracyjne powinny być przedstawiane jako takie, a nie jako z góry zaplanowana weryfikacja hipotez.Cherry picking – wybiórcze przedstawianie jedynie podzbioru porównań, które osiągnęły istotność statystycznąAby publikacje rzeczywiście prezentowały nominalny poziom ryzyka błędu I i II rodzaju należy przedstawić wyniki wszystkich wykonanych testów.Problem porównań wielokrotnych – wykonywanie wielu testów tej samej rodziny hipotez na tych samych danych, bez stosowania na to żadnej poprawkiW przypadku wykonywania wielu testów hipotezy na tych samych danych, należy uwzględnić problem porównań wielokrotnych i zastosować np. poprawkę Holma-Bonferroniego.Podglądanie wyników – obserwacja wyników w trakcie zbierania danych i przedwczesne przerywanie badania, gdy tylko uzyska się istotność statystycznąJeśli badanie jest kosztowne, można rozważyć wykorzystanie technik analizy sekwencyjnej, pozwalającej na etapowe testowanie danych w trakcie ich zbierania, i przerwanie badania gdy tylko zostanie uzyskana istotność statystyczna, w sposób kontrolujący błędy I rodzaju. Jedną z metod przeciwdziałania takiemu zjawisku jest prerejestracja planów badawczych, dającą gwarancję, że zaplanowana struktura analiz była przestrzegana, oraz częstsze wykonywanie replikacji badań. Wicherts i inni zaproponowali listę kontrolną wyliczającą 34 błędy badawcze, których należy unikać.
Narzędzia metaanalityczne pomagające wykryć p-hacking to między innymi wykresy lejkowe i krzywa p. Wykryto dzięki nim pewną ilość nadużyć w badaniach, na przykład w obszarze psychologii społecznej. Przeglądy publikacji wskazują, że p-hacking jest często spotykany, jednak możliwe że nie ma poważnego wpływu np. na metaanalizy. Przykładowo, w jednym z badań ankietowych do niezaplanowanego podglądania danych i przerywania badań przyznało się 55% z około 2000 naukowców. Przeglądy zademonstrowały występowanie problemów tego typu między innymi w biznesowych badaniach A/B w informatyce, w ekologii behawioralnej, i w quasi-eksperymentach ekonomii.
Przypisy
Linki zewnętrzne James A. Smith, The method that can "prove" almost anything , kanał „TED-Ed” na YouTube, 5 sierpnia 2021 [dostęp 2024-10-05].
Kategoria:Weryfikacja hipotez statystycznych