Kryzys replikacji w psychologii oznacza sytuację, w której niezależne zespoły badawcze nie potrafią uzyskać takich samych wyników jak autorzy pierwotnego eksperymentu. Nie dowodzi to, że psychologia jest pseudonauką. Pokazuje raczej, że część ustaleń wymaga ponownej weryfikacji, a sama nauka poprawia swoje metody.
Czym jest kryzys replikacji?
Wynik pojedynczego badania jest hipotezą, a nie ostatecznym faktem. Żeby uznać dane zjawisko za dobrze potwierdzone, inni badacze powinni móc przeprowadzić podobny eksperyment i uzyskać zbliżony rezultat. Kryzys replikacji pojawił się wtedy, gdy wiele głośnych badań psychologicznych nie przeszło takiej próby.
Problem szczególnie wyraźnie ujawnił się w psychologii społecznej, gdzie na zachowanie uczestników wpływają między innymi kontekst kulturowy, czas, sposób sformułowania instrukcji i cechy badanej grupy. Nieudana replikacja nie musi oznaczać oszustwa. Może wskazywać na zbyt małą próbę, słaby efekt, przypadkowy wynik albo warunki, które różniły się od pierwotnego eksperymentu.
To ważne rozróżnienie. Kryzys nie polega na tym, że żadne badanie nie działa. Polega na tym, że pojedyncze, efektowne odkrycia zbyt często traktowano jak trwałą wiedzę, zanim zostały niezależnie sprawdzone.
Dlaczego replikacja jest potrzebna?
Nauka jest kumulatywna. Kolejne badania powinny sprawdzać, czy wcześniejsze wnioski utrzymują się przy nowych uczestnikach, w innym laboratorium i przy ponownej analizie danych. Trzeba też oddzielić trzy pojęcia, które bywają mylone.
| Termin | Co oznacza? | Dlaczego jest ważne? |
|---|---|---|
| Odtwarzalność danych | Inny badacz, korzystając z tych samych danych i tej samej procedury analitycznej, otrzymuje taki sam wynik. | Pozwala sprawdzić, czy obliczenia i opis danych są poprawne. |
| Powtarzalność eksperymentu | Nowy zespół przeprowadza badanie na nowej próbie uczestników i sprawdza, czy uzyskuje podobny efekt. | Testuje, czy odkrycie nie było wynikiem przypadku lub szczególnych cech pierwotnej próby. |
| Rzetelność analityczna | Różni badacze analizują te same dane przy użyciu różnych uzasadnionych metod. | Pokazuje, czy wniosek zależy od jednej, arbitralnie wybranej procedury. |
Wynik replikacji nie powinien być oceniany wyłącznie jako „sukces” albo „porażka”. Liczy się także wielkość efektu. Jeśli nowe badanie pokazuje ten sam kierunek zależności, ale słabszą różnicę między grupami, może to oznaczać, że pierwotna praca przeceniła siłę zjawiska.
Dobrym przykładem jest projekt Many Labs 2, w którym 186 badaczy z 36 krajów, pracujących w 60 laboratoriach, sprawdzało 28 wcześniej opublikowanych efektów psychologicznych. W części przypadków uzyskano wyniki zbliżone do pierwotnych, w części nie. Potwierdzono między innymi efekt framingu, zgodnie z którym te same dane mogą prowadzić do różnych decyzji zależnie od sposobu ich przedstawienia, oraz wyniki badań nad dylematem wagonika. Nie udało się natomiast potwierdzić między innymi efektu Lady Makbet.
Takie rezultaty nie tworzą prostego podziału na „prawdziwą” i „fałszywą” psychologię. Pokazują, które efekty są mocniejsze, a które wymagają ostrożniejszej interpretacji.
Co doprowadziło do kryzysu?
Problemy nie wynikały z jednego błędu. Na jakość badań wpływał system nagradzający publikowanie ciekawych i nowych wyników częściej niż cierpliwe sprawdzanie cudzych odkryć. Najczęściej wskazuje się kilka powiązanych czynników:
- Presja publikacyjna – awanse, granty i pozycja naukowca często zależą od liczby publikacji oraz ich obecności w prestiżowych czasopismach.
- P-hacking – wielokrotne testowanie danych, zmienianie analiz, pomijanie części obserwacji lub dobieranie próby do momentu uzyskania wartości p poniżej przyjętego progu. Nie zawsze musi wynikać ze świadomego oszustwa, ale zwiększa ryzyko fałszywie pozytywnego wyniku.
- Małe próby badawcze – niewielka liczba uczestników utrudnia wykrycie rzeczywistego efektu i zwiększa wpływ przypadku. Badanie może wtedy wykazać bardzo silną zależność, która w większej próbie słabnie albo znika.
- Przewaga nowości nad solidnością – czasopisma chętniej publikują zaskakujące odkrycie niż powtórzenie znanego eksperymentu z podobnym wynikiem.
- Próby typu WEIRD – wiele badań prowadzono na osobach zachodnich, wykształconych, żyjących w społeczeństwach uprzemysłowionych, zamożnych i demokratycznych. Taka grupa nie musi reprezentować całej ludzkości.
Sama wartość p nie mówi, czy hipoteza jest prawdziwa ani jak duży jest efekt. Wynik poniżej 0,05 może być przypadkowy, zwłaszcza gdy badacz sprawdza wiele hipotez i publikuje tylko tę, która „wyszła”. Dlatego współczesna metodologia większą wagę przykłada także do wielkości efektu, przedziałów niepewności, mocy statystycznej i zgodności wyników z niezależnych badań.
Jak prerejestracja ogranicza p-hacking?
Prerejestracja polega na publicznym zapisaniu planu badania przed rozpoczęciem zbierania danych. Badacze określają hipotezy, główne zmienne, liczebność próby i sposób analizy. Dzięki temu trudniej dopasować pytanie badawcze do przypadkowego wyniku uzyskanego po zakończeniu eksperymentu.
Typowy proces może wyglądać tak:
- Planowanie – zespół formułuje hipotezę, wybiera uczestników, zmienne i procedurę badania.
- Rejestracja – plan trafia do publicznego rejestru, zanim naukowcy zobaczą pełne wyniki.
- Zbieranie danych – badacze realizują procedurę zgodnie z wcześniej określonymi założeniami.
- Analiza – główne testy wykonuje się według zarejestrowanego planu, a dodatkowe analizy wyraźnie oznacza jako eksploracyjne.
Prerejestracja nie gwarantuje poprawnego badania. Nie naprawi źle dobranej próby ani błędnej teorii. Ogranicza jednak swobodę zmieniania hipotez i metod po obejrzeniu danych. Ważnym uzupełnieniem są registered reports, w których czasopismo ocenia plan badania jeszcze przed jego przeprowadzeniem. Rozwijają się także zasady otwartej nauki, takie jak udostępnianie danych, kodu analitycznego i materiałów badawczych.
Czy psychologia jest przez to niewiarygodna?
Nie. Kryzys oznacza, że część twierdzeń psychologicznych ma słabsze podstawy, niż wcześniej sądzono. Nie oznacza, że wszystkie badania są błędne ani że żadna wiedza o zachowaniu człowieka nie jest użyteczna.
Projekty takie jak Many Labs 2 pokazują jednocześnie ograniczenia i mocne strony psychologii. Niektóre efekty znikają przy powtórzeniu, inne utrzymują się w różnych laboratoriach i kulturach. Dylemat wagonika czy efekt framingu przetrwały szeroko zakrojoną weryfikację, choć siła części efektów była mniejsza niż w pierwotnych publikacjach.
Ważna jest też etyka. Nie każdego eksperymentu da się powtórzyć jeden do jednego. Eksperyment Milgrama, dotyczący posłuszeństwa wobec autorytetu, nie powinien być dziś kopiowany w pierwotnej formie, ponieważ wiązał się z wprowadzaniem uczestników w błąd i silnym obciążeniem psychicznym. Ograniczenie możliwości powtórzenia takiego badania nie jest dowodem na jego prawdziwość ani fałszywość. Oznacza, że badacze muszą korzystać z bezpieczniejszych procedur i ostrożniej interpretować historyczne wyniki.
Nieudana replikacja nie kończy dyskusji. Pokazuje, że trzeba lepiej określić warunki, w których dany efekt występuje, oraz siłę dowodów na jego istnienie.
W tym sensie kryzys jest mechanizmem samoregulacji. Nauka sprawdza własne twierdzenia, ujawnia słabe procedury i zmienia standardy. To proces naprawczy, choć jego skutkiem jest czasem wycofanie bardzo popularnych, lecz słabo potwierdzonych wyjaśnień.
Jak czytać nagłówki o „przełomowych” badaniach?
Pojedynczy komunikat prasowy zwykle upraszcza wynik. Przed uznaniem psychologicznego odkrycia za trwałą wiedzę warto sprawdzić kilka informacji:
- Czy badanie miało prerejestrację, a jego główne hipotezy i metoda były zapisane przed analizą danych?
- Jak liczna była próba i czy obejmowała tylko wąską grupę, na przykład studentów z jednej uczelni?
- Czy wynik powtórzyły niezależne zespoły, najlepiej w kilku laboratoriach?
- Czy autorzy podają wielkość efektu i zakres niepewności, a nie tylko informację, że wynik był „statystycznie istotny”?
- Czy nagłówek opisuje pojedynczy eksperyment, czy syntezę wielu badań, taką jak metaanaliza?
Kryzys replikacji uczy, by traktować badanie jako element procesu, a nie końcowy werdykt. Najbardziej wiarygodne są wnioski, które przetrwały powtórzenia, zostały przeanalizowane różnymi metodami i jasno określają swoje ograniczenia.
