Oszustwa i wątpliwe badania: wykrywaj, ale nie zaczynaj

Zdjęcie Jason Coudriet na Unsplash

Pierwszy raz usłyszałem o wątpliwej praktyce badawczej (QRP), kiedy kilka lat temu przeczytałem o kryzysie replikacji w psychologii. Dopiero niedawno, po długiej przemyślanej rozmowie z moimi kolegami, przypomniano mi o tym, jak ważna jest świadomość QRP w badaniach doświadczeń użytkowników.

QRP odnosi się do tego, w jaki sposób badacze dokonują wykluczenia danych na poparcie swojej hipotezy. Jest to opisane jako: „takie praktyki obejmują praktyki projektowe, analityczne lub sprawozdawcze, które mogą wprowadzać stronnicze dowody, które mogą mieć szkodliwe implikacje dla praktyki opartej na dowodach, rozwoju teorii i postrzegania rygoru nauki”. Może to być nowy niektórzy ludzie, ale w środowisku akademickim często się o tym wspomina. Możesz przeczytać więcej tutaj.

Teraz, po tej samej stronie QRP, istnieje ekstremalna wersja, której każdy badacz powinien unikać. To oszustwo naukowe. Różni się od QRP, ale QRP może prowadzić do oszustwa. To, co ludzie nazywają oszustwem badawczym, polega na fałszowaniu, fałszowaniu lub fałszowaniu danych przez badacza. Okropnie, prawda? To wykroczenie naukowe.

Znalazłem jeden artykuł, który zaspokaja moją ciekawość na temat motywów, umysłu i powodu osób, które popełniły oszustwa badawcze. Został opublikowany przez The New York Times, zatytułowany „The Mind of A Con Man”. Z pisania dowiedziałem się o Driederik Stapel, holenderskim psychologu społecznym, który popełnił oszustwo badawcze. Tworzył dane do swoich badań, wspomniano w artykule, że był jedynym przedmiotem jego badań. Zamiast podawać prawdę o wynikach badań, był na „… w poszukiwaniu estetyki, piękna - zamiast prawdy”. Zaskakujące było dla mnie także stwierdzenie „Zawsze sprawdzałem - może to być przebiegły, manipulacyjny umysł - że eksperyment był rozsądny, że wynikał z wcześniejszych badań, że był to tylko dodatkowy krok, którym wszyscy byli czekając na."

Występują oszustwa związane z QRP i badaniami, bez względu na ustawienia pracy. Słyszeliśmy więcej ze środowisk akademickich, ale to nie znaczy, że rzadko zdarza się w otoczeniu biznesowym. Odkładając na bok różne czynniki motywujące, które mogą sprawić, że QRP się stanie, jedynym czynnikiem decydującym byłby badacz. W innej publikacji Reutera Stapel wspomniał, że „nie byłem w stanie wytrzymać presji zdobywania punktów, publikowania, zawsze musiałem być lepszy” oraz że „chciałem za bardzo, za szybko. A w systemie, w którym kontrola jest niewielka, a ludzie często pracują samotnie, wybrałem złą ścieżkę. ”

Podczas gdy badacze przeprowadzają badania, różne ustawienia pracy dodają dodatkowej bitwy: widoczności, bycia wysłuchanym, przekonania, wpływania, a nawet łączenia interesariuszy. Pomiędzy wszystkimi pracami naukowcy zawsze będą mieli możliwość wykorzystania badań do własnych korzyści, a tym samym wykonywania wątpliwych praktyk badawczych. Oto kilka przykładów, które mogę wymyślić, w jaki sposób naukowcy mogą wykonywać QRP w pracy:

  • Zmiana hipotezy po przejrzeniu zebranych danych i twierdzeniu, że prognoza jest słuszna. Musimy pamiętać, że nie możemy w pełni przewidzieć zachowania użytkownika.
  • Odkładając na bok „duży obraz”, wybierając tylko dane lub informacje, które są uważane za „strategiczne”, „zadowalające” lub „seksowne” dla interesariuszy.
  • Narzucenie ustaleń, które nie osiągają nasycenia danych, jest całym przedstawieniem użytkownika lub uogólnieniem na wszystkich użytkowników.
  • Pisanie raportów bez pozostawiania śladów danych o uczestnikach (dokumenty badawcze, takie jak: plan badań, skrypt badawczy, nagrania i / lub transkrypcje danych). Ignoruje wiarygodność: inni badacze muszą zrozumieć logikę wniosków z procesu syntezy, aby napisać raport.
  • Mając ukryty motyw, który może utrudnić etykę badań. Na przykład fascynacja entuzjazmem prowadzenia dużych badań z wysokimi oczekiwaniami uzyskania bardzo znaczących badań. Gdy wynik nie odpowiada oczekiwaniom, badacz ignoruje metodologię i zgłasza wynik zgodnie z oczekiwaniami.

Najgorsze, czego dowiedziałem się o QRP i oszustwach badawczych, to wielkość tego efektu. Kiedy ujawniono przypadek Staple'a, opad miał wpływ nie tylko na niego, ale także na jego studentów, wydawców badawczych i decydentów oraz innych badaczy, którzy skierowali swoją pracę do badań Staple'a. Nie wspominając o publicznej reakcji nieufności. Dlatego uważam, że QRP w otoczeniu biznesowym przyniesie podobny szkodliwy efekt w środowisku akademickim. Podobne, ale nie w zakresie konsekwencji, takich jak cofanie wyników badań i unieważnianie stanowiska.

Po pierwsze, w działalności firmy raport z badań służy jako odniesienie do zaproponowania pomysłu na produkt. Gdy podzielę się raportem z badań, zostanie on wykorzystany przez innych badaczy jako odniesienie do ich pracy. Co najważniejsze, będą wykorzystywane przez zainteresowane strony, aby pomóc im w podjęciu decyzji o spełnieniu określonych warunków. Firma może nie być w pełni wprowadzająca w błąd, ponieważ Stapel napisała, że ​​było to „przemyślane” przed udostępnieniem. Wyobraź sobie jednak koszty, jakie muszą ponieść wszyscy inni, postępując zgodnie z niepełnym raportem potrzeb użytkowników. Osobiście uważam, że pochodzi ono od sensu badań. Być może może zwiększyć twoją dumę z tego, że możesz przewidzieć zachowanie, ale nie uważam tego za zabawną umiejętność.

Po drugie, w pracy ze współpracownikami. Obecnie badacze w firmie nie mają żadnych inicjatyw ani rekomendacji dotyczących QRP i oszustw podobnych do sprawy dotyczącej kryzysu replikacji psychologicznej (patrz oświadczenie APA w sprawie oszustw badawczych i wstępnej rejestracji badań). Gdybym wykonał QRP, nie wiedziałbyś, że to zrobiłem. Zwłaszcza, gdy nie poprosiłeś o moją dokumentację, nie przetworzyłem ani nie próbowałem wykopać dziury i skierować swój ciekawy umysł na to, co robię. Mogę to robić wielokrotnie i pozostaje to niezauważone, a potem mogę sobie z tym poradzić. Ale kiedy mój współpracownik wzbudzi podejrzenia, moje dobre relacje ze wszystkimi w biurze są dobre. Mój współpracownik może zacząć zachowywać się inaczej: wątp w moją pracę, wahaj się zacytować mój raport lub odmów uznania go za odniesienie. Nawet po tym, jak zrobiłem to dobrze, nieufność nadal będzie istnieć. Wyobrażam sobie, że nie jest to miła atmosfera do pracy.

Zdjęcie autorstwa chuttersnap na Unsplash

Jako badacz mamy swobodę decydowania o kierunku badań, znajdowania referencji, wybierania metody i próbki użytkownika, przetwarzania danych i zapisywania raportu. Nie oznacza to jednak, że badacz może zaniedbać odpowiedzialność za wykonanie właściwej praktyki badawczej. Oprócz efektu, badania jakościowe mają zasady, które mogą pomóc naukowcom w ocenie praktyki badawczej: wiarygodność (wyniki będą spójne, jeśli zostaną powtórzone przez innego badacza i upewnienie się, że dane nie są stronnicze), wewnętrzna ważność (badacz musi zapewnić, że uwzględniane są dowody negatywne, wniosek dokładnie opisuje wszystkich uczestników i podaje dokładność prognoz badacza) oraz zewnętrzną wiarygodność (sprawdzanie wyników za pomocą teorii, a także pobieranie próbek, które zapewniają szerokie zastosowanie wyników).

Świadomość możliwości QRP jest jednym ze sposobów, aby pomóc badaczom pozostać na właściwej drodze. Może działać na dwa sposoby. Po pierwsze, ma być krytyczny dla naszej pracy: staraj się uzyskać odmienne informacje zwrotne od współpracowników, bądź świadomy naszego stronniczego umysłu, bądź przejrzysty w stosunku do surowych danych, a także zacznij nawyk śledzenia procesu i dokumentów. Po drugie, w stosunku do współpracowników, bądź aktywny w poszukiwaniu jasności w zakresie gromadzenia i przetwarzania danych, w jaki sposób mogą dojść do końca raportu i zachowaj ostrożność, gdy dane są zbyt dobre (łatwo spełnić wstępne założenia bez wspominania o negatywnych dowodach). Być może nie jest to jeszcze wspomniane w polityce firmy dotyczącej badań, ale to jeden ze sposobów na zwiększenie świadomości. Nie jest to karalne w otoczeniu biznesowym, żaden audytor, który by cię wskazał, ale odzwierciedla twoją etykę pracy.

Jaka byłaby twoja cienka linia między właściwą a złą praktyką badawczą? Czy to sumienie i prawda? A może to sława i chwała? Ty decydujesz.

Zespoły i osoby, które mają pewną krytyczną samoświadomość i chęć doskonalenia się każdego dnia, oto kim jesteśmy w Bukalapak! Zaintrygowany? Myślisz, że masz talent, ale także pokorę, aby przyczyniać się do rozwoju ambitnego i rozwijającego się zespołu? Sprawdź nasze oferty pracy!