Algorytmy przekonywania za pomocą sztucznej inteligencji AI

Sprawdzanie faktów może ograniczyć rozprzestrzenianie się niewiarygodnych wiadomości. Może także zrobić coś przeciwnego.

(ten post pierwotnie pojawił się na Civilservant.io)

Czytelnicy r / worldnews na reddit często zgłaszają tabloidowe wiadomości moderatorom-wolontariuszom, prosząc ich o zakazanie tabloidów za sensacyjne artykuły. Te upiększone historie przyciągają wzrok ludzi, przyciągają kontrowersje i są zauważane przez algorytm rankingu reddit, który jeszcze bardziej je rozprzestrzenia.

Zakaz używania tabloidów może zakończyć tę pętlę informacji zwrotnych, ale moderatorzy społeczności są przeciwni powszechnym zakazom. Aby rozwiązać tę zagadkę, moderatorzy musieli odpowiedzieć na pytanie w centrum debat na temat tak zwanych „fałszywych wiadomości”: w jaki sposób możemy zachować wolność twórców, wpływając jednocześnie na wzajemne zachowanie ludzi i algorytmy dla dobra społeczności?

Tej zimy moderatorzy współpracowali z CivilServant, aby przetestować pomysł: jakie są efekty zachęcania do sprawdzania faktów w odpowiedzi na niewiarygodne wiadomości? Chcieliśmy zobaczyć, jak zareaguje społeczność r / worldnews. Zauważyliśmy również wpływ na rankingi reddit. Jeśli algorytmy reddit interpretują sprawdzanie faktów jako popularność, niewiarygodne artykuły mogą rozprzestrzeniać się jeszcze bardziej.

Wiadomości tabloidowe stanowią około 2,3% wszystkich zgłoszeń do 15 milionów subskrybentów, którzy omawiają wiadomości poza USA. W r / worldnews 70 moderatorów dokonuje przeglądu około 450 artykułów dziennie i pozwala na pozostanie 68% tych artykułów. Ponieważ jest to domyślny subreddit, większość czytelników reddit otrzymuje wiadomości ze świata za pośrednictwem tej społeczności. Chociaż zasięg społeczności jest ograniczony przez Facebooka, r / worldnews może być największą pojedynczą grupą do omawiania wiadomości ze świata w dowolnym miejscu w anglojęzycznym Internecie. Nawet niewielkie efekty w tej społeczności mogą mieć duży wpływ na to, jak miliony ludzi rozumieją potencjalnie niewiarygodne informacje o świecie.

W naszym badaniu od 27 listopada do 20 stycznia przetestowaliśmy wiadomości A / B zachęcające społeczność do sprawdzenia faktów i głosowania na tabloidowe wiadomości. Oto, co znaleźliśmy:

Wpływ zachęcania do sprawdzania faktów na zachowanie społeczności

W ramach dyskusji na temat tabloidów dotyczących r / worldnews zachęcanie do sprawdzania faktów zwiększa częstotliwość występowania komentarzy z linkami średnio 2x, a zachęcanie do sprawdzania faktów i głosowania ma podobny efekt.

Wpływ zachęcania do sprawdzania faktów na algorytmach Reddita

Obserwując ponad 24 godziny, odkryliśmy również, że przeciętne, lepkie komentarze zachęcające do sprawdzania faktów spowodowały dwukrotne zmniejszenie wyniku reddit w tabloidowych zgłoszeniach, statystycznie znaczący efekt, który prawdopodobnie wpłynął na rankingi w subreddicie. Kiedy zachęcaliśmy czytelników do głosowania, efekt ten zniknął.

AI Posuwa: Algorytmy przekonywania przy jednoczesnym zachowaniu wolności

Nasze pytania dotyczące tabloidowych wiadomości dodały wymiar algorytmiczny do klasycznego pytania dotyczącego zarządzania: w jaki sposób ludzie mający władzę mogą dążyć do wspólnego dobra, minimalizując ograniczenia indywidualnej wolności?

możemy przekonać algorytmy, by zachowywały się inaczej, przekonując ludzi, aby zachowywali się inaczej.

W Internecie ludzie uczą się żyć z systemami sztucznej inteligencji, których nie mogą kontrolować. Na przykład kierowcy Uber poprawiają swoją jazdę, aby zoptymalizować swoje dochody. Nasze zbiorowe zachowanie ma już wpływ na systemy AI przez cały czas, ale do tej pory społeczeństwu brakuje informacji na temat tego, czym jest ten wpływ. Te nieprzejrzyste wyniki mogą stanowić problem, gdy algorytmy pełnią kluczowe role w społeczeństwie, takie jak zdrowie, bezpieczeństwo i uczciwość. Aby rozwiązać ten problem, niektórzy badacze projektują systemy „społeczeństwa w pętli” [4]. Inni opracowują metody kontroli algorytmów [5] [6]. Żadne z tych podejść nie oferuje jednak sposobu zarządzania codziennym zachowaniem systemów, których kodu nie możemy kontrolować. Nasze badanie z r / worldnews oferuje trzeci kierunek; możemy przekonać algorytmy, by zachowywały się inaczej, przekonując ludzi, aby zachowywali się inaczej.

Niektórzy mogą się zastanawiać, czy ten eksperyment stanowi manipulację w głosowaniu, co jest sprzeczne z zasadami reddit. Nasze karteczki samoprzylepne nie naruszają żadnych zasad reddit dotyczących korzyści osobistych (nie tworzyliśmy również fałszywych kont, nie informowaliśmy ludzi, jak głosować ani nie organizowaliśmy bloku głosowania). Ale pokazaliśmy, że zachęcanie ludzi do sprawdzania faktów miało systematyczny wpływ na algorytmy reddit.

Idea „szturchańców AI” pozwala nam myśleć o prospołecznych wysiłkach mających na celu wpływanie na zachowanie ludzi i maszyn przy jednoczesnym zachowaniu indywidualnej wolności. Richard Thaler i Cass Sunstein po raz pierwszy zaproponowali „szturchanie” jako sposób, w jaki instytucje mogą sprawować władzę, zachowując wolność jednostki [7]. W porównaniu z banowaniem wiadomości tabloidowych, sztuczka AI polegająca na zachęcaniu do sprawdzania faktów jest najlżejszym działaniem, które moderatorzy mogą podjąć. Zdolność nikogo do dzielenia się wiadomościami, komentarzy lub głosowania nie jest odbierana, ale sztuczka AI wciąż tłumi rozprzestrzenianie się niewiarygodnych wiadomości.

Jak wskazują Sunstein i Thaler, nie zawsze jest oczywiste, czy te interwencje dotykowe przyniosą pożądany rezultat. Dlatego powinniśmy systematycznie testować ich efekty, zwłaszcza że niesprawdzone systemy mogą mieć nieoczekiwane wyniki.

Zarządzanie i etyka sztuczek AI

Pchnięcia rządów i eksperymenty społeczne prowadzone przez platformy internetowe często przyciągają podobną krytykę. Myślę, że ludzie mają rację, oczekując odpowiedzialności od tych, którzy wywierają nacisk. Współpracując z moderatorami-wolontariuszami, mogłem pracować z większymi poziomami przejrzystości i rozliczalności, niż jest to typowe w komputerach społecznościowych. Wszystkie badania CivilServant są opracowywane przez i przez zespoły moderujące, a wszystkie wyniki są najpierw ujawniane społeczności w ramach podsumowania podredytów. Nasze projekty są publicznie wymienione w Open Science Framework, zanim zaczniemy, a cały nasz kod jest open source. Pełne szczegóły analizy są również publiczne, więc każdy może sprawdzić nasze wnioski. Jedyne, co powstrzymujemy, to rzeczywiste dane, ponieważ szanujemy prywatność wszystkich zainteresowanych.

Ogólnie rzecz biorąc, mam nadzieję, że sztuczna inteligencja szturcha, zwłaszcza gdy kierują nią same społeczności, oferując społeczeństwu ekscytujący kierunek zarządzania rolą algorytmów w społeczeństwie, przy jednoczesnym zachowaniu indywidualnej wolności.

Jak działało badanie

W ramach tego testu moderatorzy rozpoczęli od listy źródeł wiadomości, które często otrzymują skargi. Od 27 listopada do 20 stycznia losowo przypisywaliśmy każdy nowy link tabloidowy do jednego z trzech warunków: (a) brak przyklejonego komentarza, (b) przyklejony komentarz zachęcający do sceptycyzmu, (c) przyklejony komentarz zachęcający do sceptycyzmu + głosowanie (szczegółowe informacje tutaj ).

Wysłaliśmy tę wiadomość na szczyt dyskusji na temat tabloidów

Drugi zachęca ludzi do sprawdzenia artykułu i rozważenia odmowy głosowania linku, jeśli nie mogą znaleźć dowodów potwierdzających jego twierdzenia:

Ta druga wiadomość zachęciła ludzi do zastanowienia się nad oddaniem głosu

Czy zachowanie sprawdzające fakty może wpływać na to, jak algorytmy reddit widzą niewiarygodne wiadomości?

Chociaż byliśmy pewni, że czytelnicy r / worldnews pomogliby, gdyby moderatorzy o to poprosili, zastanawialiśmy się również: jeśli zwiększymy komentowanie wiadomości tabloidowych, czy moglibyśmy przypadkowo spowodować, że algorytmy reddit promują te tabloidowe linki?

Jeśli sprawdzanie faktów zwiększyło popularność nierzetelnych źródeł wiadomości, społeczność może potrzebować ponownego przemyślenia, gdzie podjąć wysiłek. Dlatego moderatorzy przetestowali drugi przyklejony komentarz, który zachęca czytelników do rozważenia oddania głosu.

Aby przetestować wpływ przyklejonych komentarzy na algorytmy reddit, oprogramowanie CivilServant zbiera dane o liczbie postów co cztery minuty. Platforma nie publikuje dokładnie tego, co wchodzi do partytury ani tego, jak działa jej ranking (zapytałem). Byliśmy jednak w stanie rzetelnie przewidzieć podreddytowy ranking strony postu na podstawie jego wieku i wyniku (szczegółowe informacje tutaj). Zasadniczo, jeśli sprawdzanie faktów miało duży wpływ na wynik artykułu, prawdopodobnie miało to wpływ na ranking artykułu w czasie na stronie głównej subreddit. Przetestowałem to na dwa sposoby: porównując wyniki po 24 godzinach i modelując zmiany wyników w czasie.

Użyłem ujemnego modelu dwumianowego, aby przetestować wpływ na wyniki po 24 godzinach. Ponieważ algorytmy reddit stały podczas naszego eksperymentu, zachęcanie do sprawdzania faktów spowodowało, że wyniki tabloidów otrzymały 49,1% (o 2,04x mniej) wynik zgłoszeń bez kleistego komentarza, średnio po 24 godzinach w r / worldnews. Efekt jest statystycznie istotny. W tym modelu nie udało mi się znaleźć efektu lepkich komentarzy, które zachęciły czytelników do rozważenia głosowania w dół.

Testowałem także wpływ sprawdzania faktów na tempo wzrostu wyniku postu w czasie. Aby zadać to pytanie, dopasowuję losowy model regresji przechwytującej do wyniku przekształconego logarytmicznie dla postu co cztery minuty. Odkryłem, że zachęcanie do sprawdzania faktów powoduje, że tempo wzrostu wyniku jest niższe. Odkryłem, że zachęcanie do głosowania ma w rzeczywistości niewielki pozytywny wpływ na tempo wzrostu wyniku w czasie. Ponieważ przeprowadziliśmy eksperyment podczas zmiany algorytmów reddit na początku grudnia 2016 r., Odkryłem również, że wpływ tych przyklejonych komentarzy na algorytmy reddit mógł ulec zmianie po dostosowaniu algorytmów przez reddit (szczegóły).

Kto pomógł sprawdzić informacje w artykułach?

Z 930 komentarzy niebotycznych z linkami, które moderatorzy mogli pozostać, 737 kont użytkowników przyczyniło się do dalszych dowodów. Spośród nich na 133 kontach zamieszczono więcej niż jeden komentarz z linkami. Wiele osób sprawdzało własne zgłoszenia, a zgłaszający zamieszczali 81 komentarzy w celu uzyskania dalszych informacji.

Czego nie wiemy z tego badania?

Ten test analizuje wyniki dyskusji, a nie poszczególnych kont, więc nie wiemy, czy poszczególne osoby były przekonane, że są bardziej sceptyczne, czy też kleiste komentarze skłoniły już i sceptyczne osoby do zbadania i udostępnienia. Nie mam również żadnych dowodów na wpływ sprawdzania faktów na czytelników, chociaż inne badania sugerują, że sprawdzanie faktów wpływa na przekonania czytelników [2] [3].

To badanie nie mówi nam wiele o tym, dlaczego widzimy tak dużą zmianę efektów algorytmicznych, gdy poprawiamy komunikat, zachęcając czytelników do rozważenia wycofania się z głosowania. Różnica ta może być przykładem tego, co psychologowie nazywają „reakcją”, oporem wobec sugestii autorytetu. Lub jeśli osoby publikujące wiadomości obawiają się, że ich linki mogą zostać odrzucone, mogą poprosić o pomoc, co równoważy zachowanie czytelników.

Czy działałoby to z innymi rodzajami linków, w innych subredditach lub na innych stronach? To badanie jest ograniczone do określonej społeczności i listy witryn. Chociaż podejrzewam, że wiele dużych internetowych społeczności czytelników pomogłoby w sprawdzaniu faktów, gdyby moderatorzy o to poprosili, nasze ustalenia dotyczące algorytmu reddit są znacznie bardziej szczegółowe.

Moglibyśmy odpowiedzieć na te pytania, gdyby więcej podredditów postanowiło spróbować podobnych eksperymentów. Jeśli jesteś zainteresowany, skontaktuj się ze mną na reddit, aby omówić przeprowadzenie podobnego eksperymentu i zapisać się na aktualizacje e-mail.

Dowiedz się więcej o tym eksperymencie

Mój doktor obejmuje wspieranie społeczności w testowaniu efektów własnych praktyk moderacyjnych. Ten eksperyment zaprojektowałem wspólnie z moderatorami r / worldnews i został zatwierdzony przez Komitet MIT ds. Wykorzystania ludzi jako przedmiotów eksperymentalnych. Jeśli masz jakieś pytania lub wątpliwości, skontaktuj się z natematias na redditmail.

Ten eksperyment, podobnie jak wszystkie moje dotychczasowe badania nad reddit, został przeprowadzony niezależnie od platformy reddit, która nie odegrała żadnej roli w planowaniu ani projektowaniu eksperymentu. Eksperyment nie został jeszcze sprawdzony. Wszystkie wyniki z CivilServant są publikowane publicznie z powrotem do zaangażowanych społeczności, gdy tylko wyniki będą gotowe, a publikacje akademickie będą dostępne później.

Pełne szczegóły eksperymentu zostały wcześniej opublikowane w planie wstępnej analizy na stronie osf.io/hmq5m/. Jeśli interesują Cię statystyki, opublikowałem pełne szczegóły analizy.

Bibliografia

[1] Salganik, M. J. i Watts, D. J. (2008). Na czele stada: eksperymentalne studium samospełniających się proroctw na sztucznym rynku kultury. Kwartalna psychologia społeczna, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz i John Cook. Dezinformacja i jej korekta, ciągły wpływ i udane debiasing. Nauki psychologiczne w interesie publicznym, 13 (3): 106–131, grudzień 2012 r.

[3] Thomas Wood i Ethan Porter. Nieuchwytny efekt zwrotny: niezachwiane przestrzeganie faktów przez masowe postawy. SSRN Scholarly Paper ID 2819073, Social Science Research Network, Rochester, NY, sierpień 2016.

[4] Rahwan, Iyad (2016) Society-in-the-Loop: Programowanie algorytmicznej umowy społecznej. Średni

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios i Cedric Langbort. 2014. Algorytmy kontroli: Metody badawcze służące do wykrywania dyskryminacji na platformach internetowych. Dane i dyskryminacja: przekształcanie krytycznych obaw w produktywne dochodzenie, doroczne spotkanie International Communication Association, 2014

[6] Diakopoulos, N., i Koliska, M. (2016). Algorytmiczna przejrzystość w mediach informacyjnych. Dziennikarstwo cyfrowe, 1–20.

[7] Thaler, R. H. i Sunstein, C. R. (2003). Libertariański paternalizm. The American Economic Review, 93 (2), 175–179.