Jak poprawić jakość odpowiedzi na ankiety SMS i wskaźniki ukończenia na rynkach wschodzących

Autorzy: Aimee Leidich, Samuel Kamande, Khadija Hassanali, Nicholas Owsley, David Clarance, Chaning Jang

Podsumowanie

Penetracja telefonii komórkowej osiągnęła 95% w Kenii, co czyni z telefonu komórkowego potężne medium dostępu do osób, które wcześniej były trudno dostępne. SMS staje się popularną metodą gromadzenia danych w regionie, ale niewiele jest badań, które wpływają na skuteczność SMS jako narzędzia do gromadzenia danych na tym rynku. W tym artykule zbadano, w jaki sposób różne projekty ankiet SMS wpływają na wskaźniki ukończenia i jakość odpowiedzi wśród Kenijczyków.

Wysłaliśmy jednorazową ankietę SMS na telefon komórkowy do 3 489 Kenijczyków zaznajomionych z ankietami SMS i do 6 279 osób nieznających. Każda próbka została losowo przydzielona do jednej z 54 przekrojowych kombinacji leczenia ze zmiennością w kilku wymiarach: kwoty zachęty, komunikacja przed badaniem, długości badania i zmienność treści.

Wygenerowaliśmy pięć rekomendacji dla praktyków projektujących ankiety SMS na rynkach wschodzących:

1) Zrekrutuj próbkę, która jest świadoma, że ​​będzie otrzymywać ankiety SMS

2) Zachowaj ankiety mobilne maksymalnie 5 pytań lub zapewnij większą motywację do dłuższych ankiet

3) Randomizuj pytania i opcje odpowiedzi w celu poprawy jakości odpowiedzi

4) Używaj pytań otwartych, gdy brakuje danych jakościowych na poparcie pytania

5) Wiedz, że mężczyźni i osoby poniżej 30 roku życia najczęściej wypełniają ankietę SMS

Czytaj dalej, aby uzyskać więcej informacji na temat naszych metod i dyskusji.

  1. Wprowadzenie

Telefony komórkowe są obecnie podstawową sprawą w większości kontekstów, co czyni je bezcennym narzędziem do komunikowania się i uzyskiwania dostępu do danych od osób na całym świecie. W Kenii penetracja telefonu komórkowego osiągnęła 95,1%, a abonenci wysyłają ponad 14,9 miliarda wiadomości SMS w samym pierwszym kwartale 2018 r. [1]. Wiele organizacji, w tym korporacje, instytucje rządowe, szpitale i organizacje non-profit, korzysta z SMS-ów, aby lepiej zrozumieć i dotrzeć do osób niedostępnych tradycyjnie. Na przykład w badaniach dotyczących zdrowia SMS był wykorzystywany jako potężne narzędzie interwencyjne w celu poprawy przestrzegania leków ratujących życie [2], zwiększenia skuteczności administratorów medycznych [3] oraz zapewnienia odpowiedniego zaopatrzenia w kluczowy sprzęt medyczny [4].

Wcześniejsze badania dowodzą skuteczności SMS-a jako punktu dostępu i narzędzia do gromadzenia danych [6], ale w mniejszej liczbie badań zbadano konkretne kroki, które naukowcy i praktycy powinni podjąć, projektując mobilną ankietę SMS. Na przykład badania pokazują, że oferowanie zachęt telefonicznych za czas antenowy w celu wypełnienia ankiety ma pozytywny wpływ na odsetek odpowiedzi [4], ale nie oferuje dalszych informacji na temat różnic między tymi stawkami w zależności od kwot zachęt i innych czynników.

Aby zoptymalizować SMS jako narzędzie do gromadzenia danych, musimy lepiej zrozumieć skutki różnych projektów ankiet i jak zoptymalizować te projekty, aby gromadzić dane najwyższej jakości przy najniższych kosztach. W tym artykule badamy, w jaki sposób kwota zachęty, komunikacja poprzedzająca ankietę i długość wypełniania ankiety wpływają na wskaźniki wypełnienia ankiety, a także w jaki sposób zmienność treści - kolejność pytań, kolejność odpowiedzi kategorycznych i odpowiedzi w teście otwartym - wpływa na jakość odpowiedzi. Ustalenia z tego badania zostaną wykorzystane do przekazania najlepszych praktyk naukowcom i praktykom, którzy chcą w przyszłości wykorzystywać SMS jako metodę bezpośredniego gromadzenia danych.

2. Metody

2.1. Populacja badana i próba

Badanie to było wynikiem współpracy mSurvey, firmy zajmującej się opiniami klientów i gromadzenia danych mobilnych, oraz Busara Center, centrum badań behawioralnych, oba z siedzibą w Nairobi. Próba pochodzi z dwóch źródeł: odbiorców mSurvey, wygodnej próby ponad 37 000 osób rekrutowanych nieprzerwanie w Kenii od 2012 r. Oraz próby badawczej Busara, ukierunkowanej próby blisko 15 000 osób rekrutowanych poprzez kontakt osobisty i ankietę wyjściową.

Sieć odbiorców mSurvey składa się z mieszkańców Kenii w wieku 18 lat i starszych, którzy: a) posiadają własny telefon komórkowy, który może wysyłać i odbierać wiadomości SMS; b) są biegli w języku angielskim oraz c) wyrazili zgodę na otrzymywanie badań i badań rynkowych. Są dobrze zaangażowani, wykazując średni wskaźnik ukończenia 65% w porównaniu z poprzednimi badaniami. Członkowie widowni mSurvey są uważani za „znaną” populację w tym badaniu, otrzymując przynajmniej jedną ankietę SMS od mSurvey w ciągu ostatnich 5 lat.

Próbka Busara składa się z osób o niskich dochodach w Nairobi, które mają telefon komórkowy i wyraziły zgodę na otrzymywanie wiadomości od Busary i udział w przyszłych badaniach. Próbkę tę uznano za „nieznaną” populację, ponieważ nie wyrazili oni zgody na otrzymywanie ankiet SMS na swoje urządzenie mobilne od mSurvey.

Ostateczna próbka badawcza składała się z losowej selekcji 6279 uczestników Busara i 3 489 mSondvey dla łącznej wielkości próby 9 768. Okazało się, że 58 uczestników Busara w przeszłości przypadkowo przyłączyło się do odbiorców mSurvey. Ponieważ są oni zaznajomieni z ankietami mobilnymi, ponownie zidentyfikowaliśmy je jako część „znanej populacji”, dzięki czemu ostateczna wielkość próby badanej wynosi 6 221 dla nieznanej populacji i 3547 dla znanej populacji. W tych końcowych podpróbach 45,1% nieznanej populacji i 74,8% znanej populacji było w wieku poniżej 29 lat, 54,2% nieznanej populacji i 41,4% znanej populacji zidentyfikowanych jako kobiety (Tabela 1).

Tabela 1. Ogólny rozkład próbek i wskaźnik ukończenia badania oraz podpróbka

2.2 Projekt

Badanie to obejmowało cztery różne zestawy warunków leczenia powszechnie stosowanych w ankietach SMS: kwota zachęty, komunikacja przed badaniem, długość ankiety i treść pytań. Każdy zestaw zabiegów składał się z dwóch do trzech różnych warunków, które zostały przypisane z jednakowym prawdopodobieństwem uczestnikom w ramach każdego z czterech zabiegów, z wyjątkiem zachęt, które zostały przydzielone nieproporcjonalnie w kierunku braku zachęty z powodu ograniczeń zasobów. Opis zabiegów w ankiecie znajduje się w tabeli 2.

Tabela 2. Badanie leczenia, poziomów i hipotez

Warunki te zostały następnie losowo przypisane w układzie przekrojowym, tworząc łącznie 54 odrębne grupy, jak opisano w dodatku 1.

Rekompensata w postaci czasu antenowego telefonu wahała się między 0 KES, 25 KES i 100 KES, w zależności od wypełnienia ankiety, co pozwala nam sprawdzić, czy wskaźnik ukończenia znacząco wzrósł, gdy zaoferowano jakąś zachętę (25 KES) w porównaniu do wyższej zachęty (100 KES).

Długość ankiety wahała się między 5 pytaniami, 10 pytaniami i 25 pytaniami z jednakowym prawdopodobieństwem, co pozwala nam sprawdzić, czy wskaźnik wypełnienia znacznie się zmniejszył wraz ze wzrostem długości ankiety. Każdy komunikat poprzedzający ankietę zawierał pytanie o zgodę, w którym uczestnik musiał wyrazić zgodę na udział w ankiecie, wraz z ujawnieniem ex ante długości ankiety, aby sprawdzić, czy wskaźnik ukończenia znacznie wzrósł, znając długość ankiety wcześniej.

Wreszcie, warianty treści obejmowały trzy warunki: standardową treść (lista pytań w standardowej kolejności z odpowiedziami w stylu Likerta), odwrócenie kolejności pytań (lista pytań w odwrotnej kolejności z odpowiedziami w stylu Likerta) i wariant opcji odpowiedzi (wybierz pytania z odpowiedziami w stylu Likerta zamiast zadawane jako pytania otwarte), co pozwala nam sprawdzić, czy istnieje znaczący spadek wskaźnika ukończenia i jakości odpowiedzi, gdy pytanie zostanie zadane później w ankiecie lub wymaga odpowiedzi otwartej zamiast dyskretne opcje. W przypadku zmiany treści pytania respondentom przydzielono losowo, aby wypełniali pytania w oryginalnej kolejności pytań z prawdopodobieństwem 2/3, i losowo przydzielono je do wykonania w odwrotnej kolejności z prawdopodobieństwem 2/3, co pozwala nam sprawdzić, czy odpowiedzi różnią się w zależności od tego, kiedy w ankiecie uczestnicy wypełniają pytanie.

System mSurvey ma na celu przekazywanie każdemu uczestnikowi wiadomości SMS z jednym pytaniem ankietowym. W zależności od formatu pytania uczestnicy odpowiadają cyframi, słowami lub frazami za pomocą klawiatury telefonu komórkowego. Po udzieleniu odpowiedzi mSurvey automatycznie wysyła uczestnikowi kolejne pytanie ankiety w celu uzyskania odpowiedzi. Przykładowa ankieta SMS wysłana przez mSurvey znajduje się na ryc. 1.

Rysunek 1. Przykładowa ankieta SMS wysłana przez mSurvey

Pytania i odpowiedzi ankietowe są bezpłatne dla uczestników. Członkowie widowni mSurvey otrzymują zachęty za czas antenowy wysyłane bezpośrednio na swoje urządzenie mobilne po zakończeniu, aby zrekompensować swój czas i przemyślenia. W dniu 9 października 2017 r. Do każdego uczestnika wysłano jednocześnie przypisaną ankietę z systemu mSurvey.

2.3 Analiza

Niniejsze badanie dotyczy przede wszystkim dwóch zestawów wyników o znaczeniu praktycznym dla badaczy projektujących ankiety SMS: wypełnienia ankiety (tj. Liczby zakończonych ankiet podzielonych przez liczbę wysłanych ankiet) i różnic w odpowiedziach na ankietę (tj. Różnic w rozkładach odpowiedzi dyskretnych i względna jakość odpowiedzi otwartego tekstu w porównaniu z odpowiedziami dyskretnymi).

Testy analizy wariancji (ANOVA) wykorzystano do analizy wpływu warunków leczenia na wskaźnik ukończenia badania. Zbudowano i przetestowano ogólny model z pełną próbką, a także osobne modele dla każdej podpróbki i przetestowano pod kątem istotności efektu leczenia.

Pytania typu Likerta, użyte w tym artykule, generują dane porządkowe, które nie przyjmują rozkładu standardowego. W tym celu test U Manna-Whitneya był podstawowym testem statystycznym stosowanym do pomiaru różnic w odpowiedziach na pytania w ankiecie, ponieważ ograniczone założenia dystrybucji nieparametrycznej umożliwiają uwzględnienie zarówno kategorycznego, jak i porządkowego charakteru danych.

Aby przeanalizować różnicę w odpowiedziach na pytanie w ankiecie, zastosowaliśmy poprawkę Holma dla wielu porównań, aby uwzględnić zakres przeprowadzonych testów.

3. Wyniki

3.1 Jak poprawić wskaźnik ukończenia

Ogółem 36% respondentów wypełniło ankietę mobilną. Wskaźnik wypełnienia był ponad czterokrotnie wyższy wśród osób znających ankiety mobilne, „znanej” populacji (55%) niż wśród osób nie znających ankiet mobilnych, „nieznanej” populacji (17,6%). Mężczyźni i młodsi uczestnicy w wieku 25–29 lat najprawdopodobniej ukończyli badanie, a wskaźnik ukończenia spadał wraz ze wzrostem wieku w obu grupach (Tabela 1).

W odniesieniu do efektów leczenia istniała znacząca różnica w współczynniku ukończenia, ponieważ kwota zachęty i długość badania były różne. Patrząc na leczenie motywacyjne, wzrost zachęty z 0 KES do 25 KES zwiększył wskaźnik ukończenia o 3,2%, a wzrost z 0 KES do 100 KES zwiększył wskaźnik ukończenia o 6% (wartość p: 5,449e-06). W rozbiciu na podgrupę próbną wzrost kwoty zachęty znacznie zwiększył wskaźnik ukończenia wśród nieznanych, ale nie znanych. Wzrost z braku zachęty do 25 KES wśród nieznanych zwiększył wskaźnik ukończenia o 5,8%, z 13,7% do 19,5%, a wzrost z braku zachęty do 100 KES zwiększył wskaźnik ukończenia o 8,2% do 21,9% (wartość p: 1,334e -08). W przeciwieństwie do tego, nie było znaczącej różnicy w współczynniku ukończenia, gdy wiadomo otrzymało większą lub niższą zachętę.

W przypadku leczenia długością ankiety mobilna ankieta z pięcioma pytaniami zapewniła najwyższy wskaźnik ukończenia, szczególnie dla znanej populacji. Ogólnie rzecz biorąc, zwiększenie długości ankiety z pięciu pytań do 10 pytań znacznie zmniejszyło wskaźnik ukończenia o 3%, a zwiększenie do 25 pytań znacznie zmniejszyło wskaźnik ukończenia o 4% (wartość p: 0,001144). Patrząc bardziej szczegółowo według grup, zwiększenie długości ankiety z pięciu pytań do 10 pytań wśród znanych istotnie obniżyło wskaźnik ukończenia o 3,8%, z 58,2% do 54,4%, a zwiększenie do 25 pytań znacznie zmniejszyło wskaźnik ukończenia o 5,6% do 52,6% (wartość p: 0,01872). W przypadku niewiadomych redukcja była mniejsza, ale wciąż znacząca: zwiększenie długości z pięciu do 10 pytań zmniejszyło wskaźnik ukończenia o 3,3%, z 19,9% do 16,6%, a zwiększenie do 25 pytań zmniejszyło wskaźnik ukończenia o 3,7% do 16,2% (p -wartość: 0,01311).

Nie było statystycznie istotnej różnicy w współczynniku ukończenia w obu grupach, gdy uczestnicy otrzymali komunikat poprzedzający ankietę informujący o długości ankiety.

Patrząc na wszystkie zabiegi razem, optymalną kombinacją leczenia dla osób znanych jest jedno z pięcioma pytaniami i dowolną kwotą zachęty lub komunikacją przed badaniem. W przypadku niewiadomych optymalną kombinacją leczenia jest kombinacja 100 KES i dowolna długość badania lub komunikacja przed badaniem (Tabela 3).

Tabela 3. Wskaźnik ukończenia według podpróbki i kombinacji leczenia zachęty, długości badania i komunikacji przed badaniem.

3.2 Jak poprawić jakość odpowiedzi

Odwrócenie kolejności pytań

Odpowiedzi różnią się znacznie w zależności od tego, gdzie w ankiecie zadawane jest pytanie, szczególnie przy porównywaniu pytań zadawanych na początku z pytaniami pod koniec ankiety. W przypadku pięciu zwykłych pytań ankietowych (pytanie 25, 8, 7, 3 i 1, przy czym pytanie 25 pojawiłoby się jako 25. pytanie w warunku standardowej kolejności lub 1. w warunku odwrotnej kolejności), odpowiedzi na Likerta były znacznie bardziej „pozytywne” skala (jak w bardziej przyjemnej lub prawdopodobnej w porównaniu do odwrotnej), gdy pytanie pojawiło się później w ankiecie. Po przekształceniu zestawu danych w miejsce, w którym każda obserwacja jest unikalną kombinacją uczestnik-pytanie - co oznacza, że ​​każdy uczestnik ma tyle obserwacji, ile pytań zostało wypełnionych - i kontrolując ustalone efekty przez respondentów, kolejność pytań bardzo silnie przewiduje odpowiedzi na wszystkie pytania (p <0,01 ).

Wariacja opcji odpowiedzi

Kiedy kolejność zdecydowanie się nie zgadzam, aby zdecydowanie się zgadzać, skala opcji Likerta została odwrócona w przypadku pytania 4, ponieważ u respondentów w odpowiedziach na pytanie „zdecydowanie się nie zgadzam” w porównaniu do opcji „zdecydowanie się nie zgadzam”, odsetek osób wybierających „zdecydowanie się nie zgadzam” lub „nie zgadzam się” znacząco spadł z 16,2% do 8,0% po przeniesieniu na dół listy (p <0,001). Ta znacząca różnica nie została znaleziona w pytaniu 9 podczas odwracania opcji odpowiedzi niepodobnych do „Likerta” „Tak, może, nie wiem, nie bardzo, nie.” Uczestnicy zerowi wybrali tylko pierwszą opcję dla wszystkich pytań i mniej niż 1% uczestnicy wybrali pierwszą opcję ponad połowę czasu, co sugeruje znaczącą różnicę w wyborze pierwszej opcji dla pytania 4, ponieważ uczestnicy udzielili merytorycznej odpowiedzi, a nie tylko konsekwentnie wybierali pierwszą opcję domyślnie, aby przyspieszyć ankietę.

Nie było znaczącej różnicy w współczynniku ukończenia, jeśli uczestnikowi zaoferowano otwartą odpowiedź na pytanie w porównaniu z opcjami wielokrotnego wyboru. Ogólnie 94,1% osób, które odpowiedziały na opcje otwartego tekstu w pytaniach 2 i 6, dostarczyło zrozumiałych danych. Porównując odpowiedzi otwartego tekstu z dyskretnymi opcjami na te pytania, najbardziej typowe odpowiedzi z zestawu dyskretnych odpowiedzi również były wyraźnie widoczne w odpowiedziach otwartego tekstu. Na przykład w pytaniu 6: „Jakie czynniki są dla ciebie ważne podczas wchodzenia na matatu?”, Najpopularniejsze kategorie reakcji dyskretnych - „liczba osób w matatu” i „stan matatu” - znajdowały się wśród trzech najważniejszych tematów w analiza tematyczna odpowiedzi otwartego tekstu (pojazd, jazda, przestrzeń / pojemność). Podobny wzorzec zidentyfikowano w pytaniu 2: najczęstsze kategorie dyskretnych odpowiedzi na pytanie „Jak myślisz, co jest największym problemem przewodników matatu?” To „Przeciążanie pasażerów” i „Niegrzeczny język” oraz trzy główne tematy tego samego pytanie dotyczyło chamstwa i niewłaściwego postępowania, taryfy i przeciążenia.

Analiza tematyczna odpowiedzi otwartego tekstu dała jednak również spójne tematy, które nie były częścią dyskretnych opcji. Podobnie niektóre dyskretne opcje nie pojawiły się w widocznych odpowiedziach. W przypadku pytania 6 trzecia najczęstsza dyskretna odpowiedź, „nieuczciwość”, w ogóle nie pojawiła się w odpowiedziach otwartego tekstu, podczas gdy motywy „obraźliwość”, „niewłaściwe postępowanie” i „arogancja” znalazły się w otwartym tekście. Co ciekawe, w pytaniu drugim niektóre tematy, o których nie myśleliśmy, takie jak matatus bez pasów bezpieczeństwa, a pijaństwo przewodników, o których nie zdawali sobie sprawy, zostały wyróżnione.

4. Dyskusja

W tym badaniu stwierdziliśmy, że osoby, które były świadome otrzymywania ankiet SMS, znacznie częściej wypełniały ankiety mobilne. Biorąc pod uwagę dużą ilość spamu wysyłanego na telefony komórkowe w regionie, nie jest zaskakujące, że uczestnicy czują się bardziej komfortowo, gdy znają źródło.

Patrząc konkretnie na różne sposoby leczenia według grup, osoby, które nie są zaznajomione z ankietami mobilnymi, są bardziej skłonne do wypełnienia ankiety mobilnej, jeśli otrzymają zachętę w wysokości co najmniej 25 KES, przy najwyższych wskaźnikach realizacji z zachętą 100 KES. Tej różnicy nie zaobserwowano wśród znanej populacji, co sugeruje, że zachęty są lepszym czynnikiem motywującym nieznane populacje do wypełniania ankiet SMS niż znane populacje, które mogą mieć motywację wewnętrzną. Może to być również powiązane z faktem, że członkowie widowni mSurvey są przyzwyczajeni do otrzymywania 20 KES za wypełnienie ankiet otrzymanych poza tym badaniem i jako tacy mają dłuższe zainteresowanie udziałem.

Ci, którzy znają ankiety mobilne, częściej wypełniają ankietę mobilną, gdy ankieta jest krótka (mniej niż pięć pytań). Natura SMS polega na wysyłaniu krótkich i zwięzłych wiadomości, jak sugeruje nazwa SMS: usługa krótkich wiadomości. Większość mSurveys to 10 pytań lub mniej, dlatego osoby zaznajomione z usługą oczekują, że ich ankiety mobilne będą krótkie.

To powiedziawszy, różnica w poziomie ukończenia między kwotami zachęt jest większa niż w przypadku długości ankiety, co sugeruje, że dłuższe ankiety mogą być wykonalne w regionie, jeśli towarzyszą im odpowiednie zachęty. Mimo to spadek wskaźnika ukończenia był znaczny, ale niewielki: maksymalny spadek wskaźnika ukończenia o 5% w przypadku dodania 20 pytań ankietowych. W tym celu badacze mogliby zmaksymalizować treść (tj. Dołączyć dodatkowe pytania) i nie zwiększać motywacji, jeśli czują się swobodnie przy mniejszej liczbie respondentów wypełniających ankietę.

Odkryliśmy również, że osoby, które najczęściej odpowiadają na ankiety SMS w obu populacjach, to osoby w wieku 25–29 lat i mężczyźni. Jest to zgodne z dowodami z mSurvey na temat rekrutacji dogodnej próbki w Kenii - mężczyźni i osoby poniżej 30. roku życia częściej zgadzają się na przeprowadzanie ankiet SMS na swoim urządzeniu mobilnym.

W obu grupach nie było różnicy w współczynniku wypełnienia, jeśli uczestnik znał długość ankiety wcześniej, a z kolei ilość czasu potrzebnego do jej wypełnienia. Sugeruje to, że znajomość długości ankiety niekoniecznie jest czynnikiem motywującym w ankietach SMS.

Jeśli chodzi o jakość odpowiedzi, umieszczenie w ankiecie, w której zadawane jest pytanie, znacząco wpływa na jakość odpowiedzi w kilku przypadkach. Fakt, że było to istotne statystycznie tylko w przypadku pytań na początku ankiety (lub na koniec ankiety w grupie terapeutycznej) jest zgodny z wyjaśnieniami teoretycznymi: zmęczenie poznawcze lub fizyczne od odpowiedzi na wiele pytań wpływa na to, jak badani odpowiadają na pytania. Każda z ankiet powinna być zwięzła lub, jeśli konieczne jest wiele pytań, bardziej trafne powinny pojawić się na początku ankiety, aby zapewnić przechwytywanie danych w przypadku zmęczenia.

Respondenci wybrali odpowiedzi w zdecydowanie zgodnej - zdecydowanie nie zgadzają się ze skalą Likerta bardziej, gdy opcje znajdowały się u góry listy. Możemy spekulować, że te opcje są bardziej znaczące, a zatem bardziej prawdopodobne, że zostaną wybrane, niezależnie od ich treści. W pytaniu, w którym to ustalenie się nie utrzymało, opcje odpowiedzi porządkowej były mniej zbliżone do liniowych (np. Tak, może, nie itd.), Co sugeruje, że odpowiedzi nie różnią się według kolejności dla wszystkich zestawów opcji odpowiedzi. Niemniej jednak należy rozważyć lub losowo zmienić kolejność odpowiedzi, aby złagodzić uprzedzenia wynikające z kolejności odpowiedzi.

W przeciwieństwie do tego, nie znaleźliśmy żadnej różnicy w współczynniku ukończenia, jeśli uczestnikowi zaoferowano pytania otwarte w porównaniu z opcją wielokrotnego wyboru, co sugeruje, że uczestnicy mogą odpowiadać na pytania otwarte SMS-em.

W przypadku odpowiedzi otwartego tekstu bogactwo tematów pochodzących z danych podkreślono ogólnie wysokim odsetkiem zrozumiałych odpowiedzi - potencjalnym poważnym ograniczeniem pytań otwartej ankiety SMS. Biorąc to pod uwagę, a także porównanie analizy tematycznej z odpowiedziami kategorycznymi, pytania w otwartym tekście są realnym sposobem pozyskiwania danych w ankietach SMS i mogą być potężne, gdy istniejących trendów jest zbyt mało, aby niezawodnie tworzyć zestaw odrębnych opcji.

Podsumowując, aby zebrać najlepsze dane, osoba projektująca ankietę SMS powinna:

a.) Zrekrutuj próbkę, która jest świadoma, że ​​będzie otrzymywać ankiety SMS

b.) Zachowaj ankiety mobilne maksymalnie 5 pytań lub zapewnij większą motywację do dłuższych ankiet

c.) Randomizuj kolejność pytań i opcji odpowiedzi w celu poprawy jakości odpowiedzi

d.) Używaj pytań otwartych, gdy brakuje danych jakościowych na poparcie pytania

e.) Wiedz, że mężczyźni i osoby poniżej 30 roku życia najczęściej wypełniają ankietę SMS

Oświadczenie o dostępności danych

Wszystkie dane i powiązane materiały do ​​tego badania można znaleźć w Open Science Framework tutaj:

https://osf.io/frqm2/?view_only=692c84fa3a50428082acd703fdee0c58

Bibliografia

  1. Urząd ds. Komunikacji z Kenii (1 stycznia - 31 marca 2018 r.), „Raport statystyczny sektora trzeciego kwartału za rok budżetowy 2017/2018.” Dostępny online: https://ca.go.ke/wp-content/uploads/2018/07 /Sektor-Statystyki-Raport- Q3-2017-18-2.pdf
  2. R. Lester, P. Ritvo, E. Mills, Kariri, S. Karanja, M. Chung, W. Jack, J. Habyarimana, M. Sadatsafavi, M. Najafzadeh, C. Marra, B. Estambale, E. Ngugi, TB Ball, L. Thabane, L. Gelmon, J. Kimani, M. Ackers, F. Plummer (2010), „Wpływ usługi krótkich wiadomości z telefonu komórkowego na przestrzeganie leczenia przeciwretrowirusowego w Kenii (WelTel Kenya1): badanie randomizowane”, Lancet, 376, 1838–1845.
  3. D. Zurovac, R. Sudoi, W. Akhwale, M. Ndiritu, D. Hamer, A. Rowe, R. Snow (2011), „Wpływ przypomnień SMS-owych na telefony komórkowe na przestrzeganie przez kenijskich pracowników służby zdrowia leczenia malarii wytyczne: randomizowane badanie klastrowe ”, Lancet, 378, 795–803.
  4. J. Barrington, O. Wereko-Brobby, P. Ward, W. Mwafongo, S. Kungulwe, SMS for Life: projekt pilotażowy mający na celu poprawę zarządzania podażą leków przeciwmalarycznych w wiejskiej Tanzanii z wykorzystaniem standardowej technologii (2010), Malaria Journal, 9, 1–9.
  5. Mourão, Sandro i Karla Okada (2010). „Telefon komórkowy jako narzędzie do gromadzenia danych w badaniach terenowych”, Światowa Akademia Nauki, Inżynierii i Technologii, 70 (43), 222–226.
  6. Nanna, M. J. i Sawilowsky, S. S. (1998). „Analiza danych w skali Likerta w badaniach nad niepełnosprawnością i rehabilitacją medyczną”, Psychological Methods, 3 (1), 55–67.
  7. de Winter, J. C. F. i D. Dodou (2012). „Five-Point Likert Items: t test versus Mann-Whitney-Wilcoxon”, ocena praktyczna, badania i ocena, 15,11. Dostępne online: http://pareonline.net/getvn.asp?v=15&n=11.