Doskonały wynik: jak oszacować zachowanie użytkownika i zbudować bardziej dokładne osobowości UX

Dane jakościowe mają tak dużą wartość, ale można je łatwo interpretować, gdy są analizowane przez różne osoby. Każdy z nas ma swoje własne perspektywy i uprzedzenia, gdy próbujemy rozpakować dane z wywiadów, testów użyteczności i ankiet. Jest to szczególnie prawdziwe, gdy analizujemy dane z wywiadów użytkowników w celu budowania osobowości UX. W tym poście na blogu opowiem o procesie wdrażania przewodnika oceniania i omówię niektóre problemy, które napotkaliśmy podczas kwantyfikacji jakościowych danych użytkowników.

Chciałbym wyjaśnić, że ten post skupi się na zastosowaniu metody punktacji, która pomoże interpretować jakościowe dane użytkownika na potrzeby rozwoju osobowości.

Moje pierwsze doświadczenie w zespole badawczym miałem w IDC Herzliya i Weizmann Institute, prowadząc badania behawioralne dla uczestników z autyzmem. Byłem odpowiedzialny za zbieranie i ocenianie zadań motorycznych i behawioralnych dla każdego uczestnika. Podczas rozmowy rejestrowaliśmy pomiary, takie jak długość kontaktu wzrokowego i liczba uśmiechów. Ale były też cenne subiektywne dane, które należało zmierzyć: jaka była jakość ich przebiegu konwersacyjnego lub afektywnego zaangażowania podczas rozmowy? Jedną z bardziej fascynujących rzeczy, które zrobiliśmy w naszych badaniach, było to, jak pracowaliśmy nad kwantyfikacją danych jakościowych i upewnieniem się, że wszystkie nasze subiektywne dane były konsekwentnie mierzone. Aby to zrobić, stworzyliśmy standardowy przewodnik oceniania, który nakreślił definicje każdego pomiaru behawioralnego i ustandaryzowaliśmy sposób analizy danych z krótkiej rozmowy, aby dać użytkownikom ocenę behawioralną.

Kiedy pracuję w nowej firmie i nowej branży, mam ten sam problem. Kiedy Sam, nasza starsza badaczka UX, zaczęła nurkować w danych wywiadu w celu opracowania osobowości, stworzyła wymiary dla różnych zachowań w podróży, które zbadaliśmy dla każdego użytkownika. Wymiary te wahały się od częstotliwości podróży do chęci podróżowania (sprawdź jej post na blogu „Jak mapować persony z ponad 50 użytkownikami”, aby dowiedzieć się więcej). Każdy wymiar został oceniony w skali od 1 do 5 na podstawie naszych jakościowych danych użytkownika. Weźmy na przykład częstotliwość podróży. Wynik 1 oznacza, że ​​użytkownik podróżuje co miesiąc, a wynik 5 oznacza, że ​​podróżował raz w roku. Ten rodzaj wymiaru ma charakter ilościowy, ponieważ wynik opiera się na określonej liczbie podróży użytkownika.

Co z wymiarem, takim jak chęć podróżowania? To właśnie w tym przypadku punktacja stała się skomplikowana. Co to znaczyło, że użytkownik był bystry w podróży? Czy często podróżowali, mieli mnóstwo członków, czy jedno i drugie? Kiedy był tylko jeden badacz UX w punktacji zespołu, tego rodzaju informacje istniały tylko w ich głowach, a ich wyniki były determinowane bardziej przez uczucia niż przez definicję. Nie oznacza to, że ocenianie oparte na odczuciu jest koniecznie złe. Kiedy efektywnie angażowałem się w rozmowę, zauważyłem, że czułem, kiedy użytkownik uzyska ocenę 1 lub 5. Jednak nie wystarczy po prostu „przeczuć”, ponieważ nie ma sposobu, aby zapewnić konsekwentnie oceniaj każdego użytkownika dokładnie w ten sam sposób, szczególnie jeśli więcej danych UX Badaczy będzie wnosić wkład w dane użytkownika. Bez konsekwencji wyniki 1–5 będą oznaczały coś innego dla każdego użytkownika. Aby dokładnie ocenić (a zatem zmierzyć) te wymiary, potrzebowaliśmy sposobu na kwantyfikację danych jakościowych. W rezultacie stworzyliśmy standardowy przewodnik oceniania - dokument, który szczegółowo zdefiniował, w jaki sposób tłumaczyć dane behawioralne na kwantyfikowalne dane liczbowe.

Co to jest standardowy przewodnik oceniania?

Krótko mówiąc, standardowy przewodnik oceniania jest jak słownik. Dokumentuje, jak zdecydować się na zdefiniowanie zakresu liczbowego w ramach wymiaru. Zawiera przykłady i cytaty, które również nadają kontekst definicji.

Oto prosty wymiar ilościowy, który ocenia częstotliwość podróży użytkownika na podstawie częstotliwości jego podróży w ciągu roku. Zakres utworzony tutaj został oparty na naszych odpowiedziach podczas wywiadów z użytkownikami. Rzeczywista wartość znormalizowanego przewodnika oceniania dotyczy bardziej skomplikowanych wymiarów, takich jak ten poniżej:

Wymiar taki jak chęć do podróżowania może być niejasny bez konkretnych wytycznych, które określają, w jaki sposób różne czynniki wpływają na wynik użytkownika. W tym przypadku zdecydowaliśmy, że przy obliczaniu chęci podróży należy wziąć pod uwagę 4 różne czynniki.

1. Czy użytkownik zbiera i wykorzystuje punkty członkostwa?
2. Czy podróżują więcej niż 6 razy w roku?
3. Czy podróżują zarówno na arenie międzynarodowej, jak i krajowej?
4. Czy znają się na stronach internetowych z podróżami? Czy mają ustalony system?

Teraz, gdy mamy kilka czynników, które wpływają na chęć podróżowania, możemy oceniać użytkowników na podstawie liczby spełnianych kryteriów. Użytkownik, który nie ma punktów członkowskich ani nie korzysta z nich, nie podróżuje poza USA, ale jest wygodny w rezerwacji podróży, a podróż do Kalifornii jest często uważana za 3 dla wygody podróży, jeśli spełnia 2 z 4 kryteriów. Nawet przy takim zarysie wciąż jest miejsce na błąd przy interpretacji czynnika takiego jak „posiadanie ustalonego systemu rezerwacji”. Aby to uwzględnić, dodaliśmy przykładowych uczestników, którzy „idealnie” pasują do zdefiniowanego wyniku. W ten sposób, jeśli wystąpią jakieś pomyłki, możemy wrócić i spojrzeć na to, jak użytkownik porównuje użytkownika do przykładowego użytkownika.

Innym sposobem zdefiniowania byłoby uznanie wyników w każdym wymiarze za stwierdzenia „jeśli… to…”. Rozważmy nawyk wydawania ...

Jeśli użytkownik A lubi wyłupywać, woli hotele 4–5 gwiazdkowe i leci ekonomią premium, użytkownik A uzyska 2 za nawyk wydawania.

Więc…

W tym miejscu nadal przyglądamy się kilku czynnikom, które wpływają na nawyk wydawania pieniędzy, ale zamiast powiedzieć „ten użytkownik musi sprawdzić 2 z 4 czynników”, sprawdzamy, gdzie mieszczą się one w obrębie czynników (takich jak liczba gwiazdek w hotelach i klasa podróży), aby pomóc określamy, jak zdobyć nawyk wydawania pieniędzy.

Jak rozpocząć tworzenie standardowego przewodnika oceniania

1. Zdefiniuj zasięg na podstawie wywiadów z użytkownikami

Możesz utworzyć swoje wymiary i zdefiniować każdy wynik w swoim wymiarze, zanim zaczniesz rozmowę z użytkownikiem, ale to nie przyniesie ci wiele dobrego. Można naprawdę zmienić zakres, nie wiedząc, jak zachowują się Twoi użytkownicy. Załóżmy, że najpierw określasz zakres, a następnie przeprowadzasz wywiady z użytkownikami. Okazuje się, że większość użytkowników uzyskała ocenę 5, ale wszyscy użytkownicy w tym wyniku mogą mieć nieco inne zachowania. Zastosowany zakres nie stanowi skutecznego podziału zachowań. Aby przewodnik był skuteczny, każdy użytkownik - niezależnie od jego zachowania - musi dopasować się do wyniku, aby nie rozcieńczyć danych luźnymi dopasowaniami. Dlatego o wiele lepiej jest ocenić, jak Twoje odpowiedzi różnią się między użytkownikami i stamtąd kształtować definicje.

2. Określ różne przypadki użycia i zastosuj je w swoich definicjach

Po przeprowadzeniu części wywiadów będziesz mieć lepsze pojęcie o tym, jak wyglądałby Twój zasięg dla różnych wymiarów. Zacznij od ramy tego, co Twoim zdaniem byłoby najbardziej sensowne na podstawie twoich odpowiedzi. Przy definiowaniu wymiaru „znaczenie recenzji” zaczęło się bardzo prosto:

Przeglądając wszystkie odpowiedzi użytkowników, mogliśmy dokładniej zdefiniować każdy wynik:

3. Znajdź najlepsze przykłady! Są twoim punktem odniesienia!

Pisanie definicji nie wystarczy, aby zapewnić spójną punktację. Nawet podczas czytania szczegółowych wytycznych wciąż jest miejsce na interpretację. Najbardziej pomocną rzeczą do zrobienia tutaj jest wybranie przykładowego uczestnika (oraz cytatu lub klipu), który reprezentuje wynik idealnie lub bardzo dokładnie. Dodanie cudzysłowów kontekstowych pomoże zachować spójność podczas oceniania.

4. Będzie ewoluować!

Gdy przeprowadzasz wywiady z większą liczbą użytkowników, znajdziesz kilka przypadków, w których użytkownik po prostu nie pasuje do żadnego wyniku. Należy pamiętać, że przewodnik oceniający to żywy i oddychający dokument, który z czasem się zmieni. Nie oznacza to, że całkowicie zmienisz definicję, ale możesz dodać notatkę dotyczącą bardziej szczegółowego przypadku użycia. Dobrym przykładem tego był wywiad przeprowadzony przez Sama z użytkownikami w Wielkiej Brytanii i okazało się, że sposób, w jaki zdefiniowaliśmy wyjazdy międzynarodowe i krajowe w USA, nie miałby takiego samego zastosowania do użytkowników w Wielkiej Brytanii. Zamiast tego musieliśmy dodać przypadek użycia dla tych użytkowników:

Ważne jest, aby pamiętać, że standardowy przewodnik oceniania nie jest idealną nauką i wciąż jest miejsce na uprzedzenia. Nasz zespół ma jednak większe zaufanie do jakości i spójności analizy danych. Chociaż proces ten był pierwotnie stosowany w badaniach behawioralnych, można go również zastosować do dowolnego zestawu danych jakościowych. W UX wielu z nas wywodzi się z różnych środowisk akademickich i zawodowych, których możemy użyć do zastosowania różnych perspektyw i metod w celu ulepszenia naszego podejścia do procesu UX. W naszym przypadku pomogło nam to dokładniej przedstawić spektrum spójnych, rzeczywistych zachowań w naszych osobowościach, których używamy do ulepszania naszych projektów.