Przy projektowaniu wszystkie badania są o kant dupy potłuc

Poza jednym badaniem: testami A-B na użytkownikach. Wszystkie moje doświadczenia tak mówią od lat i coraz więcej osób zaczyna się z tym zgadzać.

Paweł Kadysz
Przemyślenia po dwóch miesiącach od startu bety tookapic sprowadzają się właściwie do jednego wniosku – jak bardzo mało wiedziałem do tej pory. I Ty też, drogi UX „ekspercie” wiesz niewiele. Wszystkie szkice, moodboardy, mockupy i wireframes można o kant dupy rozbić. Po własnym mockupie Ty i Twój zespół będzie się poruszać z zamkniętymi oczami, tyłem i na czworaka. Ale Ty i Twój zespół to nie Twoi użytkownicy.

Strasznie klaskałem i podskakiwałem po tym jak Paweł to powiedział. Nieskromnie wspomnę, że ja o tym już dość długo gadam, a tu osoba którą poważam wypowiada takie słowa. Ale ja pójdę jeszcze dalej i przywalę mockupom, moodboardom, badaniom itd … – testowanie na sztucznie dobranej grupie w sztucznych warunkach też jest do niczego! Nie ważne jak bardzo się staramy odtworzyć warunki naturalne.

2x miałem okazję zlecić wykonanie testów projektu, firmie specjalizującej się w badaniach. Lustro weneckie, eyetracking, pytania, zadania do rozwiązania i co można sobie wymarzyć. Słuchając i oglądając to co się działo miałem ochotę walić głową w to lustro, mając nadzieje że pęknie i będę mógł krzyknąć „czy was pokręciło do końca”.

Za pierwszym razem, firma badawcza została poproszona o wykonanie badania, zostały jej podane cele i miała odwalić za nas całą brudną robotę. Zanim pojawili się respondenci mnie już ręce opadły bo pytania i zadania skonstruował ktoś kto kompletnie nie miał pojęcia o aplikacjach. Pierwsze wrażenie (pewnie bliskie prawdy) to że firma specjalizuje się bardziej w badaniach smaku chipsów niż witryn czy aplikacji. Ale odpowiedzi potencjalnych użytkowników i tak przebiły brak profesjonalizmu badania. Więcej to zaszkodziło niż dało jakiś odpowiedzi, co znamienne userzy zachowywali się dokładnie inaczej niż przewidywał raport.

Po doświadczeniach z pierwszym badaniem, podchodząc do tego po raz drugi, pytania i zadania przygotowaliśmy sami. Więc nie za bardzo do samego sposobu można było się przyczepić, ale odpowiedzi były równie zaskakujące co poprzednio. Szczęściem, klient na początku przewidział również w budżecie badania A-B już po wdrożeniu. I znów się okazało że raportem firmy badawczej można było wyściełać co najwyżej kosze w biurze.

Dokładając do tego wszystkie te pytania zadawane wąskiej grupie pracowników, prośby o opinie podglądanie jak inni wkoło rozwiązują problemy, czuję się upoważniony do stwierdzenia że badanie UI i UX jest o kant dupy potłuc. Zdecydowanie częściej sprawdzają się doświadczenia z podobnych realizacji, czy przeczucia projektantów niż wnioski po badaniach.

Artur pięknie to podsumował (wykorzystam to w następnej prezentacji)

Art Kurasiński
prawdziwa prawda. projektowanie to nie jest dealowanie z userami. to jest tworzenie pewnego założenia, które trzeba modyfikować w locie, spadając w dół.

I nic więcej nie trzeba dodawać.

Tagi: , , , ,

  • Strasznie ogólnikowy post Michał. Szkoda że nie podałeś jakiegoś konkretnego przykładu tego co ustalono po tych badaniach, a co potem wyszło że jest „o kant…”.

  • mrman_pl

    Nie zawsze i nie wszędzie można się oprzeć na przeczucia czy podobnych realizacjach. Czasem po prostu trzeba zaprojektować nie atrakcyjny, jednofunkcyjny serwis, ale kobyłę realizującą ileś funkcji dla bardzo specyficznej grupy użytkowników

    Projektowanie aplikacji/serwisów dla właścicieli warsztatów samochodowych, IDE dla programistów czy serwisów intranetowych dla lekarzy wymaga według mnie i wedle mojego doświadczenia zdobycia specyficznej wiedzy, która nie zawsze jest dostępna. Najprościej to zrobić, bazując właśnie na użytkownikach i przeprowadzając z nimi fokusy wywiady pogłębione (w zależności od potrzeb), czy właśnie badania użyteczności (jeśli mamy żywe, działające serwisy).

    Inną sprawą jest eyetracking, z którego faktycznie ciężko jest wyciągnąć faktycznie wartościowe wnioski (i chyba nadal mało ludzi w Polsce to potrafi), a jeszcze inną kwestią jest ekstrapolowanie twojego niewątpliwie budzącego uznanie doświadczenia i kompetencji projektanta, na ogólne stwierdzenie, że „wszystkie badania są o kant dupy potłuc” (cytat z tytułu). Chyba warto przyjąć do wiadomości, że nie wszyscy są tak utalentowani, zdolni jak Ty (i to zdanie jest bez ironii).

    Kolejnym aspektem wreszcie jest traktowanie badań z użytkownikami jako dupochronu – to też czasem ma miejsce i zgadzam się, że takie badanie nie ma zbyt wielkiego sensu (jeśli ma potwierdzać z góry postawioną tezę).

    Unikałbym jednak kwantyfikatorów i efekciarskich stwierdzeń, że badania UX (poza testami A/B) nie mają sensu. Zaryzykowałbym stwierdzenie, że doświadczonemu projektantowi, realizującemu (prawdopodobnie, nie znam na wylot Twojego portfolio, ale pamiętam że budzi uznanie) niewyspecjalizowane serwisy badania NIE zawsze są potrzebne.

  • Wybacz, ale mam kilka powodów:

    – było to klika lat temu i nie mam dostępu do wyników dziś

    – było to w ostatniej agencji w jakiej pracowałem … i jak wyżej
    – nie do końca chyba nawet mógłbym cytować obszernie z powodów jak wyżej

    Dzieliłem się też bardziej odczuciami z obecnej chwili, kiedy wewnętrzne testy, badania czy nawet doświadczenie w zderzeniu z praktyką pozwalają później mówić o kantach i dupach.

    Ale będę miał okazję uczestniczyć w kolejnych dwu badaniach dwu różnych projektów, postaram się przeanalizować dokładnie i to co będę mógł – opublikować w głębszym studium.

  • Wiesz ta „zdolność” i to „doświadczenie” które widzisz u mnie też się nie zawsze sprawdza. Chwale się że często tak – ale nierzadko użytkownicy zaskakują mnie niesamowicie. Więc nawet z ironią się nie obrażę ;)

    W wypadkach projektów dość specyficznych (mam kilka dziedzin takich wśród doświadczeń – oprócz myjni samochodowej), sam interesuje się tym co ludzie sądzą, jakie mają oczekiwania. Czasem posuwam się nawet do ankiet … ale potem biorę toto i przepuszczam przez moją „maszynkę”. Wtedy dzielę sobie wyniki na takie które są oczekiwane/wymagane i na takie w których uznaje że user nie wie co dla niego dobre. Trochę podchodzę do tego jak Jobs – jeśli nie używali czegoś dobrego to nie mogą się o tym wypowiadać czego tak naprawdę chcą.

    W pewnym sensie można uznać takie działania – badaniami. Ja jednak czuję że to za daleko idące uogólnianie. To bardziej wgryzanie się w temat i poznawanie oczekiwań.

    Dobry case to chyba wypowiedź właśnie Jobsa – że gdyby słuchać tego co oczekują klienci, to do dziś byśmy używali telefonów z fizycznymi klawiaturami i rysikami. Kiedy wprowadzali iPhone na rynek, wszyscy klienci odpowiadali że potrzebują jedynie lepszych rysików i klawiatur a ekranów dotykowych nie chcą.

    Może krócej i bardziej precyzyjnie napiszę co pisałem (zobaczymy czy potrafię) – chodzi o to że nie ważne jak się przygotujesz, jakie zrobisz makiety, na jakiej grupie przetestujesz w praniu i tak najczęściej wyjdzie ci wszystko inaczej. Robiąc badania przed a nie testy A/B po, robisz sobie albo swojemu klientowi wielką krzywdę.

  • Franciszek Białas

    Sory za uszczypliwość, ale akurat przy Took A Pic to mogli się zgłosić do Dribbble.com i poprosić o podesłanie wyników ich testów. Przecież ten serwis jest identyczny :) http://www.dribbble.com i https://tookapic.com/photos