Zbieranie wyników

Na czym polega przewaga CAWI na innymi metodami?

Wybór odpowiedniej techniki realizacji pozwala na optymalizację czasu i kosztów związanych z realizacją badania, bez istotnej straty jakości zbieranych danych. Co więcej, każda z technik otwiera przed badaczem nowe możliwości jeżeli chodzi o logistykę badania, kontrolę przebiegu realizacji i komfort respondenta w trakcie badania. W dalszej części dowiesz się, jakie są możliwości i korzyści z wyboru techniki CAWI, w porównaniu do pozostałych metod.

Technika CAWI wymaga jedynie dostępu do internetu, nie jest niezbędne żadne specyficzne urządzenie, czy niestandardowe oprogramowanie. Ankiety CAWI mogą być wypełniane zarówno na komputerze stacjonarnym, laptopie, smartfonie, tablecie a nawet na smart TV. To respondent decyduje na jakim urządzeniu chce wypełnić ankietę. Skrypty ankiet stworzone przy pomocy systemu ankieteo są dostosowane do wyświetlania nie tylko w wersji desktop (na komputerze lub laptopie), ale również w wersji mobile (na telefonie lub tablecie). System automatycznie rozpoznaje nie tylko urządzenie respondenta, ale również jego system operacyjny, model przeglądarki i rozdzielczość ekranu, dostosowując odpowiednio wygląd ankiety.

Realizacja badań ilościowych metodą CAWI znacznie obniża koszt badania niż w przypadku wykorzystania metod badawczych typu CATI, CAPI czy PAPI.

Na obniżenie ceny realizacji wpływa brak konieczności zatrudniania ankieterów, pokrycia ich kosztów dotarcia do respondenta, noclegu, diet itd. Pozwala to na kilku, a nawet kilkunastokrotne zmniejszenie kosztu realizacji badania, ponieważ w badaniach realizowanych online wypłaca się wynagrodzenie wyłącznie dla respondentów, a nie tak jak w przypadku innych metod badawczych – również dla ankieterów.

Badania wykonywane metodą CAWI w większości projektów cechują krótki czasem realizacji. Dzieje się tak m.in. dlatego, że respondenci wypełniają ankietę samodzielnie, bez konieczności zaangażowania innych osób (np. ankietera). W tym samym czasie, praktycznie nieograniczona liczba respondentów może o każdej porze i w dowolnym miejscu na świecie brać udział w jednym lub wielu badaniach online. Na szybszą realizację badania CAWI wpływa również krótszy czas uzupełniania ankiety przez uczestników badania niż w przypadku korzystania z narzędzia badawczego z takimi samymi pytaniami w innych metodach badawczych.

Ankiety internetowe umożliwiają także umieszczanie w narzędziu badawczym nie tylko pytań tekstowych, ale także multimediów, takich jak filmy, grafiki, dźwięki. W ankieteo możliwe jest również dopasowanie wyglądu ankiety do identyfikacji wizualnej firmy zlecającej badanie, dzięki możliwości edytowania kolorystyki ankiety, tła, czcionki oraz możliwości dodawania logotypu firmy.
Projekty badawcze CAWI umożliwiają edycję ankiety w trakcie realizacji badania. Oznacza to brak konieczności ponoszenia dodatkowych kosztów w przypadku zmian w kwestionariuszu, które w innych metodach badawczych byłyby związane np. z drukiem nowych ankiet papierowych czy ponownym przeszkoleniem ankieterów.

Brak ankieterów w badaniach CAWI to brak efektu ankieterskiego, czyli brak ryzyka związanego z ewentualnym popełnieniem błędów przez ankieterów, np. pominięciem niektórych odpowiedzi w pytaniu czy subiektywną klasyfikacją udzielanej przez respondenta odpowiedzi.

Badania realizowane metodą CAWI ułatwiają również precyzyjne dotarcie do grup docelowych badania (targetowanie), co ma znaczenie szczególnie w próbach warstwowych czy kwotowych.

Kontrola jakości wyników badania CAWI jest natychmiastowa, wygodna i nie wymaga angażowania dodatkowych zasobów, np. kontrolerów, koordynatorów terenowych czy supervisorów. Przeprowadzenie badania metodą CAWI umożliwia śledzenie online postępu w realizacji badania, a także pozwala na pobieranie i sprawdzanie zbieranych wyników w dowolnym momencie realizacji.

Wykonywanie badań metodą CAWI przyspiesza również cały proces realizowania projektu badawczego, ponieważ zebrane wyniki są od razu gotowe do analizy, a nawet w niektórych przypadkach dane analizowane są na bieżąco.

Podsumowując, na tle pozostałych technik zbierania danych, metoda CAWI posiada następujące zalety w ramach różnych aspektów:

LOGISTYKA I REALIZACJA ANKIET INTERNETOWYCH

Atrakcyjne koszty realizacji badań o podobnych parametrach (np. długość wywiadu, wielkość próby)
Elastyczność kosztowa – możliwość precyzyjnego określania wielkości i charakterystyki próby na każdym etapie badania
Szybka realizacja badania
Możliwość jednoczesnej realizacji badania w różnych lokalizacjach
Możliwość udziału w badaniu w terminie dogodnym dla respondenta
Łatwiejsze dotarcie do grup docelowych badania
Możliwość śledzenia realizacji online

USER EXPERIENCE ANKIET ONLINE

KODOWANIE I ANALIZA DANYCH

METODOLOGIA I JAKOŚĆ DANYCH

Efekt ankieterski w badaniach deklaratywnych

Do realizacji projektów badawczych metodami innymi niż CAWI (CATI, CAPI, PAPI) potrzebni są ankieterzy, którzy odczytują respondentom pytania zawarte w kwestionariuszu ankiety. Udział ankietera w realizacji badania ilościowego może wpłynąć na to w jaki sposób respondent będzie udzielać odpowiedzi na pytania – nazywamy to efektem ankieterskim. Płeć i wygląd ankietera, a także sposób w jaki się zachowuje i odczytuje kwestionariusz ankiety może wpłynąć na odpowiedzi, których udziela respondent. W przypadku udziału ankieterów w realizacji badania może on również sugerować odpowiedzi uczestnikom badania lub odczytywać je bez zmienionej kolejności (np. bez rotacji lub według własnego uznania) co może doprowadzić do uzyskania niechcianego efektu, jakim jest efekt świeżości (respondenci wybierają pierwszą odpowiedź z kafeterii) czy lustrzany efekt tzw. ostatniej odpowiedzi (respondenci wybierają ostatnią odpowiedź) co może znacząco zaburzyć wyniki badania. Udział ankietera w realizacji badania może być również problemem w przypadku zadawania wrażliwych pytań, na które respondenci nie chcą odpowiadać przy innej osobie lub odpowiedzą niezgodnie z prawdą, w obawie, że zostaną ocenieni.

Metoda badawcza CAWI umożliwia uniknięcie wszystkich powyższych efektów, ponieważ realizacja badania odbywa się bez udziału ankieterów, odpowiedzi w pytaniach (a nawet same pytania w ramach bloku) mogą być w innej kolejności dla każdego respondenta (rotacja, randomizacja). Sama ankieta jest uzupełniana samodzielnie w dogodnym dla respondenta momencie i miejscu, co wpływa korzystnie na poczucie komfortu i anonimowości podczas udzielanych odpowiedzi.

Dobór próby i kwotowanie

Zdecydowana większość badań bazuje na tzw. doborze warstwowym lub kwotowym. Kwota (inaczej warstwa) oznacza liczbę efektywnych wywiadów do osiągnięcia wśród respondentów spełniających określone kryteria. Im lepiej zaprojektowane kwoty, tym większa reprezentatywność próby badawczej. Proces tworzenia kwot zwany jest kwotowaniem. Kwoty wybrane w badaniu mogą odzwierciedlać strukturę demograficzną Polaków, ale mogą być one również dobrane ze względu na inne informacje o wybranej grupie osób. Tworzenie próby kwotowej w systemie ankieteo składa się z dwóch etapów.

ETAP 1

Określenie liczby respondentów spełniających konkretne założenia

Odsetek osób w próbie badawczej spełniających wybrane kryteria jest ustalany w sposób proporcjonalny do ich rzeczywistego udziału w całej badanej populacji.

ETAP 2

Przygotowanie tzw. kolektorów, które odpowiadają konkretnym kwotom jakie mają zostać zebrane w danym badaniu

Kolektory umożliwiają dokładne określenie jakie cechy demograficzne mają spełniać uczestnicy badania oraz dokładną liczbę respondentów spełniających te warunki. Dostęp do tego badania mają tylko i wyłącznie osoby spełniające określone kryteria w danym kolektorze.

Ankieteo wyposażone jest w system automatycznego zamykania kolektorów odpowiadających danej kwocie, co umożliwia dokładną kontrolę zbieranej próby badawczej. Próby kwotowe zebrane w SW Panel są kontrolowane przed oraz po zebraniu wyników. W momencie, w którym odpowiednia liczba respondentów z określonej kwoty wypełni ankietę, kolektor odpowiadający tej kwocie jest automatycznie zamykany, dzięki czemu można uniknąć nadwyżki osób spełniających te kryteria. Nadwyżka osób spełniająca wybrane kryteria zaburza ostateczną próbę badania, a także zwiększa koszt realizacji. Im większa baza respondentów, tym większe możliwości kwotowania.

Kolektory pogrupowane są w ramach 8 kategorii

Panel

określenie cech respondentów spełniających określone kryteria

Link do testów

podgląd ankiety z opcją aktywacji / dezaktywacji logiki i walidacji obecnej we właściwej ankiecie

Baza ankiet

link do ankiety wyświetlany w bazie ankiet na stronie swpanel.pl

Zaproszenie email

wysyłka zaproszenia email do wybranej grupy respondentów

Link do strony

w celu zapraszania do ankiety za pomocą poczty email, mediów społecznościowych itp.

Strona WWW

ankieta jest umieszczania jako element strony (iframe) lub widget

Tokeny

w celu realizacji i monitorowania realizacji na zewnętrznej bazie respondentów

Zaproszenia SMS

wysyłka powiadomień SMS na temat ankiety do grupy respondentów

Celowy charakter próby i targetowanie

Często zdarza się, że na etapie projektowania próby nie mamy wystarczających informacji, aby precyzyjnie określić strukturę próby. Najczęściej dotyczy to sytuacji, w których próba badawcza musi spełniać specyficzne kryteria, niekoniecznie związane z demografią, np. zakup sprzętu AGD w ciągu ostatnich 3 miesięcy lub stosowanie określonej marki kosmetyku. Wówczas, wykorzystanie wyłącznie mechanizmu kwotowanie będzie niewystarczające i konieczne będzie tzw. targetowanie.

Targetowanie to inaczej sposób dotarcia do interesującego nas targetu, czyli celowej próby respondentów. Polega ono na wybraniu respondentów spełniających określone kryteria grupy docelowej badania. Jest ono możliwe na dwa sposoby.

Pytania screeningowe
Profilowanie respondentów

Edytuj treść

W badaniach deklaratywnych bezpośrednim źródłem danych są odpowiedzi podmiotu badania, czyli respondenta. Respondentem może być osoba, firma lub instytucja. Ten typ badań zakłada interakcję z respondentem za pomocą narzędzia badawczego – np. kwestionariusza ankiety lub scenariusza wywiadu. Narzędzie badawcze może być administrowane przez ankietera, moderatora wywiadu lub oprogramowania (skryptu, strony www, elektronicznego formularza).

Główne techniki badań deklaratywnych:

PAPI (Paper and Pencil Interview) wywiad realizowany za pomocą ankiety papierowej, tj. ankieter zaznacza odpowiedzi respondenta na wydrukowanym kwestionariuszu lub respondent wypełnia ankietę samodzielnie

CAPI (Computer Assisted Personal Interview) wywiad realizowany za pomocą ankiety komputerowej, tj. ankieter odczytuje lub pokazuje pytania, a następnie zaznacza odpowiedzi w skrypcie ankiety

CATI (Computer Assisted Telephone Interview) wywiad realizowany za pomocą ankiety telefonicznej, tj. ankieter odczytuje pytania, a następnie zaznacza odpowiedzi w skrypcie ankiety

CAWI (Computer Assisted Web Interview) wywiad realizowany za pomocą ankiety online, tj. respondent samodzielnie wypełnia elektroniczny kwestionariusz.

W ramach badań online może wyróżnić dwie kategorię technik zbierania danych:

Badania panelowe realizowane wyłącznie wśród użytkowników konkretnego panelu badawczego, zaproszenie do badania kierowane jest do wylosowanej lub wytypowanej grupy respondentów
Badanie typu RTS (Real Time Sampling) realizowane wśród ogółu internautów, każdy użytkownik posiadający link do ankiety, może wziąć udział w badaniu

IDI (Individual In-Depth Interview) jakościowy pogłębiony wywiad indywidualny, moderator rozmawia z respondentem w oparciu o scenariusz wywiadu

FGI (Focus Group Interview) jakościowy pogłębiony wywiad grupowy, moderator prowadzi dyskusję z wieloma respondentami w oparciu o scenariusz wywiady. Szczególnym przypadkiem FGI są diady (2 respondentów), triady (3 respondentów) oraz mini-FGI (4-5 respondentów)

Edytuj treść

Wyświetlanie ankiety respondentom na podstawie ich profili

Drugi sposób polega na profilowaniu respondentów, czyli wyświetlaniu ankiety respondentom, którzy zostali wybrani na podstawie zebranych informacji na ich profilach. Ten sposób wymaga integracji systemu ankietowego z panelem badawczym lub inną bazą respondentów. Ten typ targetowania jest szczególnie istotny w badaniach wymagających tzw. karencji, czyli wykluczenia z realizacji respondentów, którzy brali udział we wcześniejszych falach tego samego badania (np. w badaniu trackingowym) lub innych badania o podobnej tematyce. System ankieteo umożliwia stosowanie karencji zarówno przez wskazanie określonych projektów, jak i konkretnych respondentów, którzy mają zostać wykluczeni z realizacji.

Odpowiednio zaprojektowane targetowanie pozwala nie tylko zwiększyć efektywność kosztową badania, ale również pozwala zaoszczędzić czas respondenta.

Gromadzenie danych

Proces gromadzenia danych w badaniach CAWI przy użyciu systemu ankieteo odbywa się dzięki udostępnieniu ankiety dla wybranych respondentów na SW Panel. W momencie aktywowania ankiety osoby spełniające określone kryteria próby badania mają dostęp do ankiety i mogą ją wypełnić. Paneliści otrzymują dostęp do ankiety na trzy sposoby:

Otrzymanie zaproszenia drogą mailową

Wyświetlenie ankiety w profilu panelisty

Wyświetlenie ankiety w bazie ankiet na SW Panel

Ankieteo umożliwia również wygenerowanie adresu www ankiety, który w postaci linku można przesłać do wybranych uczestników badania. Takie rozwiązanie jest przydatne kiedy badanie realizowane jest wśród odbiorców danej marki. Link do ankiety można przesłać do bazy mailingowej (newsletter, klienci, pracownicy) lub udostępnić na mediach społecznościowych lub stronie internetowej. Projekty badawcze w ankieteo mogą być również realizowane przy wykorzystaniu baz dostarczonych od Klienta.

Korzystanie z zewnętrznych (klienckich) baz respondentów

Korzystanie z bazy Klienta możliwe jest w dwóch głównych wariantach:

Ankieta otwarta (open link)

Badanie realizowane jest w oparciu o jeden link (adres www), do którego dostęp ma każdy, kto znajdzie się w jego posiadaniu.

Do głównych zalet ankiety realizowanej na otwartym linki należą:

Natomiast główne ograniczenia takiego rozwiązania to:

Ankieta z tokenami

Token to swojego rodzaju żeton do jednorazowego wykorzystania. W kontekście ankiety, jest to losowy i unikatowy dla każdego respondenta ciąg znaków, który dołączany jest do adresu URL ankiety w momencie jej aktywowania. W momencie, gdy ankieta zostanie zakończona, token zostaje wykorzystany. Z punktu widzenia realizacji ankiety oznacza to, że nie można jej wypełnić drugi raz.

Główne zalety ankiety z tokenami to:

Natomiast podstawowe trudności dotyczące mechanizmu z tokenami to:

Śledzenie realizacji

Ankieteo umożliwia śledzenie stanu realizacji na dowolnym etapie badania. Dotyczy to zarówno globalnych statystyk projektu, takich jak:

jak i wyników ze wszystkich pytań ankiety.

Kontrola jakości

Kontrola jakości danych w systemie Ankieteo przeprowadzana jest na dwóch płaszczyznach:

kontrola PRE
kontrola POST

Edytuj treść

Kontrola na etapie projektowania ankiety, przed rozpoczęciem zbierania danych

W tym etapie weryfikacji jakości danych definiowane są bardzo dokładnie parametry próby (struktura próby) oraz zakres operatu (zbioru, z którego pochodzić będą respondenci). W szczególności, na tym etapie istnieje możliwość wykluczenia nierzetelnych respondentów (np. podejrzanych na podstawie innych projektów).

Istotnym elementem kontroli na tym etapie jest możliwość blokady adresu IP (ograniczenie możliwości wielokrotnego wypełnienia ankiety z tego samego urządzenia lub lokalizacji) lub blokady cookies, czyli przekazania informacji do przeglądarki, że ankieta została już wypełniona.

Bezpiecznym, jednak nie zawsze możliwym (np. z uwagi na ograniczenia czasowe lub budżetowe) rozwiązaniem jest założenie pewnej nadreprezentacji próby (np. 10-15% w stosunku do zakładanej do osiągnięcia liczebności), w celu eliminacji wywiadów o podejrzanie niskiej jakości.

Edytuj treść

Kontrola w trakcie lub po zakończeniu realizacji, zbierania danych

Na tym etapie kontroli jakości analizowane są dane pochodzące bezpośrednio od respondenta lub zapisywane w trakcie jego aktywności podczas wypełniania ankiety.

Jednym z najprostszych sposobów oceny jakości danych jest analiza spontanicznych odpowiedzi respondenta w pytaniach otwartych lub półotwartych. Przykładowo, jeżeli w wypowiedziach respondenta znajdują się wpisy tzw. niemerytoryczne, np. spacje, losowe ciągi znaków (np. asdf), mało znaczące wpisy (np. “ok ok”), wulgaryzmy itp. to istnieje wysokie prawdopodobieństwo, że pozostałe dane w jego ankiecie są również niskiej jakości.

Nieco bardziej złożonym procesem jest analiza spójności lub logiki między odpowiedziami udzielanymi na różne, ale powiązane tematycznie pytania. Przykładowo, jeżeli respondent w wysokim stopniu zgodzi się z różnymi, sprzecznymi ze sobą stwierdzeniami, to istnieje duża szansa, że nie zapoznał się dokładnie z treścią pytania lub odpowiedzi. Szczególnym przypadkiem zastosowania tej techniki są tzw. pytania-pułapki. Zwykle znajdują się one w środku dłuższej baterii pytań o stałej kafeterii (np. pytania na skali Likerta) i są sformułowane wprost “W tym pytaniu zaznacz odpowiedź A”. Jeżeli respondent wypełnia ankietę w sposób automatyczny, przeklikując ją, wówczas istnieje ryzyko, że przeoczy instrukcję w pytaniu-pułapce. Sposobów kontroli w oparciu o kryteria merytoryczne jest bardzo wiele i w zasadzie jedynym ograniczeniem jest tu kreatywność i pomysłowość twórcy ankiety.

Jeżeli system ankietowy zintegrowany jest z panelem badawczym lub inną bazą respondentów, to daje to możliwość wyrafinowanej kontroli, jaką jest analiza spójności danych metryczkowych z danymi podawanymi podczas rejestracji. Przykładowo, mało prawdopodobne jest aby dla tego samego panelisty zmieniła się jego płeć, rok urodzenia, czy pogorszył się poziom wykształcenia. Jeżeli taka sytuacja ma miejsce, istnieje podejrzenie, że respondent próbuje manipulować deklaracjami, aby nieuczciwie osiągnąć cel związany z wypełnieniem ankiety (np. otrzymać wynagrodzenie).

Ostatnim etapem kontroli jakości danych, wykorzystującym wiele niezależnych metod weryfikacji jest tzw. data processing, polegający na indeksowaniu respondentów w oparciu o potrójne kryterium:

Wyzwania dla CAWI

Technika CAWI, podobnie jak pozostałe metody muszą stale ewoluować, aby zaadaptować się do dynamicznie zmieniającej się rzeczywistości. Poniżej przedstawiono kluczowe wyzwania, które stoją w najbliższych czasie przed badaniami online

Problem braku powszechnego dostępu do Internetu w badaniach online

Jak podaje GUS, cyfryzacja w Polsce postępuje – według oficjalnych statytystyk, w 2020 roku dostęp do internetu posiada 90 proc. gospodarstw domowych, podczas gdy w roku ubiegłym było to ok. 86 proc. Nadal jednak istotny wyzwaniem dla CAWI są tzw. białe plamy internetu, czyli regiony, w których większość mieszkańców ma bardzo ograniczony dostęp do sieci lub nie ma go w ogóle. Najczęściej dotyczy to mniejszych miejscowości i terenów wiejskich, szczególnie z gorzej rozwiniętych regionów. Dostęp do stałego i szybkiego internetu w tych lokalizacjach uzależniony jest zarówno od infrastruktury, jak i zasobności mieszkańców pozwalających na korzystanie z urządzeń o odpowiedniej technologii.

Wykluczenie cyfrowe

Im większa powszechność dostępu do internetu, tym większa reprezentatywność badań online w odniesieniu do całej populacji. Jednak stały dostęp do internetu w danym regionie nie oznacza, że wszyscy mieszkańcy będą z niego korzystać w tym samym zakresie. Nawet w regionach o wysokim poziomie cyfryzacji natrafimy na kategorie społeczne tzw. wykluczone cyfrowo. Dotyczy ono przede wszystkim starszych obywateli (pow. 60 roku życia), mieszkańców terenów wiejskich oraz osób o niskim poziomie wykształcenia i życia.

Dla reprezentatywności badań online wyzwaniem jest równie zjawisko odwrotne, czyli nadcyfryzacja niektórych grup respondentów, np. seniorów. Ma ona miejsce w sytuacji, gdy pewna kategoria respondentów posiada bardzo wysokie kompetencje cyfrowe na tle populacji (np. wysoka częstotliwość zakupów online, korzystanie z aplikacji mobilnych ip.). Powoduje to trudność w badaniu tej kategorii respondentów w celu późniejszego wnioskowania o całej populacji, w której poziom cyfryzacji jest relatywnie niski.

Tożsamość respondenta

Brak bezpośredniej interakcji z respondentem często stawia pod znakiem zapytania faktyczną tożsamość respondenta i pewność, że wywiad realizowany jest z odpowiednią osobą. Ten problem był szczególnie często poruszany w okresie badań online techniką RTS (ang. real-time-sampling), w oparciu o otwarte linki. Ceną, jaką badania online płacą za pełną anonimowość respondenta jest brak pełnej informacji o respondencie.

Jednak od momentu pojawienia się realizacji badań CAWI z wykorzystaniem paneli badawczych, problem identyfikacji i weryfikacji respondenta stopniowo znika. Dostępne technologie (kontrola IP, cookies), integracja z innymi systemami (np. portale społecznościowe) oraz system motywacyjny (konieczność weryfikacji za pomocą konta bankowego lub dokumentu tożsamości) pozwalają bardzo istotnie zredukować ryzyko związane z tożsamością respondenta.

Nadal jednak pozostaje wyzwanie w postaci nieograniczonej kreatywności internautów w łamaniu wszelkiego rodzaju zabezpieczeń i metod weryfikacji, co z kolei powoduje konieczność stosowania coraz bardziej złożonych i zaawansowanych metod kontroli jakości danych

Postęp technologiczny

Paradoksalnie, to co stanowi przewagę techniki CAWI nad pozostałymi metodami, czyli korzystanie z nowych technologii, jest jednocześnie dla niej istotnym wyzwaniem. Postęp technologiczny, który dokonuje się we wszystkich dziedzinach naszego życia, powoduje, że zarówno architektura bazy danych całego systemu jak i kod obecny w skryptach ankiet powinien być stale aktualizowany i dostosowany do większości urządzeń, z których korzystają respondenci. Przykładowo, w 2010 roku mało który system ankietowy zastanawiał się nad funkcjonalnościami dedykowanymi dla ankiet mobilnych, podczas gdy dziś niemal co druga ankieta uruchamiana jest na smartfonie. Wybór odpowiedniej technologii oznacza również pewien trade-off i wykluczenie ze sfery badań użytkowników korzystających ze zbyt starych urządzeń, przeglądarek lub systemów operacyjnych.