Analiza Ankiet

Analiza Ankiet

1. Jak zaprojektować ankietę

Przed przystąpieniem do tworzenia ankiety ważne jest, aby zastanowić się nad jej celem. Wspólne cele obejmują:

- Opracowywanie badań rynku

- Zwracanie się z prośbą o informacje zwrotne

- Monitorowanie skuteczności działania

Zapisz konkretną wiedzę, którą chciałbyś uzyskać z ankiety, wraz z kilkoma prostymi pytaniami, które Twoim zdaniem mogą odpowiedzieć na Twoje hipotezy (w tym zestaw możliwych odpowiedzi).

 Obok odpowiedzi, zapisz odsetek odpowiedzi, których oczekiwałbyś w każdym wiaderku porównując przyszłe wyniki z tymi zgadywanymi, ujawni, gdzie Twoja intuicja jest silna, a gdzie istnieją ślepe zaułki.

 Ten proces wstępnego badania pomoże Ci również w syntezie ważnych aspektów badania i poprowadzi Cię przez proces projektowania. Pamiętaj: Wraz z rozszerzaniem się zakresu badania, coraz mniej osób będzie prawdopodobnie odpowiadać na ankietę, co utrudni zainteresowanym stronom działanie w oparciu o wyniki. Prostota jest prawdopodobnie najważniejszą i najbardziej niedocenianą cechą projektu badania.

2. Najlepsze pytania w ankiecie i style odpowiedzi

Sposób, w jaki ustrukturyzujesz pytania i odpowiedzi, określi granice analizy, które są dostępne dla Ciebie podczas podsumowywania wyników. Ograniczenia te mogą sprawić, że Twoja zdolność do uzyskania wglądu w kluczowe pytania może zostać przerwana lub przerwana. Dlatego ważne jest, aby zastanowić się nad tym, w jaki sposób można podsumować odpowiedzi na pytania podczas ich opracowywania, a nie później.

Istnieją cztery główne style pytań i odpowiedzi, a zatem cztery główne typy danych odpowiedzi:

- Kategoria - nieuporządkowane etykiety, takie jak kolory lub nazwy marek; znane również jako "nominalne

- Zwykłe - Skale Likerta takie jak "zdecydowanie nie zgadzają się na zdecydowane zgadzanie się" lub "nigdy nie zgadzają się często".

- Przedziały czasowe - zakresy takie jak "liczba pracowników

- Stosunek - liczby jak cale deszczu

Aplikacje ankietowe zapewniają szeroki zakres narzędzi do zbierania danych, ale każdy typ danych mieści się w co najmniej jednym z tych czterech wiader.

Dane na skali kategorialnej (nominalnej)

Typ danych kategorialnych wykorzystuje określone nazwy lub etykiety jako możliwy zestaw odpowiedzi. Na przykład:

Co Ci się podoba (najbardziej / najmniej) w naszym produkcie?

- Szybka obsługa klienta

- Łatwość użytkowania

- Jakość

- Ilość

Dane kategoryczne nazywane są czasami danymi "nominalnymi" i są popularną metodą zadawania pytań ankietowych. Dane kategorii są najprostszym rodzajem danych do analizy, ponieważ ograniczają się do obliczenia udziału odpowiedzi w każdej kategorii. Zbieraj, licz, dziel, dziel i gotowe.

Jednak dane kategoryczne nie mogą odpowiedzieć na pytania typu "Ile?", takie jak "Ile cenisz szybkość obsługi klienta".

Jeśli nie jesteś pewien, które wymiary są ważne (np. obsługa klienta, łatwość obsługi itp.), zacznij od pytania kategorycznego - są one bardziej zwarte niż inne typy pytań i mogą pomóc w koncentracji ankiety. Następnie, w ankiecie uzupełniającej, można zapytać "Ile? Lepiej jest wysłać kilka rund ulepszania ankiet niż wielką eksplozję, która nie trafia w sedno sprawy.

Pobieranie próbek jest Twoim przyjacielem. Zastanów się, czy nie podzielić swojej grupy próbkowania, abyś mógł wysyłać wiele kolejnych ankiet, gdy dowiesz się więcej o swoich respondentach.

Zwykłe dane

Kiedy już zidentyfikujesz kategorie ważności, zadawanie pytań w stylu porządkowym może pomóc Ci ocenić, że pytanie typu "Ile? Zwykły typ odpowiedzi przedstawia odpowiedzi, które mają sens jako porządek.

Nigdy Rzadko Zdarza się, że często Zawsze

Zdecydowanie nie zgadzam się Zdecydowanie nie zgadzam się Zdecydowanie zgadzam się Zdecydowanie zgadzam się

Nieco ważne Nieco ważne Neutralne Ważne Bardzo ważne

Jeśli się zastanawiasz, porządek może mieć znaczenie! Naukowcy z Instytutu Badań Społecznych Uniwersytetu Michigan stwierdzili, że kolejność, w jakiej takie odpowiedzi były czytane respondentom, determinuje ich odpowiedzi.

Jeśli jest to możliwe, losowo obróć kolejność odpowiedzi na pytania porządkowe dla każdego uczestnika. Upewnij się jednak, że porządek jest spójny przez cały czas trwania badania, w przeciwnym razie możesz zmylić respondentów i zebrać dane, które nie reprezentują ich prawdziwych uczuć.

Alternatywnie można osiągnąć ten sam efekt, dzieląc losowo respondentów na dwie grupy i administrując dwoma badaniami: jedną w kolejności pytań płynących od lewej do prawej, a drugą od prawej do lewej.

Dane interwałowe

Dane muszą spełniać dwa wymogi, aby mogły być nazywane "interwałem": muszą być uporządkowane, a odległość między wartościami musi być znacząca.

Na przykład, z góry określony zestaw dochodów, takich jak "20zł, 30zł, 40zł pasuje do modelu danych interwałowych. Innym przykładem może być: "1-50 pracowników, 51-100 pracowników, 100-150 pracowników

Dane interwałowe są przydatne do zbierania danych segmentacyjnych (to znaczy, że są przydatne do kategoryzowania innych pytań). Na przykład, możesz chcieć zadać kolejne pytanie na temat planów respondenta dotyczących zakupu określonego produktu - możesz podzielić to pytanie na segmenty w oparciu o ich odpowiedzi na poprzednie pytanie w stylu interwałowym.

Jeśli to możliwe, najlepiej jest używać jednakowych rozmiarów interwałów. Pozwoli to na przejrzystość wizualizacji podczas podsumowywania wyników, a także pozwoli na wykorzystanie średnich. Jeśli odstępy czasu nie są równej wielkości, należy traktować te dane jako dane kategoryczne.

Pozwól na odpowiedzi neutralne i braki danych (nie wiem)

Trudno jest objąć wszystkie możliwe sposoby, na jakie dana osoba może czuć się w związku z pytaniem. Kiedy zmusza się respondenta do udzielenia odpowiedzi, może on zatruć Twoje dane nieresponsorowanymi odpowiedziami, maskując je jako prawdziwe odpowiedzi. Na początku może się wydawać, że niepożądane może wydawać się wypuszczanie respondentów z haka, ale może to poprawić jakość Twoich danych.

Unikanie pytań złożonych

Gdybym zapytał:

W skali od 1-100 stopni następujące stwierdzenie(a): Bloger pomaga mi w zrozumieniu przedmiotu STATYSTYKA.

Będziesz zmuszony do udzielenia jednej odpowiedzi odzwierciedlającej uczucia dotyczące Bloger i jego bloga. Czasami nazywane jest to "podwójnym pytaniem beczkowatym" i może spowodować, że respondenci będą wybierać temat, który ich zdaniem jest najsilniej związany. Takie przypadki mogą prowadzić do błędnej interpretacji wyników. Może się również zdarzyć, że respondenci będą mieli odmienne poglądy na oba tematy. W takim przypadku na pewno zbierzesz mylące wyniki.

Podziel pytania takie jak te na wiele pytań. Pamiętaj: Zadawane pytania powinny być jak najkrótsze i jak najbardziej bezpośrednie.

Używaj prostego języka

Spryt, humor i żargon biznesowy mogą dezorientować respondentów, zwłaszcza jeśli powoduje, że źle interpretują zadawane pytanie. Celowo lub nie, mamy tendencję do pisania pytań, wykorzystując siebie i nasze doświadczenia kulturowe jako punkt odniesienia, co może prowadzić do źle sformułowanej kopii, która może wprowadzać ludzi w błąd. Użycie prostego języka może zmniejszyć ryzyko, że zbierane dane nie odzwierciedlają znaczenia respondenta.

Przypadkowe odpowiedzi

Załóżmy, że chcesz zapytać, które z trzech produktów najbardziej cenią Twoi użytkownicy (po upewnieniu się, że zawierają „nie wiem” , „nie dotyczy” i "żaden"!). Często respondenci wybierają pierwszą odpowiedź po prostu dlatego, że jest ona najłatwiejsza i najbardziej dostępna. Przypadkowość w przypadku odpowiedzi kategorycznych może pomóc w uniknięciu tego błędu.

Uważaj jednak: jeśli Twoje pytanie wymaga uporządkowanej odpowiedzi (np. od Silnie nie zgadzam się do Silnie się zgadzam), powinieneś zachować porządek odpowiedzi spójny w całym badaniu, aby uniknąć nieporozumień.

4. Jak wybrać respondentów do ankiety

Większość badań jest wysyłana do małego podzbioru większej populacji. Używanie takich próbek do sporządzania ogólnych stwierdzeń na temat populacji nazywane jest wnioskami. Statystyki opisowe to stwierdzenia dotyczące tylko próby; statystyki infekcyjne to stwierdzenia dotyczące populacji wykorzystującej próbę.

Warto zauważyć, że statystyki z badaniami są trudne i powszechnie niemożliwe, nawet dla ekspertów. Czasami po prostu nie można uogólnić próby do populacji w wiarygodny sposób - utknęłaś w martwym punkcie wygłaszając oświadczenia o ludziach, którzy rzeczywiście wypełnili ankietę.

W większości przypadków można to kredować aż do błędu w próbkowaniu: gdy próba nie odzwierciedla populacji, którą jesteś zainteresowany. Unikanie błędów w próbkowaniu jest szczególnie ważne, jeśli zamierzasz analizować wyniki według segmentów.

Przesłanie jest jasne: Jeśli respondenci nie zgadzają się z populacją, o której chcesz się wypowiedzieć, statystyki badania mogą być mylące. Co więc możesz zrobić?

Jeśli wysyłasz ankietę e-mailem, zastanów się, w jaki sposób respondenci pocztą elektroniczną mogą różnić się od populacji, o której chcesz złożyć oświadczenie.

Pamiętaj, że respondenci ankiety wysyłanej pocztą elektroniczną mogą nie być reprezentatywni dla tych, którzy korzystają z Twojej strony internetowej. Przeciwnie jest też prawdą: jeśli umieścisz ankietę na swojej stronie internetowej, próba może nie odzwierciedlać tych, którzy współdziałają z Twoją organizacją za pomocą innych metod.

Aby temu przeciwdziałać, spróbuj zarządzać tym samym badaniem za pośrednictwem każdego z kanałów, które Twoja organizacja wykorzystuje do interakcji z klientami (e-mail, strona internetowa, telefon, in-person, itp.).

Jeśli możesz korzystać tylko z jednego trybu, dokładnie zastanów się, czy tryb ten jest związany z segmentami, które chciałbyś przeanalizować (np. czy jest bardziej prawdopodobne, że powtarzający się klienci odpowiedzą?). Celem jest zastosowanie trybu, który daje proporcje segmentów reprezentatywne dla całej populacji. Może to oznaczać, że powinieneś rozdystrybuować ankietę poprzez różne kanały.

5. Jak obliczyć liczebność próby?

Krótka odpowiedź brzmi: ile osób osiąga użyteczny poziom zmienności odpowiedzi. Odpowiednią ilość można znaleźć, podając kolejne badania i obliczając odchylenie standardowe.

Dane kategorialne

Obliczyć całkowitą liczbę odpowiedzi, a następnie podzielić liczbę w każdej kategorii przez liczbę całkowitą. Są one nazywane statystyką częstotliwości względnej. Wiele osób nazywa je po prostu procentami lub udziałami, ale ważnym aspektem jest to, że suma powinna wynosić 100%.

Dane kategorii mogą być bardziej użyteczne poprzez grupowanie wyników według segmentów klientów. Na przykład, możesz chcieć wiedzieć, czy nowi klienci odpowiadali inaczej niż klienci długoterminowi. Inne popularne kategorie to

- Segmenty produktów takie jak "low-end", "mid-level" i "high-end".

- Segmenty geograficzne, takie jak kody pocztowe, okręg lub kraj

- Nowy klient a klienci o ugruntowanej pozycji na rynku

Ważne jest, aby dokładnie przemyśleć, które kategorie będą prawdopodobnie najbardziej znaczące dla Twojej organizacji. Najgorsze, co możesz zrobić, to ślepo wybrać kategorie, które nie mają znaczenia dla Twojej firmy. Grupy wiekowe i zróżnicowanie ze względu na płeć są powszechnie postrzegane jako segmentacje rynku, ale co właściwie zrobisz z tą informacją?

Po skategoryzowaniu według grup, zrób tabelę lub wykres, aby zgłosić dane. Na przykład, tabela awaryjna (zwana również tabelą krzyżową lub krzyżową) - która jest matrycą odpowiedzi zlicza lub akcje z jednym segmentem o strukturze wierszy i kolumn - może być bardzo przydatna.

Tabela sytuacji wyjątkowych

Tabela ta podsumowuje fikcyjny zestaw 100 odpowiedzi. Po pierwsze, podzieliłem ankiety na dwie grupy, które stają się rzędami tabeli awaryjności: tych, którzy byli nowymi klientami oraz tych, którzy byli klientami o ustalonej pozycji. Grupy te wzajemnie się wykluczają (nie nakładają) i są wyczerpujące (suma do 100%).

Następnie liczę liczbę odpowiedzi w odpowiedzi na pytanie: Co najbardziej lubisz w naszym produkcie? Na koniec podzielam każde liczenie w każdej komórce przez całkowitą liczbę odpowiedzi na to pytanie (w tym obie grupy).

(Ogółem / udział) Szybka reakcja klienta Łatwość użycia Ilość Ogółem

Nowy klient 37% (28/75) 43% (32/75) 12% (9/75) 8% (6/75) 75% (75)

Klienci szacunkowi 8% (2/25) 32% (8/25) 24% (6/25) 36% (9/25) 25% (25)

Ogółem 30% (30) 40% (40) 16% (16) 14% (14) 100% (100)

Tabele sytuacji kryzysowych pokazują, w jaki sposób odpowiedzi różnią się w poszczególnych kategoriach. Co ciekawe w tym fikcyjnym zestawie danych jest to, że nowi klienci najbardziej lubią szybką obsługę klienta, 4,6 razy szybciej niż dotychczasowi klienci (37% / 8%). Również klienci o ugruntowanej pozycji na rynku wybierali jakość i ilość, ponieważ najbardziej lubiane cechy 2- i 4,5-krotnie częściej niż nowi klienci wybierali te same cechy, odpowiednio.

Dane porządkowe

Zwykłe pytania są bardzo popularne, ale wiele osób popełnia krytyczny błąd, jeśli chodzi o analizę danych, które wytwarzają. Najgorszą rzeczą, jaką możesz zrobić, jest konwersja odpowiedzi na liczby, a następnie obliczenie średniej z tych liczb. Powodem jest to, że średnia arytmetyczna (najbardziej powszechny typ średniej, a jest ich wiele) jak (1 + 2 + 3 + 4 +5) / 5 = 3 oznacza, że istnieje jakaś miara odległości pomiędzy wartościami.

Nie ma jednak sensu twierdzić, że uczucie neutralności jest trzy razy większe od poczucia silnej różnicy zdań lub że uczucie, że coś jest ważne, jest dwa razy większe od poczucia, że coś jest nieco ważne. Są to proste wskazówki, że zamiana zwykłych etykiet na liczby może spowodować mylące rezultaty.

Zamiast tego, najlepszą rzeczą do zrobienia jest stworzenie prostej tabeli częstotliwości względnych lub tabeli awaryjnej, jak te pokazane powyżej dla danych kategorycznych.

Jak źle może się to naprawdę źle potoczyć? Cóż, zastanów się nad kontrowersyjnym pytaniem, w którym większość ludzi jest w silnym sporze lub w silnym porozumieniu. W takim przypadku średnia wskazywałaby, że dane są skoncentrowane w kategorii neutralnej. To ekstremalny przykład, ale to samo może się zdarzyć, jeśli największe wiadra są, powiedzmy, "neutralne" i "bardzo ważne". Przypuśćmy, że odpowiedzi były podobne:

Nie rób tego:

Nieważne (1) Nieco ważne (2) Neutralne (3) Ważne (4) Bardzo ważne (5) Średnia

1 x 3 = 3 2 x 60 = 120 3 x 5 = 15 4 x 2 = 8 5 x 30 = 150 2,96

3% 60% 5% 2% 30%       

Średnia 2,96 zdawałoby się sugerować, że respondenci czuli się neutralni, podczas gdy w rzeczywistości większość uważała, że temat jest "nieco ważny" (60%), a inna duża grupa (30%) uważała, że temat jest "bardzo ważny". W tym kontekście nawet etykieta "neutralny" czuje się nie na miejscu.

Zamiast tego należy pozostawić dane w postaci tabeli częstotliwości i pozwolić użytkownikowi końcowemu bezpośrednio zobaczyć rozkład wyników. Unikaj wpływania na interesariuszy poprzez pokazywanie średniej. Ludzie kochają średnie i mają tendencję do koncentrowania się na nich zamiast na prawdziwej historii. Celowo unikaj średnich i zamiast tego opisuj dane.

Zrób to w tym celu:

Nieco ważne Nieco ważne Ważne Neutralne Ważne Bardzo ważne

3% (3) 60% (60) 5% (5) 2% (2) 30% (30)

Większość respondentów uważała, że temat jest tylko nieco ważny, ale inna duża grupa uważała, że temat jest bardzo ważny. Istnieją tu dwie główne grupy klientów - powinniśmy spróbować określić, czym mogą być te segmenty. Mogłoby to pozwolić nam skoncentrować zasoby na tych, którzy uważają, że temat jest ważny i uniknąć marnotrawstwa pieniędzy.

Jak wykreślić zwykłą skalę danych

Rozbieżne wykresy słupkowe to świetny sposób na wizualizację danych porządkowych. Elementem wyróżniającym jest wspólna linia bazowa, która pozwala oko bardzo szybko zmierzyć długość każdego paska. Wykresy te są świetne do porównań między segmentami. Spójrzmy na publiczny zestaw danych na przykład wykres.

Dane interwałowe

Użytecznym i bezpiecznym sposobem podsumowywania danych interwałowych jest podsumowanie ich w taki sposób, jakby były to dane porządkowe.

Sumowanie danych dotyczących interwałów ze średnimi i odchyleniami standardowymi (patrz rozdział "Dane dotyczące stosunku" poniżej dla przewodnika) jest możliwe, ale tylko wtedy, gdy odległość między interwałami jest równa. Na przykład, pytania takie jak "w skali 1-10" z odpowiedziami 1, 2, ..... 9, 10. są zazwyczaj uważane za równe odstępy czasu. Istnieje jednak pewna kontrowersja co do tego.

Ludzie mają tendencję do unikania skrajności, więc może nie być prawdą stwierdzenie, że przedział 5-6 jest 11 razy większy od odpowiedzi 0-1. Pomyśl o miarach bólu, na przykład: czy odległość od 5-6 jest taka sama jak 0-1 czy 9-10? Nie obstawiam się.

Moją sugestią jest traktowanie danych dotyczących interwałów jako danych porządkowych, jeśli interwały są równe, w przeciwnym razie należy traktować je jako dane nominalne, a do podsumowania należy użyć tabeli awaryjnej.

Współczynniki (Dane)

Jest jedna duża zaleta korzystania z danych współczynników: są one wystarczająco bogate, aby obsługiwać średnie. Tak jak poprzednio, dla naszych celów tutaj, kiedy mówię "średnia" odnoszę się konkretnie do popularnej średniej arytmetycznej, na przykład (1 + 2) / 2 = 1,5.

To doskonale się sprawdza, gdy weźmiemy zestaw danych wskaźnikowych i obliczymy średnią arytmetyczną.

Średnie dają Ci, geodeta, miarę tego, gdzie dane są wyśrodkowane. Są one również przydatne do pomiaru rozpiętości odpowiedzi, zwłaszcza przy użyciu statystyk odchylenia standardowego. Intuicyjnie można go traktować jako średnią odległość od środka danych. Obliczenie odchylenia standardowego wymaga dwuetapowego procesu.

1.           Obliczyć statystykę wariancji

2.           Weźmy pierwiastek kwadratowy z wariancji statystyki

Statystyka wariancji jest definiowana jako: SUM( [każda wartość - średnia]^2 ) / N - 1

7. Analiza ankiet. Jak interpretować wyniki badania

Skoncentrowanie się na wysokich punktach

Wizualizacja danych jest jednym z najważniejszych działań, które prowadzę w Zapierze. To moja pasja, ponieważ wykresy mogą wywołać szeroką gamę reakcji emocjonalnych. Ludzie mają bardzo różne reakcje na dane w zależności od tego, jak są one uchwycone, więc ważne jest, aby być przemyślanym podczas tworzenia wizualizacji.

Znając wyzwania związane z pomiarem, prowadzę moich współpracowników w Zapier, aby skupili się na trendach i nie czytali zbyt wiele na temat małych różnic w danych. Łatwo jest stracić cały obraz, gdy patrzę na statystyki i wykresy, więc ważne jest, aby pamiętać, że w przypadku każdej metody istnieje jakiś błąd.

Nie przegap lasu przez drzewa; interpretując wyniki, zacznij od największych różnic, a nie od najbardziej niezwykłych. Jeśli zauważysz nietypowy wynik, bądź sceptyczny i sprawdź, czy wynik można powtórzyć w innym badaniu.

Zbierz kilka badań bazowych przed wprowadzeniem dużych zmian.

Jeśli jest to praktyczne, spróbuj powtórzyć i podsumować ankiety kilka razy przed dokonaniem dużej zmiany produktu lub firmy. Dowiedz się, co jest normalne i jak wiele odpowiedzi różni się od ankiety od ankiety. Możliwe jest wpadnięcie w pułapkę hałasu gonitwy (błąd próbkowania) i efektów, które nie są powtarzalne. Replikacja (powtarzane badania) jest najlepszym sposobem, aby dowiedzieć się, co reprezentuje sygnał i co reprezentuje statystyczny hałas.

Powtarzając tę samą ankietę, możesz zauważyć, że odpowiedzi różnią się dziko dla tego samego q

Podsumowanie

Badania i sondaże są bardzo skutecznym narzędziem gromadzenia informacji zwrotnych od klientów i zmniejszania niepewności co do ważnych decyzji. Zapisując cel ankiety i hipotezy z góry, będziesz w stanie dowiedzieć się, gdzie Twoja intuicja jest silna i znaleźć organizacyjne martwe pola.

Ankieta jest trudna, a uprzedzenia mogą pojawić się w wyniku słabego dostarczenia ankiety i słabego projektowania pytań. Ważne jest, aby zastanowić się, który typ danych będzie najbardziej przydatny do odpowiedzi na zadawane pytania. Ankiety ukierunkowane są najbardziej prawdopodobne, że przyniosą wymierne rezultaty.

Zamiast wysyłać jedną masywną ankietę, iterujcie na zestawie instrumentów badawczych, próbując trochę populacji w miarę jak się wybieracie. Proces ten polega w równym stopniu na znalezieniu właściwych pytań, jak i na znalezieniu odpowiednich odpowiedzi.

Kiedy poczujesz się pewnie przy projektowaniu, wyślij jedną dużą ankietę końcową. Pamiętaj, że najlepiej zaprojektowana ankieta na świecie jest bezużyteczna, jeśli jej wyniki nie są skutecznie przekazywane zainteresowanym stronom. Nie nadużywaj danych kategorycznych lub porządkowych poprzez przyjmowanie średnich, podsumowuj je według częstotliwości względnych. Nie bombardować czytelników ogromnymi tabelami, które są niemożliwe do strawienia trochę czasu i stworzyć rozbieżne wykresy słupkowe. Jeśli używasz danych interwałowych, pamiętaj o ich przydatności do segmentacji i nie oszukuj czytelników, wizualizując nierówne interwały.

Wreszcie, ankiety nie są miejscem, aby uzyskać fantazję. Zachowaj to proste, a przekonasz się, że bez względu na wyniki nauczysz się czegoś pożytecznego!

Tagi