W swojej dotychczasowej praktyce niemal regularnie spotykam się z różnymi błędami w ankietach. Część tych błędów powtarza się wręcz notorycznie. Nie mam tu na myśli oczywiście błędów typu literówki, ale takie błędy, które stawiają respondentów pod ścianą i zmuszają do odpowiedzi niezgodnych z prawdą. To z kolei stawia pod znakiem zapytania wyniki badania ankietowego i rzetelność ostatecznych wniosków płynących z analizy statystycznej. Dlatego każdą i każdego zachęcam do zapoznania się z listą tych najczęstszych błędów i sprawdzenie swojej ankiety, czy przypadkiem nie zawiera ona któregoś z tych błędów :) Dodam, że wszelkie tutaj przykłady są wzięte wprost z ankiet, z jakimi miałam do czynienia.

1. Niepełne zakresy

Pytania o wiek, okres występowania jakiegoś problemu, staż pracy itd. często zawierają w odpowiedziach przedziały. Niestety bardzo często te przedziały zawierają „dziury” i respondenci albo nie udzielają odpowiedzi, albo wskazują odpowiedź najbliższą im (ale niezgodną z prawdą). Przykład:

Od jak dawna występują u Pani/Pana dolegliwości bólowe kręgosłupa?

• < 1 rok
• 1-5 lat
• > 10 lat

Zupełnie pominięto przypadki osób zmagających się z dolegliwościami bólowymi kręgosłupa przez 6-10 lat.

Inny przykład:

Ile razy w tygodniu wykonujesz aktywność fizyczną trwającą ponad godzinę?

• Mniej niż raz w tygodniu
• Raz w tygodniu
• 2-3 razy w tygodniu
• Powyżej 4 razy w tygodniu

Co z osobami, które są aktywne dokładnie 4 razy w tygodniu? Te osoby niestety zostały pominięte. Często widzę w ankietach, że odpowiedź „Powyżej…” lub „Poniżej…” zawiera w treści kontynuację ostatniego przedziału – tylko, że tutaj mowa o czymś dalszym lub wcześniejszym niż podany, który w efekcie jest pominięty.

2. Odpowiedzi niepasujące do pytania

Pytamy o jedno, a z treści odpowiedzi wynika co innego. Przykład:

Jaka była częstotliwość występowania dolegliwości bólowych po zabiegu?

• W ogóle
• Zaraz po zabiegu
• W ciągu dnia
• W nocy
• W nocy i w dzień

Pytanie dotyczy częstotliwości dolegliwości bólowych, a odpowiedzi mówią o momencie pojawienia się bólu. Jak zatem nazwać zmienną wynikającą z takich danych: częstotliwość występowania bólu czy moment pojawienia się bólu? Respondenci są zmuszeni wskazać moment pojawiania się bólu, choć odpowiadają na pytanie o częstotliwość. Jeśli pytamy o częstotliwość, to odpowiedzi powinny brzmieć np. raz na tydzień, raz na kilka dni, raz dziennie, kilka razy dziennie.

3. Ograniczanie respondenta w precyzyjnym określeniu skali danego zjawiska

Pytamy o nasilenie danego zjawiska lub problemu, wskazując ocenę punktową w skali 0-10 i jednocześnie sami to rozdzielamy na kategorie przedziałowe, nazywając je „po swojemu”, nie dając możliwości precyzyjnego określenia tego przez respondentów. Przykład:

Proszę wskazać natężenie bólu po podaniu środka przeciwbólowego?

• 0 – brak bólu
• 1-3 – ból słaby
• 4-7 – ból silny
• 8-10 – ból bardzo silny

Respondenci, którzy – w swojej ocenie – odczuwają umiarkowany ból i oceniliby go na 5 w skali 0-10 są zmuszeni wskazać odpowiedź mówiącą o silnym bólu. Dodatkowo, osoby odczuwające ból na poziomie 1, 2 i 3 są „wrzucone” do jednej grupy, a osoby odczuwające ból na poziomie 4, 5, 6 i 7 – do drugiej grupy. W efekcie dominują jedna lub dwie grupy, skrajnych przypadków jest niewiele, a to bardzo utrudnia wykorzystanie tych danych do dalszej analizy. Dużo lepiej jest, gdy ankietowani wskazują dokładną wartość natężenia bólu, a my możemy wyliczyć z tego statystyki opisowe (średnią, odchylenie standardowe, medianę itd.) i porównać takie wyniki między różnymi grupami.

4. Niesymetryczny rozrzut ocen / opinii

Pytamy o opinię, ale więcej odpowiedzi skierowanych jest w jednym kierunku (pozytywnym lub negatywnym / potwierdzającym lub zaprzeczającym). Przykład:

Czy uważasz, że szkolenia z zakresu radzenia sobie z agresywnym uczniem są potrzebne?

• Zdecydowanie są potrzebne
• Raczej są potrzebne
• Nie są potrzebne
• Nie mam zdania

W przypadku opinii negatywnych tylko jedna odpowiedź, a w przypadku pozytywnych – dwie. Nawet jeśli coś w naszej ocenie w sposób oczywisty jest pozytywne, nie możemy tego podejścia narzucać ankietowanym i musimy uwzględnić, że oni mogą mieć przeciwne zdanie. Nie możemy odpowiedziami narzucać sposobu oceny przedmiotu, o który pytamy.

Inny przykład:

Czy w Pani/Pana miejscu pracy personel ma zapewnioną pomoc w zakresie wypalenia zawodowego?

• Tak
• Nie
• Raczej nie

Dwie odpowiedzi przeciwległe („Tak” i „Nie”) i jedna umiarkowanie zaprzeczająca. Nie ma odpowiedzi umiarkowanie potwierdzającej. Nie ma też możliwości odpowiedzi typu „Nie wiem” lub „Trudno powiedzieć” – respondenci są zmuszeni wypowiedzieć się na tak lub nie. Jeśli mamy odpowiedzi „Tak” i „Nie”, to nie potrzebne są odpowiedzi „Raczej…”. Jeśli mamy odpowiedzi „Raczej…” to zamiast „Tak” i „Nie” powinniśmy umożliwić respondentom udzielić odpowiedzi zdecydowanej, czyli „Zdecydowanie tak” i „Zdecydowanie nie”.

5. Niepotrzebne dopiski

Pytamy o skalę lub ocenę danego zjawiska, ale dopisujemy w odpowiedziach wyjaśnienia, które niekoniecznie muszą być zgodne z faktem i są narzucane respondentom. Przykład:

Jak pandemia koronawirusa wpłynęła na Twoją aktywność fizyczną?

• Zdecydowanie źle, przestałam/em być aktywna/y fizycznie
• Raczej źle, ograniczyłam/em aktywność fizyczną
• Nie wpłynął, pozostałam/em aktywna/y fizycznie

Respondenci, na których aktywność fizyczną pandemia nie wpłynęła, mają narzucone wyjaśnienie mówiące, że jest to jednoznaczne z pozostaniem aktywną lub aktywnym fizycznie. Nie uwzględniono, jaka była aktywność fizyczna przed pandemią i że brak wpływu mógł być jednoznaczny z pozostaniem nieaktywną lub nieaktywnym fizycznie. Dodatkowo w tak sformułowanych odpowiedziach jest zawarty błąd dotyczący niesymetrycznego rozrzutu odpowiedzi (nie wzięto pod uwagę, że pandemia mogła pozytywnie wpłynąć na aktywność fizyczną, np. osoba nieaktywna fizycznie przed pandemią w trakcie izolacji zaczęła podejmować aktywność fizyczną w domu).

Inny przykład:

Jak często korzystasz z jakichkolwiek form aktywności fizycznej?

• Codziennie
• Codziennie z rzadkimi przerwami
• Kilka razy w tygodniu
• Raz w tygodniu
• Kilka razy w miesiącu
• Rzadko i bardzo nieregularnie
• Nie korzystam wcale

Zbyt szczegółowe odpowiedzi z własnymi dopiskami, które niekoniecznie wpisują się w sytuację respondentów (np. można rzadko korzystać z aktywności fizycznej, ale regularnie).

6. Ograniczona ilość odpowiedzi, nieuwzględniająca wszystkich opcji

Kierujemy pytanie do wszystkich respondentów, nie uwzględniając, że to pytanie może nie dotyczyć wszystkich i nie dajemy możliwości zaznaczenia tego przez respondentów. Przykład:

Jaką aktywność fizyczną uprawiasz?

• Spacer
• Rower
• Pływanie
• Aerobik
• Gra w tenisa ziemnego
• Szybki chód
• Inne

Brak odpowiedzi zaprzeczającej robieniu czegoś w ogóle (np. „Żadna”) lub wskazującej, że pytanie nie dotyczy danej osoby . Ankietowani są zmuszeni nie udzielić informacji, ale ostatecznie nie mamy pewności, czym się kierowali, że nie odpowiedzieli na dane pytanie. Powinnyśmy albo wstawić odpowiedź „Nie dotyczy” / „Nie uprawiam aktywności fizycznej” / „Żadna”, albo w treści pytania zaznaczyć, że kierujemy je wyłącznie do osób aktywnych fizycznie (np. „Jeśli uprawiasz aktywność fizyczną, to jaką?”).

Inny przykład:

Staż cywilny:

• Panna / kawaler
• Mężatka / żonaty
• Rozwiedziona/y

Osoby owdowiałe, żyjące w związku partnerskim nie mają możliwości wskazania zgodnej z prawdą odpowiedzi.

Inny przykład:

Czy istnieje potrzeba postawania hospicjum dla dzieci w Pani/Pana okolicy?

• Zdecydowanie tak
• Zdecydowanie nie
• Nie mam zdania

Narzucono respondentom wyrażenie tylko zdecydowanych opinii i braku zdania. Powinniśmy albo zamiast odpowiedzi „Zdecydowanie tak” i „Zdecydowanie nie” wstawić odpowiedzi „Tak” i „Nie”, albo dodać do odpowiedzi „Zdecydowanie tak” i „Zdecydowanie nie” opcje umiarkowane, tj. „Raczej tak” i „Raczej nie”.

7. Kierowanie pytania niby do części respondentów, a jednak do wszystkich

Pytanie zaczynamy od „Jeśli…” i w tym momencie respondent, który nie spełnia tego warunku, powinien przejść do kolejnego pytania. A jednak w ostatniej chwili w odpowiedziach zawieramy odpowiedź dla osób, których pytanie nie dotyczy. Respondent może pogubić się i nie wiedzieć w końcu, czy ma odpowiadać na to pytanie, czy nie. Przykład:

Jeśli korzystałaś/eś z rehabilitacji, to jakie zabiegi zostały u Ciebie wykonane?

• Masaż leczniczy
• Naświetlanie
• Kinezyterapia
• Ultradźwięki
• Leczenie ciepłem
• Inne
• Nie korzystałam/em z rehabilitacji

Po treści pytania sugerowano, że jest ono skierowane tylko do osób korzystających z rehabilitacji, natomiast w odpowiedziach zawarto opcję „Nie korzystałam/em z rehabilitacji”. Zaczynanie pytania od „Jeśli…” powinno wykluczać część respondentów z obowiązku udzielenia odpowiedzi na to pytanie. Natomiast jeśli chcemy pozostawić odpowiedź „Nie korzystałam/em z rehabilitacji” nie powinniśmy zaczynać pytania od „Jeśli…”, ale wprost zapytać np. „Jakie zabiegi rehabilitacyjne zostały u Ciebie wykonane?” – tak, aby respondenci nie gubili się w tym, czy mają odpowiadać na dane pytanie, czy nie.

Inny przykład:

Czy przyjmuje Pan/i jakieś leki przepisane przez lekarza specjalistę?

• Tak
• Nie

Czy regularnie zażywa Pan/i leki przepisane przez lekarza specjalistę?

• Tak
• Nie

To w zasadzie odwrotna sytuacja – pytanie niby do wszystkich, a jednak do konkretnej grupy. W pierwszym pytaniu respondenci muszą odpowiedzieć, czy przyjmują / zażywają leki; w drugim – dotyczącym również wszystkich, bez względu na zażywanie – zapytano o regularność zażywania. Drugie pytanie powinno być jasno skierowane do osób, które odpowiedziały twierdząco na pierwsze pytanie (a więc zaczynać się od np. „Jeśli na poprzednie pytanie odpowiedział/a Pan/i twierdząco, …”) lub zawierać odpowiedź typu „nie dotyczy / nie zażywam”. Inaczej respondenci, którzy nie przyjmują żadnych leków przepisanych przez lekarza specjalistę, wskazują, że zażywają te leki nieregularnie… Co oczywiście nie jest zgodne z prawdą.

8. Pokrywające się odpowiedzi

Błąd ten najczęściej dotyczy przedziałów, ale nie tylko. Odpowiedzi są tak sformułowane, że jedna drugiej nie wyklucza. Respondent ma problem, bo nie wie, którą odpowiedź zaznaczyć, a powinno to być oczywiste dla niego. Tymczasem przez nakładające się odpowiedzi respondenci będący w różnej sytuacji mogą trafić do tej samej grupy lub będący w tej samej sytuacji – do różnych grup (z powodu przypadkowych decyzji co do wyboru odpowiedzi). Przykład:

Ilu współpracowników liczy Pani/Pana zespół?

• Do 10 osób
• Do 20 osób
• Powyżej 20 osób

Osoby, których zespół liczy 5 osób, to przypadek zarówno do 10 osób, jak i do 20 osób (w jednym i drugim przypadku 5 osób to mniej niż 10 i 20 osób). Przedziały powinny być jednoznacznie rozdzielone (np. 2-10 osób; 11-20 osób, powyżej 20 osób), tak by nie było żadnych wątpliwości przy wskazywaniu odpowiedzi.

Inny przykład:

Czy korzystasz z profesjonalnych zabiegów kosmetycznych?

• Tak
• Nie
• Kilka razy w miesiącu
• Kilka razy w roku

Osoby, które korzystają z zabiegów kosmetycznych kilka razy w miesiącu mogą wskazać albo odpowiedź „Kilka razy w miesiącu”, albo „Tak” (jedno drugiego nie wyklucza). Ponadto, należy zdecydować, czy pytamy o fakt korzystania z czegoś w ogóle, czy o jego częstotliwość (jeśli o częstotliwość, to wszystkie odpowiedzi powinny dotyczyć częstotliwości, a nie zawierać opcji „Tak” i „Nie”).

Inny przykład:

Jak długo przebywa Pan/i na oddziale?

• Do miesiąca
• Od 1 do 2 miesięcy
• Od 2 do 4 miesięcy
• 6 miesięcy i więcej

Respondenci przebywający na oddziale przez 2 miesiące mieli dwie opcje odpowiedzi (powinno być zaznaczone wyraźnie, że chodzi o okres do 2 miesięcy wyłącznie), a osoby z 5-miesięcznym okresem pobytu nie miały co wskazywać.

9. Wszystkie odpowiedzi prawidłowe w teście wiedzy

Wiele badań ankietowych ma na celu ocenę poziomu wiedzy respondentów na wybrany temat, a ankieta zawiera test wiedzy. Niestety często w pytaniach sprawdzających wiedzę wszystkie odpowiedzi są prawidłowe, przez respondent nie ma możliwości przyznania się do braku wiedzy (nie ma opcji „nie wiem”) i jakąkolwiek odpowiedź wskaże („strzelając”) będzie ona prawidłowa i podniesie wynik testu wiedzy takiej osoby (mimo, że nie miała ona wiedzy na dany temat). Najbardziej skrajnym przypadkiem jest pytanie jednokrotnego wyboru z wszystkimi prawidłowymi odpowiedziami, gdzie respondent, który ma wiedzę, nie może zaznaczyć wszystkich prawidłowych odpowiedzi i jest ograniczony do wskazania tylko jednej.

Przykład:

Jakie są uwarunkowania uzależnienia od alkoholu?

• Psychologiczne
• Biologiczne
• Społeczne

Którąkolwiek odpowiedź respondent zaznaczy, będzie ona prawidłowa. Nie dowiemy się zatem, czy respondent na pewno miał wiedzę, czy może „strzelał”. Respondent nie ma też możliwości, mimo najszczerszych chęci, przyznania się, że nie zna odpowiedzi na to pytanie. Formułując pytania testowe zawsze powinniśmy wstawić – obok prawidłowych – odpowiedzi podchwytliwe, błędne, których zaznaczenie zdradzi, że respondent nie miał pełnej wiedzy na dany temat. Dobrze jest też dodać odpowiedź pozwalającą respondentowi wprost przyznać, że nie ma wiedzy (czyli po prostu „nie wiem”). Podsumowując, jeśli pytanie testowe jest jednokrotnego wyboru, to tylko jedna odpowiedź powinna być prawidłowa; jeśli wielokrotnego wyboru – więcej odpowiedzi powinno być prawidłowych, ale należy zawrzeć też błędne odpowiedzi.