W socjologicznych badaniach ilościowych najważniejsze analizowane konstrukty takie jak zaufanie, wartości, postawy (np. wobec migrantów, zmian klimatycznych, zdrowia publicznego, wojny itp.) mierzy się najczęściej używając skal szacunkowych (np. typu Likerta), w których twierdzenia są oceniane przez respondentów poprzez wskazanie kategorii odpowiedzi opisującej intensywność zgody lub niezgody z danym twierdzeniem. Nie ma jednak konsensusu co do tego, jakiego rodzaju skale szacunkowe najlepiej wykorzystywać w kwestionariuszach.

Dla przykładu, uogólnione zaufanie społeczne zwykle mierzy się pytaniem, “czy generalnie rzecz biorąc ludziom można ufać”?. Różne ośrodki badawcze zbierają odpowiedzi na takie pytanie używając skal o różnej długości: Gallup i Canadian General Social Survey używają skali zero-jeden, UK community Life Survey wykorzystuje cztery kategorie odpowiedzi, Australian General Social Survey pięć, World Values Survey dziesięć, a European Social Survey aż jedenaście.

Celem naszych badań jest stwierdzenie, czy wykorzystanie w kwestionariuszach różnych skal odpowiedzi ma wpływ na wyniki uzyskiwane w odniesieniu do substancjalnych pytań badawczych. Aby odpowiedzieć na to pytanie przedstawimy wyniki eksperymentu metodologicznego, w którym grupie 2246 respondentów zadaliśmy serię pytań sondażowych na temat zaufania społecznego, szczepień, samooceny umiejętności czytania, stosunku do czytanych tekstów oraz opinii dotyczących emigracji. Respondentów losowo przydzieliliśmy do grup, w których użyliśmy skal odpowiedzi o różnych długościach: 3-, 4-, 5-, 6-, 7-, 10- i 11-punktowej, a także tzw. suwak (ang. slider). W skalach o największej liczbie kategorii odpowiedzi manipulowano również użyciem etykiet kategorii – w jednej wersji były one przypisane do wszystkich kategorii, a w drugiej tylko do kategorii skrajnych.

Na wszystkich grupach przeprowadzamy serię analiz statystycznych i pokazujemy różnice w wynikach procedury wnioskowania statystycznego przy weryfikacji hipotez związanych z badanymi zmiennymi. W analizach wykorzystujemy zarówno proste sumaryczne wskaźniki, jak i wskaźniki oparte na modelach cech ukrytych, pokazując, jak bardzo odpowiedzi na substancjalne pytania zależą od, czasami nieświadomie podejmowanych, decyzji metodologicznych.