Metody ilościowe: nowe wyzwania i nowe techniki badań socjologicznych
Grupa tematyczna
Numer: G37
Organizacja: Henryk Domański (IFiS PAN), Piotr Jabkowski (UAM)
Pasmo, godzina:
I 15.09, 14:00-15:30
,
II 15.09, 16:00-17:30
Miejsce: SGGW, BUD. 7, Sala 20
Słowa kluczowe: badania terenowe, interpretacje wyników badań, jakość pomiaru, procedury analizy danych, techniki pomiarowe
Narastająca liczba i pogłębiająca się różnorodność badań socjologicznych (zarówno akademickich, jak również tych prowadzonych w sektorze komercyjnym) skłaniają do podejmowania metodologicznej refleksji nad jakością tych badań oraz do prowadzenia studiów nad konsekwencjami wynikającymi z wdrażania różnych procedur terenowych w ramach realizacji procesu badawczego. Refleksja nad jakością realizacji badań socjologicznych o charakterze ilościowym nabiera szczególnego znaczenia w kontekście trwającej od końca 2019 roku pandemii COVID-19, kiedy to wypracowane przez wiele lat i uznawane za najlepsze procedury realizacji badań terenowych musiały ulec rewizji wobec ograniczeń pandemicznych i związanych z tym wyzwań organizacyjnych.
Uzasadnia to rozpatrzenie tych kwestii w ramach grupy Zjazdowej. Proponujemy, aby rozpatrywane problemy koncentrowały się wokół różnych aspektów dotyczących doskonalenia metodologii pomiaru i obejmowały zarówno etap przygotowania i realizacji badań terenowych, jak również opracowania danych wynikowych:
- Techniki badawcze wobec zmieniającej się rzeczywistości społecznej – wykorzystanie nowoczesnych technologii w procesie gromadzenia danych – techniki wspomagane komputerowo. Rola nowych technik jako odpowiedź na trudności wynikające z ograniczeń pandemicznych.
- Problemy i wyzwania w badaniach sondażowych – jak pozyskiwać respondentów i zwiększyć poziom realizowalności próby, panele internetowe, konwertowanie odmów, stosowanie gratyfikacji, wykorzystanie „mieszanych” technik realizacji wywiadu, itp.
- Efekt skal pomiarowych, konstrukcji kwestionariusza, rozumienia przez badanych zadawanych pytań oraz mechanizmy udzielania odpowiedzi na zadawane pytania.
- Błędy pomiaru w badaniach sondażowych – wartość uzyskiwanych danych.
- Efekty ankieterskie oraz znaczeniowy aspekt sytuacji wywiadu.
- Opracowanie danych – wybór technik „ważenia”.
- Procedury i techniki analityczne – prezentacja wybranych technik analizy statystycznej.
- Możliwości pozyskiwania informacji z komplementarnych baz danych.
- Techniki oraz algorytmy maszynowej analizy dużych korpusów tekstowych.
- Ilościowe analizy dużych zbiorów danych – refleksja nad procedurami oraz danymi pozyskiwanymi w ramach procedur big data.
- Międzynarodowe badania porównawcze – standaryzacja schematów doboru prób badawczych oraz procedur terenowych, kontekst społeczny oraz uwarunkowania kulturowe badań porównawczych.
Zbigniew Sawiński, Anna Kiersztyn, Katarzyna Kopycka,
współautorzy: Katarzyna Kopycka, Anna Kiersztyn
W badaniach coraz częściej sięga się po informacje na temat historii kształtowania się bieżącej sytuacji badanych osób. Na przykład, rozpatrując czynniki sprzyjające decyzji o posiadaniu dziecka oprócz aktualnego dochodu respondenta bierze się pod uwagę również dane o dochodach z dłuższego okresu, gdyż aktualny dochód na skutek chwilowych perturbacji nie musi odzwierciedlać poczucia bezpieczeństwa finansowego. Do opisu przebiegu owej historii i oceny jej wypływu na wyjaśniane zjawiska proponuje się specyficzną klasę wskaźników zwanych sekwencyjnymi. Odzwierciedlają one nie tylko ogólny wzrost lub spadek pozycji badanego w latach poprzedzających badanie, lecz również stopień występowania obok siebie okresów, gdy badany w wymiarze danego czynnika znalazł się w bardziej lub mniej korzystnej sytuacji. Użyteczność wskaźników sekwencyjnych znalazła potwierdzenie w badaniach nad ubóstwem, gdzie wykazano, że powielanie się sytuacji ubóstwa w kolejnych latach sprzyja powstawaniu przekonań o jego trwałym charakterze i ma tym większy wpływ na postawy i opinie badanych, im okres, w którym następuje nasilenie ubóstwa, jest bliższy momentowi badania. Wskaźniki sekwencyjne wymagają danych podłużnych, pochodzących z badań panelowych, bądź gromadzonych za pomocą pytań retrospektywnych.
W prezentacji skupimy uwagę na podstawowych własnościach wskaźników sekwencyjnych oraz omówimy sposób ich wykorzystania w projekcie „Dynamika niepewności zatrudnienia młodych: uwarunkowania, trajektorie i skutki w perspektywie porównawczej” (https://crossnationalbiographies.edu.pl/). Celem projektu jest porównanie zjawiska prekaryzacji zatrudnienia w Polsce, Niemczech, Wielkiej Brytanii i USA. Ponieważ wybrane kraje znacząco różnią się między sobą, między innymi w zakresie przepisów prawa pracy, zasad zatrudniania, czy świadczeń przysługujących pracownikom, w projekcie zrezygnowano z prób skonstruowania wskaźników prekaryzacji pracy opartych o formę zatrudnienia, próbując zdefiniować prekaryjne zatrudnienie na podstawie wskaźników sekwencyjnych odnoszących się do trajektorii zawodowych. W wystąpieniu przedstawimy niektóre z uzyskanych rezultatów, jak również wstępne wnioski dotyczące perspektyw wykorzystania wskaźników sekwencyjnych w badaniach porównawczych.
Tomasz Żółtak,
współautorzy: Artur Pokropek, Marek Muszyński
Wykorzystanie urządzeń elektronicznych jako medium realizacji badań społecznych daje nowe możliwości w zakresie zbierania informacji o sposobie udzielania odpowiedzi przez respondentów. Dodatkowe dane, obejmujące czasy odpowiedzi, ewentualną korektę początkowo dokonanych wyborów, sekwencji działań czy trajektorii kursora mogą zostać relatywnie łatwo zebrane i wykorzystane do stworzenia tzw. wskaźników procesowych, które znajdują zastosowanie do opisu i wyjaśniania czynności podejmowanych przez badanych w badaniach z dziedziny psychologii poznawczej, badaniach edukacyjnych, jak też w badaniach sondażowych.
Do tej pory tego typu dane były zbierane przede wszystkim w warunkach laboratoryjnych lub w międzynarodowych badaniach umiejętności, prowadzonych z wykorzystaniem wystandaryzowanego sprzętu komputerowego i oprogramowania. Niemniej przy obecnym stanie technologii mogą one zostać łatwo zebrane również w powszechnie przeprowadzanych sondażach internetowych. Choć otwiera to drogę do szerokiego wykorzystania danych procesowych w badaniach społecznych, to zbieranie i późniejsza analiza danych pozyskanych w ten sposób napotyka na specyficzne problemy techniczne, wynikające z różnic w konfiguracji urządzeń i przeglądarek internetowych używanych przez respondentów.
Wystąpienie ma na celu pokazanie, w jaki sposób wskaźniki procesowe opisujące sposób poruszania kursorem na ekranie mogą zostać wykorzystane do wykrywania „nieuważnych odpowiedzi” (ang. careless/insufficient effort responding). Pokażemy również, jakie dodatkowe wyzwania wiążą się z wykorzystaniem tego typu informacji zbieranych w czasie typowej ankiety internetowej, a więc w nie wystandaryzowanym środowisku. Omówimy przy tym, jakie dodatkowe dane powinny zostać zebrane, aby umożliwić przekształcenie informacji o ruchach kursora do postaci zapewniającej lepszą porównywalność pomiędzy respondentami. W tym celu wykorzystamy dane z sondażowych eksperymentów metodologicznych przeprowadzonych z wykorzystaniem platformy ankietowej LimeSurvey i przygotowanego przez nas prostego apletu Javascript pozwalającego na zebranie danych procesowych.
Artur Pokropek,
współautorzy: Tomasz Żółtak, Marek Muszyński
W socjologicznych badaniach ilościowych najważniejsze analizowane konstrukty takie jak zaufanie, wartości, postawy (np. wobec migrantów, zmian klimatycznych, zdrowia publicznego, wojny itp.) mierzy się najczęściej używając skal szacunkowych (np. typu Likerta), w których twierdzenia są oceniane przez respondentów poprzez wskazanie kategorii odpowiedzi opisującej intensywność zgody lub niezgody z danym twierdzeniem. Nie ma jednak konsensusu co do tego, jakiego rodzaju skale szacunkowe najlepiej wykorzystywać w kwestionariuszach.
Dla przykładu, uogólnione zaufanie społeczne zwykle mierzy się pytaniem, “czy generalnie rzecz biorąc ludziom można ufać”?. Różne ośrodki badawcze zbierają odpowiedzi na takie pytanie używając skal o różnej długości: Gallup i Canadian General Social Survey używają skali zero-jeden, UK community Life Survey wykorzystuje cztery kategorie odpowiedzi, Australian General Social Survey pięć, World Values Survey dziesięć, a European Social Survey aż jedenaście.
Celem naszych badań jest stwierdzenie, czy wykorzystanie w kwestionariuszach różnych skal odpowiedzi ma wpływ na wyniki uzyskiwane w odniesieniu do substancjalnych pytań badawczych. Aby odpowiedzieć na to pytanie przedstawimy wyniki eksperymentu metodologicznego, w którym grupie 2246 respondentów zadaliśmy serię pytań sondażowych na temat zaufania społecznego, szczepień, samooceny umiejętności czytania, stosunku do czytanych tekstów oraz opinii dotyczących emigracji. Respondentów losowo przydzieliliśmy do grup, w których użyliśmy skal odpowiedzi o różnych długościach: 3-, 4-, 5-, 6-, 7-, 10- i 11-punktowej, a także tzw. suwak (ang. slider). W skalach o największej liczbie kategorii odpowiedzi manipulowano również użyciem etykiet kategorii – w jednej wersji były one przypisane do wszystkich kategorii, a w drugiej tylko do kategorii skrajnych.
Na wszystkich grupach przeprowadzamy serię analiz statystycznych i pokazujemy różnice w wynikach procedury wnioskowania statystycznego przy weryfikacji hipotez związanych z badanymi zmiennymi. W analizach wykorzystujemy zarówno proste sumaryczne wskaźniki, jak i wskaźniki oparte na modelach cech ukrytych, pokazując, jak bardzo odpowiedzi na substancjalne pytania zależą od, czasami nieświadomie podejmowanych, decyzji metodologicznych.
Remigiusz Żulicki
Celem referatu jest przedstawienie dyskursu dotyczącego tzw. „sztucznej inteligencji” (AI) z perspektywy środowiska data science. Jest to środowisko zajmujące się AI od strony technicznej i metodologicznej. Autor przeprowadził trzyletnie badania etnograficzne data science w Polsce. Data science traktował jako społeczny świat / arenę zgodnie z podejściem Adele E. Clarke. Jednym z najważniejszych wyników tego badania jest wgląd w dyskurs o AI: uczestnicy społecznego świata data science traktują pojęcie „AI” jako nie-techniczne. Postrzegają to pojęcie jako opakowanie dla szeregu różnych technologii, w tym dla modeli uczenia maszynowego. Autor przedstawia używanie pojęcia „AI” przede wszystkim jako praktykę biznesowych rzeczników świata społecznego data science. Jest to praktyka nastawiona na oczarowywanie odbiorców nie-technicznych. Ma ona na celu wywoływanie wrażenia, że AI to technologie magiczne, tzn. imponujące, bezkosztowe i bezproblemowe. W odróżnieniu od tego, w społecznym świecie data science używa się technicznego pojęcia modelu uczenia maszynowego. Przygotowywanie modelu uczenia maszynowego postrzegane jest w społecznym świecie data science nie jako magia, a jako majsterkowanie tzn. coś żmudnego, eksperymentalnego, o niepewnych rezultatach. Autor zwraca uwagę na narzędzia cyfrowe, charakterystyczne dla dyskursu technicznego i nie-technicznego. Dla uczestników społecznego świata data science właściwym narzędziem do dyskutowania o uczeniu maszynowym jest kod w języku programowania Python – to dyskurs techniczny. Ten świat społeczny za narzędzie charakterystyczne dla dyskutowania o AI uznaje prezentacje multimedialne w PowerPoint – to dyskurs nie-techniczny. Kod w języku Python jest w data science egzemplifikacją realnej sprawczości technicznej, bowiem w tym języku zaimplementowane są najpopularniejsze narzędzia (tzw. pakiety) do budowania modeli uczenia maszynowego. To w tym języku wykonuje się konkretne modele na zasadzie majsterkowania. Kolorowe slajdy w PowerPoint są egzemplifikacją technicznie nierealnych lub niejasnych, ale pozornie imponujących obietnic, składanych przez biznesowych rzeczników świata data science po to, aby oczarowywać np. potencjalnych klientów lub decydentów. Z badań autora wynika ponadto, że w społecznym świecie data science nie ma jednoznacznej zgody co do tego, czy opakowywanie uczenia maszynowego w „magiczną” AI leży w interesie świata data science.
(Wyłożony)
Marek Muszyński,
współautorzy: Artur Pokropek, Tomasz Żółtak
Paradane (paradata) są szczególnym rodzajem dodatkowych danych możliwych do zebrania w każdej ankiecie (Couper, 1998). Tradycyjnie opisują one proces zbierania danych ankietowych, np. liczbę i rodzaj prób kontaktu z osobą wylosowaną do badania (Stoop, 2004), stanowiąc dodatkowe źródło wiedzy o przebiegu ankiety i, pośrednio, o jakości zebranych danych (Jacobs et al., 2020; Olson i Parkhurst, 2013).
Jednak ostatnio, wraz z rozwojem testowania i ankietowania przy użyciu komputerów, pojawiła się możliwość zbierania nowego rodzaju paradanych, tzw. danych procesowych (process data, log data; Kroehne i Goldhammer, 2018). Opisują one zarejestrowane działania respondenta, jakie podjął on w toku wypełniania ankiety. Dane te są możliwe do uzyskania niewielkim kosztem, a ich zbieranie nie powoduje zwiększonego obciążenia osób badanych, ani wydłużenia czasu trwania badania.
Użycie danych procesowych do poprawy jakości danych ankietowych ograniczało się do tej pory jedynie do wykorzystania informacji o czasie odpowiadania na pytania (Akrami et al., 2007; Bowling et al., 2021; Ulitzsch et al., 2021) w celu wykrywania niezaangażowanych respondentów. Jednakże, w ankiecie komputerowej możliwe jest zebranie o wiele większej liczby informacji opisujących proces udzielania odpowiedzi na pytania.
Dużą i jak dotąd słabo zbadaną grupę takich danych stanowią te charakteryzujące ruch kursora na ekranie. Dotychczasowe badania nad ich wykorzystaniem wskazują, że mają one pewien potencjał do zwiększenia wykrywalności niezaangażowanych respondentów (Stieger i Reips, 2010; Horwitz et al., 2017, 2019; Fernandez-Fontelo et al., 2020), jednak potrzeba dalszych prac, aby określić, w jaki sposób tworzyć na podstawie takich danych syntetyczne wskaźniki i jaki jest najbardziej efektywny sposób wykorzystywania ich w analizach (np. w modelach pomiarowych).
W czasie wystąpienia zaprezentowane zostaną wskaźniki możliwe do skonstruowania na podstawie ruchów kursora oraz sposób wykorzystania ich do wykrywania stylów odpowiedzi (response styles) w ankietach internetowych. Użyte zostaną w tym celu dane z panelu badawczego obejmujące 2246 respondentów. Dane pochodzą z eksperymentu, gdzie manipulacji podlegała długość i forma skali odpowiedzi pytania. Następnie przedstawione zostaną wyniki analiz, w których zweryfikowano, czy poszczególne wskaźniki opisujące sposób poruszania kursorem są uwarunkowane z jednej strony formatem i długością skali odpowiedzi, a z drugiej poziomem funkcjonowania poznawczego, zmierzonego za pomocą internetowego testu inteligencji Pathfinder (Malanchini et al., 2021).
Maria Flakus,
współautorzy: Artur Pokropek, Piotr Koc, Hubert Plisiecki
Badania wskazują, że stres i lęk zwiększają skłonność do wiary w teorie spiskowe i treści dezinformacyjne, które zmniejszają napięcie, upraszczając rzeczywistość i oferując powierzchowne wyjaśnienia przyczyn niepokojących zdarzeń (Hofstadter, 1966; Nefes, 2015; Robins i Post, 1997; van Prooijen i Jostmann, 2013). Dotychczasowe badania prowadzone w tym obszarze rzadko jednak podejmowano w warunkach realnie zwiększonego stresu i niepokoju (z wyjątkiem niedawnych badań dotyczących postaw wobec obostrzeń i szczepień oraz powiązanych z nimi teoriami spiskowymi i dezinformacją). Fakt ten może potencjalnie zwielokrotniać wskazywane w literaturze metodologicznej uniwersalne ograniczenia danych samoopisowych, które są podatne na liczne błędy, np. tendencję u osób badanych do przedstawiania się w korzystnym świetle (Nederhof, 1985). Stąd też, w badaniu kwestii społecznych silnie narażonych na występowanie efektu oczekiwań społecznych rekomendowane wydaje się poleganie na innych, alternatywnych źródłach informacji, np. śladach cyfrowych, takich jak dane z mediów społecznościowych, które są mniej podatne na podobne zakłócenia ze względu na zwiększoną anonimowość (Shaughnessy i in., 2018).
W niniejszych badaniach podjęto próbę analizy postaw wobec wojny w Ukrainie oraz różnych form dezinformacji wykorzystywanych do eskalacji negatywnych ustosunkowań wobec wojny i uchodźców z Ukrainy. Do analiz wykorzystano dane sondażowe oraz dane z mediów społecznościowych, by na przykładzie niniejszego zagadnienia pokazać, w jaki sposób łączyć można dane z badań sondażowych oraz śladów cyfrowych, np. treści i sentymentu komentarzy w mediach społecznościowych.
Badanie sondażowe przeprowadzone pięciokrotnie na dobranej kwotowo próbie Polaków (N > 1 000 osób). Mierzono w nim postawy w kolejnych pięciu tygodniach wojny w Ukrainie, przyglądając się zmianom, jakie w nich zachodziły w toku eskalacji działań wojennych. W szczególności, skoncentrowano się na następujących wątkach:
(a) chęci Polaków do przyjęcia uchodźców z Ukrainy
(b) poziomu obaw o możliwość eskalacji wojny
(c) poziomu wiary w różne teorie spiskowe dotyczące powodów wojny w Ukrainie.
W ramach walidacji danych sondażowych dokonano analizy treści pochodzących w mediów społecznościowych (Twitter, YouTube), w tym: fałszywych wiadomości i dezinformacji w Internecie. W tym celu wykorzystano narzędzia analityczne do przetwarzania języka naturalnego, które pozwoliły na identyfikację przejawów postaw w odniesieniu do zbioru ww. zagadnień związanych z wojną na Ukrainie oraz identyfikację źródeł dezinformacji.
W prezentacji omówione zostaną wyniki badań, wraz z ich praktycznymi implikacjami, ograniczeniami i propozycjami dalszych kierunków badawczych. Pokażemy, że systematycznie zbierane informacje z mediów społecznościowych mogą pomyślnie dopełniać wyniki analiz sondażowych i poszerzać ich potencjalną użyteczność naukową.
Anna Wrona
Od 2014 r. Polska doświadcza bezprecedensowej fali migracji, zaś cudzoziemcy stanowią coraz poważniejszą część ludności kraju – a jednocześnie wyjątkowo trudną do uchwycenia w badaniach sondażowych. Uzyskanie reprezentatywnej próby wymaga – oprócz oczywiście zastosowania doboru losowego – posiadania dobrego operatu losowania, czyli kompletnej bazy potencjalnych respondentów. Bazy takiej nie posiada w Polsce nikt, jednak niektóre instytucje państwowe administrują obszernymi zbiorami danych teleadresowych cudzoziemców. Jedną z takich instytucji jest Urząd ds. Cudzoziemców, który prowadzi krajowy zbiór rejestrów, ewidencji i wykazu w sprawach cudzoziemców. Znajdują się w nim dane posiadaczy dokumentów pobytowych (zezwoleń na pobyt czasowy i pobyt stały, zaświadczeń o zarejestrowaniu pobytu obywatela UE/UK, zezwoleń na pobyt rezydenta długoterminowego UE, zezwoleń z tytułu posiadania statusu uchodźcy, i in.). Wykorzystanie tych danych do celów badań sondażowych jest jednak trudne. Urząd nie posiada infrastruktury ani zasobów ludzkich, które pozwalałyby na prowadzenie tego rodzaju badań, a przepisy o ochronie danych osobowych nie pozwalają na udostępnianie danych cudzoziemców podmiotom zewnętrznym, takim jak agencje badawcze.
W 2021 r., w ramach projektu Migracyjne Centrum Analityczne (MCA), UdSC udało się jednak przeprowadzić we współpracy z komercyjną agencją badawczą badanie sondażowe na losowej próbie cudzoziemców posiadających dokumenty pobytowe wydane na terytorium Polski. Badanie zostało przeprowadzone techniką mieszaną korespondencyjno-internetową, ze znaczącym wkładem pracowników UdSC, w sposób anonimowy i bez udostępniania danych osobowych cudzoziemców agencji badawczej. Próba została dobrana w sposób warstwowy – warstwami były grupy obywatelstw cudzoziemców. Wylosowano próbę 5000 cudzoziemców, do których UdSC skierował pisma z informacją o badaniu i adresem strony internetowej, na której zamieszczono kwestionariusz w sześciu wersjach językowych. Ostatecznie kwestionariusz wypełniło 641 respondentów. Do Urzędu wpłynęły też zwrotki pocztowe wskazujące na nieaktualność niektórych adresów lub inne powody niedostępności respondentów. Odzew był niejednakowy wśród poszczególnych kategorii respondentów – wyższy wśród obywateli Białorusi, niski wśród obywateli Wietnamu; chętniej odpowiadały osoby posiadające zezwolenie na pobyt stały oraz te osoby, które uzyskały zezwolenie pobytowe z tytułu połączenia z przebywającym w Polsce członkiem rodziny.
W trakcie swojego wystąpienia:
– przedstawię szczegóły realizacji badania sondażowego cudzoziemców we współpracy pomiędzy podmiotem publicznym i komercyjną agencją badawczą;
– porównam trzy kategorie cudzoziemców, spośród wylosowanej pierwotnie próby 5000 osób: (i) respondentów, którzy ostatecznie wypełnili kwestionariusz (ii) osób, do których informacji o badaniu nie udało się dostarczyć (zwrotki pocztowe) i (iii) pozostałych, którzy nie wypełnili kwestionariusza, ale też nie otrzymano zwrotki pocztowej z ich adresu;
– w oparciu o ww. analizę odniosę się do kwestii reprezentatywności otrzymanej w badaniu próby.
Andrzej Meler
Bazą prezentacji będzie artykuł znajdujący się w toku recenzji prezentujący wyniki analizy sentymentu opartej na słowniku NAWL i dotyczącej postów polskich parlamentarzystów zamieszczanych na Twitterze podczas pierwszych 12 miesięcy pandemii koronawirusa. Efektem jest zidentyfikowanie istotnych różnic pomiędzy sentymentem postów publikowanych przez parlamentarzystów obozu rządzącego i opozycji, postów na temat pandemii i na inne tematy. Prezentacja poza zreferowaniem wyników zawartych w artykule poruszy metodologiczne problemy związane z analizą sentymentu w oparciu o słownik, ocenę słownika NAWL, opis ograniczeń związanych z pracą nad tekstami z Twittera.
Barbara Jancewicz
Facebook jest kanałem powszechnie stosowanym do rekrutacji badanych do wywiadów, focusów lub ankiet internetowych. Badacze zazwyczaj publikują posty z zaproszeniem do badania na wybranych grupach (np. Polacy w Londynie), a w artykułach opisują swój dobór próby jako wygodny (convenience) albo celowy. Jednak w ciągu ostatnich kilku lat popularność zyskuje używanie do rekrutowania narzędzi marketingowych Facebooka, a dokładniej nacelowanych reklam (mikrotargetowanie). Narzędzie to wygląda bardzo obiecująco, gdyż pozwala na selekcję respondentów ze względu na szereg cech wykraczających poza standardowe (wiek, płeć, miejsce pobytu): zainteresowania, poglądy polityczne, niedawne wydarzenia życiowe (ślub, narodziny dziecka, przeprowadzka). Dzięki temu możliwe jest precyzyjne dotarcie do grup, które innymi metodami są trudnodostępne, takich jak migranci, osoby, które niedawno wzięły ślub czy ludzie zainteresowani nietypowymi tematami. Planując badanie należy uwzględnić trzy kwestie:
1. Wielkość i obecność badanej grupy w serwisie Facebook, oraz potencjalne różnice w (nie)korzystaniu z serwisu przez różnorodne części badanej zbiorowości.
2. Identyfikowalność badanej grupy przez Facebooka. Zależnie od grupy badanej, dotarcie do respondentów przy pomocy sieci społecznych może być łatwe, jeśli dany serwis już identyfikuje daną grupę np. Polacy mieszkający poza granicami kraju; albo trudne, jeśli dany serwis sam nie wyróżnił takiej grupy np. Ukraińcy mieszkający poza granicami kraju.
3. Budżet rekrutacji i dopuszczalne skrzywienie próby. Mikrotargetowanie i algorytmy identyfikujące najodpowiedniejszych odbiorców reklamy stanowią broń obosieczną. Z jednej strony, pozwalają na szybkie i tanie dotarcie do wielu potencjalnych respondentów, z drugiej strony, wybieranie respondentów, którzy z największym prawdopodobieństwem wezmą udział w naszym badaniu wprowadza skrzywienie do próby. Można wybrać cel działania algorytmów oraz próbować częściowo zniwelować ich działanie, co pozwoli to na dotarcie do bardziej zróżnicowanej grupy respondentów, ale również znacząco podwyższy cenę oraz obniży efektywność rekrutacji.
Powyższe kwestie omówię na przykładzie rekrutacji pracowników platform zajmujących się transportem osób oraz dostarczaniem posiłków (np. Uber, Bolt, Wolt, Glovo, FreeNow, Pyszne.pl). Badana populacja stanowi grupę trudnodostępną, w znacznej części złożoną z migrantów, w dodatku nie jest to grupa wyróżniona przez Facebooka jako oddzielna kategoria osób. Zastosowanie próby kwotowej i równoległe uruchamianie wielu kampanii ograniczyło możliwość działania algorytmów Facebooka, co pozwoliło na dobór bardziej zróżnicowanej próby. Rekrutacja pracowników platform stanowi dobre studium przypadku zalet i ograniczeń rekrutacji za pośrednictwem reklam. Dodatkowo pozwala na oszacowanie potencjalnych kosztów oraz możliwości łączenia różnych metod rekrutacji w przyszłych badaniach.
(Wyłożony)
Adam Rybak
Zdecydowana większość metodologicznych analiz sondaży opiera się na materiale źródłowym wyłącznie z Europy i USA. Fakt ten ma oczywiście ważne uzasadnienie, to na tym obszarze jest najwięcej poważnych badań sondażowych i mają one najdłuższą tradycję. Nie oznacza to jednak, że ignorowanie programów badawczych z innych kontynentów nie utrudnia uzyskania pełnego obrazu sytuacji. W zglobalizowanym świecie, wymagającym zacieśniania kontaktów pomiędzy przedstawicielami nawet bardzo odległych kultur poruszenie tematu badań prowadzonych poza światem Zachodu wydaje się istotne.
Dlatego też w swoim wystąpieniu oprę się na analizach raportów metodologicznych i danych wynikowych z takich międzykrajowych projektów sondażowych jak: Afrobarometer, Arab Barometer, Comparative Study of Electoral Systems, East Asia Social Survey, International Social Survey Programme, Latin American Public Opinion Project, Life in Transition Survey, World Values Survey itp. uwzględniając dane od końca lat dziewięćdziesiątych do 2019 roku.
Przedstawię:
1. Ilościową dystrybucję takich charakterystyk jak technika, operat, dobór próby i różne aspekty „fieldwork effort” (zachęty materialne, listy zapowiednie, ilość prób kontaktu z potencjalnym respondentem itp.).
2. Dane na temat współczynników realizacji, jak też wewnętrznych i zewnętrznych kryteriów reprezentatywności – obliczanych na podstawie danych wynikowych sondaży i globalnych danych demograficznych ONZ.
3. Ocenę kompletności dokumentacji dla różnych lat, krajów i projektów.
Planowanym efektem wystąpienia będzie zarówno poszerzenie posiadanego przez część słuchaczy obrazu tego, jak na świecie wygląda prowadzenie badań sondażowych i ich dokumentowanie, jak również potencjalna inspiracja aspektami metodologicznymi rozpowszechnionymi w badaniach przeprowadzanych poza krajami Zachodu.
Badania będące podstawą wystąpienia są finansowane ze środków Narodowego Centrum Nauki – grant 2019/33/N/HS6/00322
