Wgląd w umysł

Badania rynku i opinii kojarzą się głównie z sondażami poparcia. Ich wykorzystanie w środkach masowego przekazu prowadzi do utraty zaufania w trafność eksploracji zjawisk społecznych. O metodach prawidłowej percepcji ludzkich preferencji opowiada Michał Protasiuk, Media Research Manager w Google.

fot. Sylwia Protasiuk

MAGIEL: Dlaczego sondaże nie przewidziały Brexitu i zwycięstwa Donalda Trumpa w wyborach prezydenckich?
Michał Protasiuk: Myślę, że mamy tutaj do czynienia z dwoma czynnikami. Pierwszy jest związany z tym, że w przypadku obu zjawisk opinia publiczna była mocno spolaryzowana. Poparcie Brexitu czy Trumpa w sondażach oscylowało wokół 50 proc. Dodatkowo mieliśmy sporą grupę wyborców niezdecydowanych. W rzeczywistości osoby te aż do ostatniej chwili mocno wahały się odnośnie do decyzji. W związku z tym reprezentatywny sondaż przeprowadzony na 1–2 tygodnie przed wyborami mierzył nastroje opinii publicznej na dany moment tylko wśród posiadających opinię.

Istnieje ciekawe badanie na temat Brexitu, w którym firma badawcza Lightspeed GMI zadawała standardowe pytanie o bycie za lub przeciw. Grupie 10 proc. niezdecydowanych zadano pytanie, w jakim stopniu skłaniają się ku jednej z opcji. Następnie na podstawie tej skali przydzielono ich do odpowiednich grup. Okazało się, że tak przeprowadzony sondaż bardzo trafnie prognozował wynik rzeczywistego referendum dotyczącego Brexitu. Są zatem metody poprawy tego typu badań.

Następną kwestią jest problem, z którym mierzy się większość dojrzałych demokracji, czyli zmniejszająca się frekwencja wyborcza. Na polskim podwórku frekwencja jest znacznie niższa niż w sporej części Europy Zachodniej. Postawa obywatelska jest czymś pożądanym w społeczeństwie, przez co zarówno przed ankieterem, jak i we własnych oczach chcemy wypaść dobrze. Mówimy, że raczej jesteśmy gotowi iść na wybory, ale nie zawsze na nie idziemy. Badania radzą sobie jednak z tym problemem za pomocą metod prognozowania frekwencji.

Można zatem powiedzieć, że nie ma większego problemu z badaniami – większy problem mamy ze społeczeństwem. Zwracam także uwagę, że badania o charakterze exit polls, czyli realizowanych w dniu wyborów, w lokalu wyborczym, bezpośrednio po oddaniu głosu, dają niezwykle trafne wyniki. Wówczas rozmawiamy z tymi zdecydowanymi, którzy naprawdę oddali głos.

Jak badać ludzką opinię, aby możliwie najlepiej ją odwzorować? Jak branża badawcza odpowiada na kluczowe wyzwania związane z prognozowaniem?

Po pierwsze badacze powinni być świadomi, że respondentom nie zawsze należy wierzyć we wszystko, co powiedzą. Dlatego też należy bardzo wyraźnie rozgraniczyć sondaż i prognozę wyborczą. W sondażu pytamy ludzi, na kogo zagłosują. Oni udzielają nam jakichś odpowiedzi, a my ten wynik publikujemy. Nie znaczy to jednak, że powinniśmy ślepo wierzyć tej konkretnej liczbie. Sondaż jest z definicji niedoskonały. Powstaje zatem pytanie – co zrobić, aby lepiej prognozować przyszłość. Odpowiedź brzmi: odchodzić od suchych sondaży, bezpośredniego raportowania deklaracji. Znajomość mechanizmów, które rządzą ludzkim zachowaniem, świadomość wzorców z przeszłości powinna doprowadzić do zastosowania takiej aparatury statystycznej, która pozwoli usłyszane prawdy jakoś skalibrować. Jeśli widzimy, że 80 proc. ludzi mówi, że zamierza zagłosować w najbliższych wyborach, a frekwencja wynosi zwykle między 50 a 60 proc., to nie możemy ufać tym 80 procentom. Aby określić prawdopodobieństwo, że dana osoba rzeczywiście pójdzie do urny możemy zapytać ją o to, czy głosowała w przeszłości. Pytając z kolei o partie polityczne, możemy weryfikować odpowiedzi poprzez pytanie o konsumpcję mediów, bądź odpowiedzi na pytanie na kogo głosują osoby z jej otoczenia. Pierwsza odpowiedź brzmi zatem: mniej ufania w to, co nam ludzie powiedzą, a więcej pracy i prognozowania w oparciu o te wyniki.

Drugą odpowiedzią jest technika badawcza, której jestem wielkim fanem. Czerpie ona z psychologii ewolucyjnej, według której ludzie są słabym obserwatorem własnych zachowań. Często nie widzimy własnych błędów poznawczych. Ewolucja wbudowała nam natomiast doskonały model mentalny dotyczący przewidywania cudzych zachowań. Wobec tego nie warto pytać respondentów, co mają zamiar zrobić, czy pójdą zagłosować, czy kupią dany produkt. Lepiej zapytać, co ich zdaniem zrobią inni. Nie pytajmy na kogo zamierzają oddać głos. Zapytajmy, jaki ich zdaniem będzie wynik wyborów. Wykonano wiele tego typu badań. Metoda ta daje bardzo dobre wyniki.

Sam dołożyłeś do tej ściany małą cegiełkę. Opowiedz o tym badaniu.

To było badanie, które przeprowadziłem w roku 2015, przy okazji ostatnich wyborów parlamentarnych w Polsce. Wykorzystałem metodę śnieżnej kuli. Zebrałem niereprezentatywną grupę znajomych z Fb, Linkedina i innych portali społecznościowych. Osoby te dostały ankietę, w której musiały odpowiedzieć, jaki ich zdaniem będzie wynik poszczególnych partii w wyborach. Badanie zostało zrealizowane w ostatnim tygodniu przed wyborami i dało bardzo precyzyjne wyniki ‒ porównywalne do publikowanych w tym czasie sondaży, a niekiedy nawet od nich lepsze. Brzmi to ekscytująco, należy zwrócić jednak uwagę na jedną rzecz. Na pewno nie jest to coś, co jest w stanie zastąpić tradycyjne sondaże. Badani, aby udzielić odpowiedzi, jaki będzie wynik wyborów muszą mieć jednak jakiś punkt zaczepienia, jakąkolwiek wiedzę na ten temat. Siłą rzeczy czerpią ją z innych sondaży, którymi są przed wyborami zalewani. Część ludzi wiedząc, że partia X zwykle jest niedoszacowana w sondażach, dodawała jej np. trzy punkty procentowe w swoich odpowiedziach.

Osoby te biorą pod uwagę informacje, które krążą w przestrzeni publicznej. Bazując na swoich doświadczeniach, budują uproszczone podejście do zjawiska i wprowadzają korekty. Jest zatem pewne, że bez sondaży takie podejście by nie zadziałało. Istnieje zresztą przykład brytyjskiej firmy badawczej ICM Reseach, która ze względu na dokładność własnej prognozy zachwyciła się tą metodą podczas wyborów parlamentarnych w Wielkiej Brytanii w 2010 r. Nagle, kiedy podeszła w ten sam sposób do prognozy wyników lokalnego referendum dotyczącego zmiany ordynacji wyborczej w Walijskim Zgromadzeniu Narodowym w 2011 r., błąd okazał się bardzo duży. Sondaży było niewiele, przez co nie dotarły one do szerokiego grona. Temat po prostu nie budził zainteresowania.

Jak dowiedzieć się, co naprawdę mamy w głowach poza przekazem medialnym? Jak dojść do wnętrza ludzkich przekonań?

Zagadnienie to ma wiele płaszczyzn. Dotykamy tu fundamentalnej kwestii ‒ tego na jakiej podstawie ludzie budują przekonania, opinie, systemy wartości. Powiedzmy wprost: to jest trochę tak, że badania sondażowe ślizgają się po powierzchni. Z drugiej strony nie można powiedzieć, że system przekonań opinii publicznej został wyryty w kamieniu. Należy zadać pytanie, czy ludzie w ogóle mają na dany temat zdanie. Wspomniany przykład wyborców niezdecydowanych do ostatniej chwili wiele nam o tym mówi. Sukces Trumpa rozważa się w kontekście tego, na ile aktywności w social media i mikrotargetowanie miały na jego zwycięstwo wpływ. Oznacza to, że duża grupa nie miała utrwalonych przekonań i na ich opinię łatwo było wpłynąć.

Jesteś tym, co jesz.

Dokładnie. To dotyczy wielu tematów. Pomyślmy o uchodźcach. Jeżeli pytamy Polaków, jakie jest ich zdanie na temat uchodźców, jaka powinna być idealna polityka rządu wobec uchodźców, to po pierwsze dużo zależy od tego, jak zadamy pytanie. Po drugie mam przekonanie, że opinia, którą często mierzymy, u większości ludzi nie jest efektem skomplikowanego procesu myślowego, nie jest czymś utrwalonym, co jest silnie zakorzenione w przekonaniach. To jest problem.

Rozwiązanie stanowi doskonała metoda badawcza rzadko wykorzystywana w praktyce. Ta metoda to sondaż deliberatywny. Zanim zrobimy badanie sondażowe, dajemy respondentom możliwość wyrobienia sobie opinii na dany temat. Wybieramy reprezentatywną grupę ludzi, zapraszamy ich na sesję wykładów, pozwalamy im dowiedzieć się więcej na temat kryzysu uchodźczego, naświetlamy sprawę z różnych perspektyw, pokazujemy argumenty obu stron, wywołujemy dyskusję, dajemy im czas, żeby sami zadali sobie to pytanie i wyrobili opinię na dany temat. Dopiero wtedy, kiedy przejdą proces myślowy, możemy zrobić sondaż. To podejście często stosuje się w kwestiach decyzji obywatelskich na szczeblach samorządowych.

Swego czasu prezentowałeś na pewnym kongresie temat grzechów głównych badaczy. Jakie twoim zdaniem są ich główne przewinienia?

Niecierpliwość raczej nie jest problemem. Wydaje mi się, że największy grzech, o jaki łatwo, to brak obiektywności. To w mniejszym stopniu tyczy się sondaży politycznych, a bardziej nawiązuje do badań komercyjnych, zamawianych przez firmy pracujące nad nowymi produktami, chcącymi wybrać najlepszy pomysł. Ten brak obiektywności może funkcjonować bardzo nieświadomie. Badacz jest człowiekiem. Kiedy dużo pracuje nad projektem badawczym, część pomysłów staje się jego udziałem. Potencjalne niebezpieczeństwo stanowi wtedy nieświadome szukanie potwierdzenia tego, co nam się wydaje, co w psychologii nazywa się błędem potwierdzania (confirmation bias). W badaniach jakościowych o taki błąd bardzo łatwo, ale i w badaniach ilościowych naturalną tendencją naszego mózgu jest budować taką historię, tak analizować dane zjawisko, aby utwierdzić się w naszych przekonaniach. Badacz, tak jak naukowiec, musi być obiektywny. W metodzie naukowej nie powinno się planować eksperymentów, które potwierdzają, ale takie, które falsyfikują daną hipotezę. Dopiero wtedy zapewniamy rozwój nauki. W badaniach powinno być podobnie.

Jak postrzegasz znaczenie szczegółów w badaniach? Czy łatwo zepsuć wyniki poprzez złe zadanie pytania?

Zdecydowanie. Szczegóły, nawet rzeczy na pierwszy rzut oka nieistotne, mają kolosalne znaczenie. Standardowym zagadnieniem podczas testowania pomysłów na nowe produkty jest intencja zakupowa. Pytamy danego człowieka, czy jest zainteresowany nabyciem danego produktu. Na pytanie odpowiada się w skali pięciopunktowej, gdzie 1 oznacza „zdecydowanie kupię”, a 5 – „zdecydowanie nie kupię”. Gigantyczne znaczenie ma kolejność odpowiedzi do wyboru. To samo pytanie w przypadku tego samego produktu da kompletnie inne wyniki w zależności od tego, w jakim kierunku ułożymy odpowiedzi na skali. Być może brzmi to przerażająco, ale wiąże się z tym, o czym już wspominałem ‒ nie jest tak, że jak respondent powie, że zdecydowanie kupi, to na pewno to zrobi. To nie działa w ten sposób. Ponadto niewiele jesteśmy w stanie zrobić z samym wynikiem. To, że 30 proc. osób deklaruje chęć zakupu, jeszcze nic dla nas nie znaczy. Dopiero wiele badań przeprowadzonych w dokładnie ten sam sposób, gdzie pytanie znajduje się w tym samym miejscu w kwestionariuszu, a odpowiedzi ułożone w tym samym kierunku, pozwala uzyskać pewną informację. Będziemy wówczas wiedzieli, jak nasz produkt wypada na tle innych przetestowanych, a to już bardzo cenna wiedza. Szczegóły mają gigantyczny wpływ na wyniki.

Okazuje się, że nie tylko pytania, lecz także prezentacja mają znacznie. Sposób, w jaki przedstawimy postać, ma kolosalny wpływ na stosunek do osób ze świata mediów i polityki.

Używanie grafik i zdjęć w przypadku badań, zwłaszcza ilościowych, to zupełnie odrębny temat. Wszystkie tego typu bodźce mają na respondenta bardzo silny wpływ. Przychodzi mi na myśl badanie, w którym stopień formalności ubioru polityków wpływał na postrzeganą w stosunku do nich sympatię. Pytano, na ile chętnie umówiłbyś się z daną osobą na piwo. Wyniki były bardzo niejednoznaczne. Elegancko ubrany Donald Tusk budzi dużo większą sympatię niż Tusk w stroju piłkarskim. W przypadku Pawła Kukiza efekt jest odwrotny. Kukiz jako piosenkarz wydaje się dużo bardziej sympatyczny niż Kukiz w marynarce i koszuli.

Wspominałeś, że same procenty często nie dają pełnej odpowiedzi. Jednocześnie w mediach mamy do czynienia z bezrefleksyjnym ich publikowaniem. Czy twoim zdaniem polskie społeczeństwo rozumie badania?

Myślę, że w zakresie publikacji badań media mają wiele do zrobienia. W naturalny sposób tematem budzącym największe emocje są badania polityczne, sondaże. To interesuje większość Polaków, a jednocześnie wybory łatwo weryfikują badania. Różne firmy badawcze mają różne standardy, choćby w kontekście wspomnianej już grupy niezdecydowanych. Media stoją tu przed wyzwaniem. Na szczęście jest wiele inicjatyw, które próbują edukować media i społeczeństwo, choćby takich jak Na straży sondaży prowadzona przez osoby związane z UW.

Powszechnie wiadomo, że zbiera się o nas coraz więcej danych. Jednocześnie prognozowanie opinii publicznej wciąż przysparza wiele trudności.

Zdecydowanie to drugie. Myślę, że rynek badawczy stwarza wiele nowych możliwości, przede wszystkim poprzez rozszerzanie danych o charakterze behawioralnym zebranych w przestrzeni digital. To, co robimy w internecie, zazwyczaj pozostawia anonimowy ślad. Ten umożliwia z kolei badaczom analizę danych, pozwala dowiedzieć się jak ludzie zachowują się w przestrzeni cyfrowej ‒ jakie strony odwiedzają, ile spędzają na nich czasu, w co klikają. Mamy więc z jednej strony przestrzeń pasywnego zbierania danych behawioralnych. Z drugiej strony te dane nigdy nie są w stanie opowiedzieć pełnej historii. Przede wszystkim nie pozwalają odpowiedzieć na pytanie, dlaczego ktoś na danej stronie był, po co tam trafił, jakie miał potrzeby, co miał w głowie, kiedy tam wchodził. Tu z pomocą przychodzi ten tradycyjny repertuar narzędzi badawczych i badania o charakterze deklaratywnym.

To znaczy, że pop-upowe ankiety (wyskakujące na stronach internetowych) pozwalają firmom zdobyć firmom cenną informację?

Jeśli mówimy o ilościowych badaniach internetowych, to można je przeprowadzić na panelu, czyli grupie ludzi, która świadomie podjęła działanie, żeby się do danej społeczności zapisać, a w zamian za to, że z jakąś częstotliwością wypełnia ankiety otrzymuje pewne wynagrodzenie. Druga metoda to masowe wysyłanie pop-upów, docieranie potencjalnie do wszystkich użytkowników internetu. Oczywiście ich „klikalność” jest bardzo niewielka, ale próbę o wymaganej liczebności jesteśmy w stanie przebadać.

Jak twoim zdaniem będzie rozwijał się rynek badawczy? W jakim kierunku pójdzie metodologia? Co zaczniemy, a co przestaniemy badać?

Choć badania jakościowe pewnie się nie zmienią, to myślę, że absolutna przyszłość badań ilościowych jest w urządzeniach mobilnych. Ludzie nie będą chcieli spędzać czasu na wypełnianie długich, skomplikowanych kwestionariuszy na komputerze. Badania staną się wypełniaczem tzw. martwych minut. Prawie każdy ma dziś smartfona. Patrzymy na niego średnio 150 razy dziennie. W sytuacji, w której czekamy na tramwaj, stoimy w kolejce, trochę nie mamy co ze sobą zrobić, możemy scrollować fejsa, ale możemy też wziąć udział w badaniu. Będziemy prawdopodobnie odnosić z tego jakąś korzyść, ale badanie powinno być jednocześnie frajdą dla respondenta. Powinno wyglądać tak, aby było co najgorzej doświadczeniem neutralnym. Nie może wymagać obciążenia poznawczego. Jako że urządzenia mobilne w dużym stopniu wymuszają zwięzłość, skończą się czasy długich, żmudnych kwestionariuszy.

Po drugie badacze coraz bardziej uświadamiają sobie to, że człowiek jest istotą nie do końca racjonalną ‒ emocje, nawyki, drogi na skróty odgrywają w postrzeganiu konsumentów coraz większą rolę. Tak jak duża część modeli i teorii ekonomicznych bazuje na teorii racjonalnego konsumenta, tak i pewna część metodologii badawczych na bazie takich założeń wciąż funkcjonuje. Dużym wyzwaniem dla badań jest brać pod uwagę tę zmianę związaną z lepszym rozumieniem człowieka.

Michał Protasiuk

Absolwent Akademii Ekonomicznej w Poznaniu, badacz rynku i opinii. Pracuje jako Media Research Manager w Google. Jest dwukrotnym laureatem Nagrody Literackiej im. Jerzego Żuławskiego, autorem książek Punkt Omega (2006), Struktura (2009), Święto Rewolucji (2011), Ad Infinitum (2014). W tym roku spod jego pióra wyszedł Zeitgeist, audiobook w odcinkach czytany przez Antoniego Pawlickiego.

No votes yet.
Please wait...