Dlaczego nie można wierzyć procentom?

Pracownia Innowacji; autor: Iga Wasilewska
Lubimy liczby i procenty, wierzymy sondażom, choć w tym samym czasie pokazują różne poparcie dla naszych ulubieńców z sejmu i senatu. Rzadko sprawdzamy jak i kto robił badania, na których opieramy swoje przekonania i wiedzę i nie zdajemy sobie sprawy, że badania sondażowe są obarczone dużym marginesem błędu. Dlatego nie powinny być wykorzystywane do podejmowania decyzji, szczególnie tych biznesowych. Jak są robione badania sondażowe i dlaczego ich nie wykorzystywać do badań rynku i potrzeb?

Analiza rynku i badania marketingowe
Przy ocenie pomysłu na biznes, szans na rozwój nowego produktu lub usługi często podkreślana jest konieczność zbadania rynku. Na kilku konferencjach i spotkaniach słyszałam jak to różni doradcy w tym kontekście mówią o ankietach internetowych lub rozmowach z kolegami lub członkami rodziny na temat planowanego biznesu. Jest to bardzo złudna droga, ponieważ takie „badania” nie mają wielkiej wartości, gdyż opinia kilku przypadkowych osób nie może przesądzać czy kontynuować rozwój prac nad produktem. Takie badania powinny być przeprowadzone bardziej metodycznie.
Nawet posługując się wynikami badań przedstawionymi w różnych artykułach, należy poszukać źródła badania, czyli nie autora artykułu, a firmy lub osoby, która faktycznie przeprowadziła badanie. Istotne jest również to ile osób zostało przebadanych, czy była to próba reprezentatywna i jakimi cechami się charakteryzowała. Ostatnio prasę obiegły artykuły na temat postrzegania różnych polskich miast przez obcokrajowców. W artykułach przytaczano wyniki badań. Bardzo łatwo można było wyszukać informację, że badanie zostało przeprowadzone przez agencję nieruchomości, w badaniu wzięło udział 667 obcokrajowców i zostało ono zrobione „metodą wywiadów internetowych”. Te informacje pokazują, że wyniki tych badań są mało wartościowe. Dlaczego?
Dlaczego nie wierzyć procentom?
Prawidłowe przeprowadzenie badania ilościowego wymaga wiele wysiłku, wiedzy i pieniędzy, na co może sobie pozwolić nie wiele firm, nie mówiąc o start-upach lub osobach mających pomysł na biznes. Podstawowe kwestie związane z przeprowadzeniem badań ilościowych metodą sondażową to liczebność i sposób doboru osób do badania, sformułowanie pytań i wyciąganie wniosków.
Liczebność próby
Podstawową kwestią jest liczba osób, które musimy „przepytać”, aby nasze badania miały sens. Badania ilościowe mają sens jeśli są reprezentatywne, co oznacza, że możemy wyniki badań przeprowadzonych na mniejszej liczbie osób (próba), uogólniać na wszystkie osoby o tych samych cechach (populacja). Aby zrobić to poprawnie należy najpierw ocenić liczbę osób w populacji, czy grupy osób, które mają interesujące nas cechy. Np. może to być grupa Polek w wieku 20-60 lat, które mają co najmniej jedno dziecko. Ustalenie liczby tak określonej grupy jest możliwe jedynie na podstawie danych GUS. Ale im więcej cech ma mieć nasza grupa, tym trudniej będzie ustalić liczbę osób. I dlatego często nie jesteśmy w stanie określić liczby osób w populacji.
Po określeniu liczby osób w populacji na podstawie kalkulatorów doboru próby (dostępne on-line np. http://www.naukowiec.org/dobor.html) należy obliczyć liczbę próby. Np. dla populacji liczącej 10 000 osób należy przebadać 370 osób. A np. dla 100 osób próba powinna wynosić już 79 osób. Oznacza to, że im mniejsza populacja tym większa stosunkowo jest próba. Badań, podczas których uzyskamy odpowiedzi od 50 osób, a miały dotyczyć populacji 50 tys. osób nie możemy uznać za reprezentatywne. Należy również zauważyć, że dotarcie do dużej liczby osób, które chcemy przebadać również jest bardzo trudne i kosztowne.
Dobór próby
Nawet jeśli uda się nam określić prawidłowo wielkość próby, ważne jest również w jaki sposób „dobieramy” osoby do badania. Aby były one reprezentatywne dobór musi być losowy. To znowu oznacza, że musimy mieć listę osób całej populacji i kierować nasze ankiety do np. co 5-tej osoby na liście lub według liczb z tablic statystycznych. Przy większości badań bardzo problematyczne jest stworzenie takiej listy osób (adresów lub numerów pesel), gdyż do tego potrzebna jest duża baza danych, które są zwykle niedostępne.
Poziom błędu
Każde badania statystyczne przeprowadzane na próbie, a nie całej populacji są obciążone błędem statystycznym. Błąd informuje nas o tym, jaką "poprawkę" powinnyśmy przyjąć na uzyskane wyniki badania. Innymi słowy, kiedy założymy błąd w wysokości 3 % i przeprowadzamy sondaż wyborczy to, gdy dana partia uzyska wynik 20% poparcia, to przy naszym założeniu błędu 3%, prawdziwe poparcie może wynosić 17% lub 23%. Przy określaniu liczebności próby musimy również podać jaki przyjmujemy poziom ufności. Wskaźnik ten oznacza, jak bardzo możemy być pewni uzyskanych rezultatów, jeśli przyjmujemy, że poziom ufności wynosi 0,95 oznacza, że nasze wyniki badań są pewne na 95%. Nie znam badań sondażowych, które nie są obarczone błędami statystycznymi.
Sformułowanie pytania
Przy konstruowaniu narzędzia badawczego bardzo istotne jest sformułowanie pytań, które zadajemy respondentom. Szczególnie osoby niedoświadczone mogą popełnić wiele błędów, które wpływają na wyniki badania. Wśród tych błędów jest sugerowanie odpowiedzi (np. „jak bardzo podobało się P. wydarzenie X?”), niepełna kafeteria odpowiedzi czy zbyt dużo pytań otwartych. Dwa pozornie podobne pytania mogą dać zupełnie inne odpowiedzi: „czy potrzebujesz nowego telefonu?”, „czy planujesz zakup nowego telefonu w przeciągu miesiąca?”. Choć większość osób może odpowiedzieć, że potrzebuje nowego telefonu, to już dużo mniej może odpowiedzieć, że planuje jego zakup, co faktycznie potwierdza potrzebę zmiany telefonu.
Inne wady ankiet to niechęć do ich wypełniania, oszukiwanie przy odpowiedziach lub niezrozumienie o co chodzi w pytaniu. To wszystko powoduje, że wyniki uzyskane podczas badań ankietowych są bardzo ogólne i bardzo niepewne.
Co zamiast?
Więc jeśli nie ankiety, to co? Moja odpowiedź to badania jakościowe, które mają o wiele większy wachlarz możliwości niż badania ilościowe, a przede wszystkim dają bardziej pogłębione informacje. Szczególnie gdy chcemy znaleźć prawdziwy problem lub niszę trzeba porzucić badania ankietowe (lub potraktować je tylko jako rozpoznanie tematu), a zwrócić się ku badaniom jakościowym. Więcej o metodach napisałam m.in. w tekście "Jak odkrywać to, co zakryte"
Warto również wspomnieć, że z metod jakościowych od dawna korzysta IKEA, która ostatnio przeprowadziła 4 tys. wizyt w domach Polaków po to, aby zobaczyć jak mieszkają i z jakimi problemami mierzą się w swoich salonach. Również Bank Millenium od niedawna prowadzi wywiady indywidualne i grupowe z klientami banków, dzienniczek użytkownika i obserwacje. Tylko firmy, które będą poszukiwały prawdziwych potrzeb klientów (użytkowników) i będą w stanie ułatwić im życie, pokonają konkurencję.
Trwa ładowanie komentarzy...