"Kai atskleidžiami faktai, kaip faktiškai vyksta tyrimas, daugelis mokslininkų praranda širdį"

„Kai atskleidžiami faktai, kaip faktiškai vyksta tyrimas, daugelis mokslininkų praranda širdį“

Interviu su Dmitrijumi Rogozinu
"Trejybės pasirinkimas" № 16 (185), 2015 m. Rugpjūčio 11 d

Visuomenės gyvenime visuomenės nuomonės apklausų rezultatai yra labai svarbūs. Remiantis jų pagrindu priimami svarbiausi politiniai sprendimai. Bet kaip patikimi jų duomenys? Apie tai Olga Orlova kalbasi su knygos autoriu "Kaip yra pagrįsta mūsų tikėjimas popieriniais tyrimais?", Rusijos nacionalinės ekonomikos ir viešosios administracijos akademijos socialinės analizės ir prognozavimo instituto laboratorijos vadovas Dmitrijus Rogozinas.

Dmitrijus Rogozinas
Gimė 1972 m. Mieste Abasoje, Krasnojarsko krašte. 1994 m. Baigė ekonomikos skyrių Krasnojarsko valstybinio universiteto. Nuo 2000 m. Jis atlieka metodinį darbą Visuomenės nuomonės fonde ir VTsIOM. 2002 m. Apgynė disertaciją apie sociologiją. Nuo 2003 m. Iki 2008 m. Jis buvo dekano katedros sociologijos Shaninki – Maskvos socialinių ir ekonomikos mokslų mokyklos. 2009 m. Jis organizavo kognityvinių filmų tyrimų laboratoriją. Nuo 2011 m. Jis dirba Rusijos nacionalinės ekonomikos ir viešojo administravimo akademijoje Rusijos Federacijos prezidentu.Socialinių tyrimų metodologijos specialistas, bendroji teorija apie klaidas masinės apklausose, pažintinis tyrimo įrankis.

– neseniai ne Tu su savo kolega Anna Ipatova paskelbė knygą su provokuojančiu pavadinimu "Kaip yra pagrįsta mūsų tikėjimas popieriniais tyrimais?". Kas parašė šią knygą?

– Mes nuvykome į ją ilgą laiką. Ir yra didelė autorių, mokslininkų komanda. Mes taip dažnai susiduriame su suklastotaisiais ar amatams taikant tyrimo technologiją! Galų gale, kai atliekame tyrimus, mes retai žvelgiame į tai, kas čia vyksta "lauke". Socialinė analizė dažniausiai apribota skaičiais. Ir kai tik mes nusprendėme patekti į tuos laukus ir parengėme tokį nedidelį eksperimentinį planą. Du iš mano kolegų dirbo interviu metu viename iš didžiausių rinkimų sociologijos centrų. Ten, kai jie pradėjo dirbti ten, susidūrėme su tokia nuostabių pasakojimų, kurie su jais lydėjo, mastu, kad apskritai mes labai pradėjome abejoti, kokių duomenų mes gauname. Viskas prasidėjo tuo, kad prižiūrėtojas yra asmuo, kuris užduočių klausimą išduoda pokalbiui – iš karto labai "maloniai,motinai "reagavo į mūsų merginas, sakydama:"Na, aš esu ne cerberus kas, jei negaliu paklauskite ko nors draugas draugas Arba eik kaimynams, jei tavo vietoje kaimynas tinka amžius ". Ir taip ir toliau. Tada, žinoma, merginos aptarė keletą pokalbių su kitais interviuotojais, kurie taip pat dalinosi savo patirtimi apie šiuos pokalbius. Prakeiktas apgailėtinus sociologus, kurie sudaro tokius klausimynus, kurių net garbingi mokslininkai negali padaryti – jau nekalbant apie įprastus žmones, kurie turi bulves arba ką nors kepti keptuvėje, ir čia jiems reikia kalbėti apie didelę politiką 3-4 valandos! Iš tikrųjų dažnai išsami klausimynas trunka labai ilgą laiką. Ir apskritai labai keista manyti, kad žmogus nori tą laiką praleisti. Be to, interviuotojai paprastai mokami labai, labai mažai. Ir paaiškėja, kad dėl jų kyla didžiulis planas, jie yra apklausti ir vertinami pagal visiškai priimtus klausimynus, o ne apie tai, su kuo jie kalbėjosi. Atitinkamai visa tai verčia rinktis tuos ar kitus kūrinius.

– ir į kas tai yra į rezultatas veda?

– Tai lemia tai, kad, mūsų skaičiavimais, kažkur apie 40-50% visų apklausų yra apkaltos vienaip ar kitaip. Tiesa, čia mes ne unikalūs. Buvo įmanoma nedelsiant perteikti tyrimo centrus su supuvusiais kiaušiniais ir puviniais pomidorais ir pradėti šaukti, kad jie daro kažką negerai. Bet tai vyksta visame pasaulyje: kai žmonės rimtai pradeda kalbėtis apie apklausas, jie visada kalba apie apklausų klaidas. Tai reiškia, kad apklausa visada yra klaidų taisymas. Šia prasme tokio pokalbio nėra, kad apklausa buvo atlikta gerai ar blogai. Apklausa visada padarė blogai Turime įvertinti duomenų kreivumą, o po to mes galime kažkaip padaryti išvadas, ar pasitikėti šiais skaičiais, ar ne.

Paprastai mūsų tyrinėtojai apsiriboja vadinamąja statistine atsitiktine atrankos paklaida. Žinoma, jūs girdėjote: 3,5 proc., 2,5 proc. Ir tt Šis skaičiavimas nieko nesako, nes tai atliekama iš tikrųjų atsitiktinių mėginių, o didžioji dauguma pavyzdžių nėra atsitiktiniai, o jų skaičiai yra tiesiog neteisingi. Tikrosios paklaidos, realios klaidos, kurias paskelbė interviuotojai, apie kuriuos kalbėjau, yra daug daugiau: 20-40%.

Įsivaizduokime, pareiškiame: prezidentą palaiko 85% gyventojų. Tada pridėkite: plius ar minus 40%. Taigi, kas Tai sakyti apie nieko.

– Tikrai yra įmanoma 40% klaida? Iš kur tas pats ji yra imtasi?

– Visos klaidos paprastai susideda iš dviejų tipų. Vienas tipas yra pateikimo klaidos, t. Y. Kaip mes sukūrėme pavyzdį. Ar mes tikrai kalbėjome su žmonėmis, atstovaujančiais gyventojus? Kai mes kalbame apie Rusijos gyventojų atstovavimą, yra labai sunkus kriterijus: kiekvienas pilietis, turintis Rusijos pasą, turėtų turėti vienodas galimybes patekti į mūsų pavyzdį.

– A. on labai verslas tai yra ar ne? Mes turime ne lygus šansai?

– Iš tikrųjų jis neturi lygių galimybių. Bet tai nėra blogiausia. Mums reikia žinoti, kokie tikimybes jis turi patekti į imtį. Tada mes galime perskaičiuoti tai gyventojams ir gauti tam tikrą procentą. Deja, čia atsiranda keletas reprezentacinių klaidų. Pirmoji klaida yra aprėpties klaida. Kas tai yra Labai dažnai mes neieškoime viso gyventojų skaičiaus – mes nenustatome eilėje žmonių! Mes turime kažkaip su jais susipažinti. Yra gyventojų pavyzdžiai, kurie yra laikomi gyvenamojoje vietoje. Žmonės, kurie yra laisvės atėmimo vietose, atostogaujant, verslo kelionėse ir tt, iš karto išeina iš šio pavyzdžio. Tačiau labiausiai nemaloni, žmonės, kurie dirba, išeina. Tai yra, kas šiuo metu dirba ir nenori kalbėtis su apklausėjais.Yra daug jų.

Antroji imties dalis – tai atsakymo pavyzdžiai. Tai reiškia, kad nepakanka, kad asmuo būtų namuose, pvz., Ar jo kišenėje yra mobilusis telefonas. Būtina, kad jis būtų su mumis kalbėtis. Ir toks neveiksmingumas, kaip manome, pasiekia 70-80%. Tai yra, mes iš tiesų apklausėme 20-30% tų, kuriems mes kreipiasi. Tai yra labai didelis iššūkis tyrimo technologijoms. Galima pasakyti: gerai, viskas, reikia uždaryti parduotuvę, pereiti prie kažko kito. Tačiau, apskritai, tas pats procentas Vakarų Europos šalyse. Tai nereiškia, kad bus klaida. Tai rodo, kad mes turime dvi žmonių grupes. Viena mūsų grupė nori kalbėti apie mūsų apklausas. Antrasis to nenori. Ir mūsų uždavinys kaip mokslininkams yra įvertinti, kiek tie, kurie nori pasikalbėti su mumis, skiriasi nuo tų, kurie nenori kalbėti su mumis tam tikrais klausimais.

– In pratarmė į Tavo knygoje sakoma: "Net lyderiai tyrimai rinkos aptiktas labai žemas lygis teisingai užpildyta ruošiniai klausimynai. Fabrications ir apklausose atspindintys apgauliai ypatingas profesionalus kultūra vyrauja Rusijoje pastaruosius 20 metų. "Ir kas tau pagrindai tikėti tuo tas vienas profesionalumo stoka nešioja dabar masyvi simbolis? Ir kodėl? tiksliai per pastaruosius 20 metų? Kaip tai veikia paaiškinti

– Eh, jei tik masė! Tada turėsime keletą elitinių centrų, kurie galėtų parodyti, kad viskas gerai su jais. Tai sisteminga!

– A. yra kanoniškas metodinė centrai, į kuriuos gali tai būtų naršyti?

– Apklausos technologijoje mes galime sutelkti dėmesį tik į Jungtines Amerikos Valstijas ir kai kurias Europos valstybes. Todėl tyrimo technologijų krizė mūsų situacijoje netgi nėra didelio masto, o vienos sistemos. Tai yra, ji jau yra įtraukta į šias technologijas patys. Problema ta, kad perestrozijos proga mūsų visuomenės teoriniai metodologiniai klausimai buvo labai susiję su mūsų rusų sociologais. Ir staiga jie staiga tapo žurnalistais. Pavyzdžiui, Michael Burovoy asmeniniame pokalbyje minėjo vieną kartą: "Aš apskritai įnirtingai pažvelgė į pirmaujanti rusų sociologai devintajame dešimtmetyje. Man tai atrodė taip čia yralaikas, kada reikia mokytis kas atsitinka į antroji – kalbėti su darbuotojai, su kuriais kalbasi naujai kalimas verslininkai rašo ir pataisyti šie faktai. Ir aš žiūrėjau on kolegos, iš ko labai pagarba, – Poison Zdravomyslova, Shubkina ir tt visi parašė kai kurie žurnalistikos straipsniai"Tai nėra nieko baisus. Baisus prasidėjo po to … Staiga kažkas panašaus į tai susidarė (dar kartą, tikriausiai, ne staiga), lauko darbas, interviuotojo darbas, pokalbis su asmeniu (tai iš tiesų yra pats svarbiausias , pagrindinis viso tyrimo technologijos faktas) buvo suvokiamas ne kaip apie sociologiją, o kaip apie mokslą, bet kaip apie techninį darbą. Tai reiškia, kad kiekvienas galėtų atlikti šį techninį darbą. Nei reikia kvalifikacijos, nei darbo patirties. Tai yra didžioji situacija. Šiandien labai dažnai, kai atvykstate į tyrimų centrą, pradėkite kalbėti apie metodiką (ir jūs galite daug kalbėti apie vadinamąjį suplanuotą pavyzdį, apie klausimyną, apie tai, ką reikėtų padaryti norminiu būdu), pakanka iš tikrųjų tai daroma, kad staiga atskleistų, kad niekas nesupranta, kaip tai daroma.Niekas nenori suprasti, nes kuo greičiau atskleidžiami faktai, kaip faktiškai vyksta apklausa, daugelis mokslininkų tiesiog atsisako. Jei mes, tarkim, 40 proc. Anketų užpildė patys apklausos dalyviai, kurie niekur nedalyvavo, apie tai turėtume žinoti.

– tada yra save tyrėjai, kurie gauti on perdirbimas šie duomenys nežino, kaip jie yra buvo gavo?

– Tai tragedija! Joms yra juodas langelis. Taigi jie išstumia bet kokią mokslinę veiklą. Kaip galima suvokti šią realybę, kai nėra realybės? Tik realybė yra tai, kad jie bando analizuoti. Štai kodėl mes turėjome tokią labai keistą kvazi-kalbą – pokalbį apie tyrimo duomenis, kurie iš tikrųjų dažnai priskiriami tyrimų centrams, o ne technologijoms. Tikriausiai visi girdėjo: "Levada centras parodė tokius ir tokius duomenis", "parodė VTsIOM", "parodė FOM". Pavyzdžiui, jei, tarkim, prognozėje yra kokių nors klaidų, pvz., Maskvos rinkimuose (neseniai rinkimų kampanijose buvo daug klaidų prognozėse), tuomet iš karto kaltinama organizacijoms. Tai yra tarsi organizacija atstovauja tai leviatanui, išsiskleidžiančiam šiuos skaičius: 70%, 60%. Apklausos technologija yra labai didelė produkcija. Tai konvejerio juosta.Mes turime pasiekti pabaigą.

Čia ši stebėjimo technologijų padėtis, kaip keista, yra panaši į padėtį, kurią apibūdina korumpuoti santykiai. Tai yra taip, nes čia mes turime sąveikos sistemą, turime reguliavimo santykius. Tai yra, mes žinome, kaip elgtis ir tt Ir kiekvienas iš mūsų žino, kaip tai iš tikrųjų, bet tai tyliai. Jei mes susitinkame vidiniuose susitikimuose su polstriais (tai yra tie, kurie atlieka viešosios nuomonės apklausas), tada labai dažnai tiesioginiai klausimai apie tai, kas vyksta, seka šypsosi: "Na, mes žinome, kaip tai padaryti patys verslas tai yra vyksta. Kas apie tai kalbėti? Apie tai nereikia kalbėti„.

– Pasirodo tokia intracorporate žinau, kad nepašalinta nes kas tu esi nesuprantu kaip tai yra keisti?

– Ateikite, tai nebus pašalinta! Ji taip pat neimama į vidų. Kiekvienam mokslininkui tai lieka tokia žemesnio laipsnio kompleksas, nes jis žino, kad yra mažai, kad gali turėti įtakos. Labai dažnai tai laikoma savaime suprantama, kaip tai turėtų būti.

– posūkis į profesionalus norma?

– Taip, buvo sukurta profesinė norma: jei aš renku klausimą, apskritai aš neturėčiau nieko apie atranką žinoti. Ir tai yra du susiję dalykai.Jei nesuprantu, kaip veikia atranka, negaliu interviu. Priešingu atveju, kas gali motyvuoti mane, sakyk, paskambinti į šį butą, o ne paskambinti į šį butą? Jei nesuprantu, kaip parenkamas pavyzdys, pagal tai, kokios taisyklės yra pastatytos, niekas neleis man pasikalbėti su šiuo asmeniu. Todėl čia atsiranda ši daugialypė sociologijos situacija. Galų gale labiausiai tikrasis sociologas-vertėjas yra pats pats pokalbis. Jis kuria sociologiją šioje srityje. Tačiau tik jis tai daro pagal jo skonį, kuris visiškai neatitinka ne tik pasaulio tendencijų, bet ir net ir sveiku proto normų moksline tradicija.

– A. teisus ar tai toks šaknis metodinė pažeidimai ne priklausyti temos apklausa? Nesvarbu, ar tai yra rinkodara susiję tyrimai su prekėmis, ekonomika ar su politika, nes problema ne in tai ne apie kas mes esame bando sužinoti ir problema taip, kaip mes bando gauti tai yra žinios, ar ne?

– Tiesa, bet su vienu pakeitimu. Tai susiję su tuo, kad jis neturi įtakos tam tikriems klausimams, o tai labai įtakoja kai kuriuos dalykus. Pavyzdžiui, neseniai mes nuėjome į Vyazniki. Ten apklausiami 900 respondentų.Antrąkart vaikščkėme beveik 500 žmonių, kalbėdami su žmonėmis ar sužinoję, ar interviuotojai tikrai juos pasiekė. Taigi, turime unikalią duomenų bazę: žinojome, kad šie klausimynai buvo pagaminti, ir jie nebuvo pagaminti. Ir jie galėjo palyginti atsakymų į konkrečius klausimus rezultatus. Taigi, mes nustatėme, kad mums reikšmingi klausimai (tai buvo klausimai, susiję su vidaus migracija) buvo pagaminti, o neparuošti atsakymai buvo vienodi. Tai reiškia, kad jie neturi įtakos tai, ko mes prašome. Ką tai daro? Poveikis – tie klausimai, kuriuos interviuotojas negali įsivaizduoti. Tai reiškia, kad jis nežino jų tikrųjų paskirstymų. Tarkime, paso klausimas, kelionės į užsienį klausimai, susiję su vaikų ugdymu, priklausomai nuo šalių.

Taigi, galbūt polstriai yra apdrausti analizuojant tik linijinius paskirstymus. Linijiniai paskirstymai yra atsakymai į konkrečius klausimus: "As tu esi apskritai gydyk į Putinas? Geras blogas ar ne?"Jie atsakė – o tada jie neisiu toliau: kas atsako, darbuotojas, žurnalistai ir kt. Kodėl jie nemano? Nes kai tik mes giliname, ten bus labai didelių klaidų.Bet apskritai mes nesuteikiame labai didelių klaidų į šį klausimą, net jei šie atsakymai yra pagaminti.

– vienas labai daug rimtas akimirkos, kurios sukeltas rimtas profesionalas diskusijos buvo rezultatų apklausa apie paramą Krymas Rusų kalba piliečiai. Kai rezultatai buvo pristatytas internete akimirksniu gimė meme pro "86% rusų" ir profesionalūs aplinka garsas aštrus kritinis atsiliepimai. Kas taip susirūpinęs mokslininkai?

– Taip, daugelis mano kolegų tiesiog prasidėjo šnipinėti, kad sociologai niekada neplauktų po tokio tyrimo, kad jie visiškai prisitaikė prie valdžios, pamiršo ne tik savo protesto veiklą ir profesinę etiką, bet ir civilinę etiką ir pan. Galų gale visi žino, kad sociologija yra kairysis mokslas. Marksizmas jai yra vienas iš ramsčių. Ir kritinė pozicija yra sociologo padėtis. Taigi po to aš ir mano kolegos, kurie nedalyvavo rengiant šį tyrimą, tiesiog paprašė FOM ir VTsIOM duomenų apie tyrimo atlikimą. Ir čia mes turime visiškai nuostabius faktus, nes šis tyrimas buvo atliktas naudojant šiuolaikines technologijas.Ir mes turėjome visus šiuos parodymus, kurie mums leido atlikti gana nuodugniai nuodugniai išnagrinėti, kas ten vyksta. Tyrimo laikas – net pats tyrimas, bet laikas, praėjęs iš problemos išdėstymo; Tai pasirodė kai kurie žmonės, kurie sakė: mes turime tai žinoti, mes jį išmėginsime, – praėjo trys dienos, kol šie žmonės pateikė linijinius paskirstymus (tai yra atsakymai į klausimus). Ir dabar pagalvokime. Tai visuotinė apklausa, kurioje apklausta daugiau nei 50 000. Per tris dienas! Kai tai pasakiau savo amerikiečių kolegoms, jie tiesiog nusilenkė pečiais: "Tai neįmanoma". Tai beveik neįmanoma. Čia mes matėme, kaip galima sutelkti rinkimų rinką, nes čia pagrindiniai veikėjai buvo FOM ir VTsIOM, tačiau apskritai visose Rusijos regionuose dalyvavo dešimtys rinkimų centrų. Ir tai buvo padaryta tik fantastišku laiku. Paprastai rinkodaros specialistai šypsosi sociologų lėtėjimu ir tyrimų technologijomis, sakydami, kad rinkodaroje yra verslo klientas, mes turime padaryti viską greitai. Tačiau nė vienas iš rinkodaros niekada nesiėmė tokio darbo. Niekas neatliktų darbo, per kurį trunka tris dienas nuo užduoties nustatymo iki rezultato.

– A. galbūt tai yra nekalba tai rezultatas buvo pagamintas?

– Taip, pirmoji mintis, kuri ateina į galvą: jie tikriausiai "dažome" visa tai, 50 000. Bet mes turime ne tik 50 000 garso įrašų šioms 50 000, bet ir visi gedimai garso įrašuose. Ir tai, kaip jau minėjau, yra beveik 8 kartus didesnis nei šis pavyzdys. Tai reiškia, kad turime daugybę įrašų. Kai pradėjome kurti įrašų pavyzdžius, klausykimės, analizuosime, kaip teisingai atsakyti ir pan., Buvo nustatyta, kad apskritai, remiant Krymą, šios paramos vertinimas buvo atliktas gana adekvačiai. Ir vienintelis dalykas, kurį matėme, buvo tai, kad šis skaičius tiesiog sukrėtė inteligentiją. Jie nesitikėjo, kad tokia masinė parama būtų įmanoma.

Kitas stebina faktas: kai tik šie duomenys buvo paskelbti, tai rodo, kad apskritai nebuvo klastojimo, be to, technologija buvo pritaikyta teisingai, niekas nepripažino jo klaidos, tiesiog perėjo prie kitų argumentų, pradėjo ieškoti kitų priežasčių kaltinti tą ar kitą rinkimų centrą. Tai tiesiog parodo, kad, deja, skirtingai nuo gamtos mokslų, mūsų tyrimo technologijų mokslas yra viešame diskurse. Mes nuolatos tikimės, kad būtume užpuolę svetimšaliai, bet esame patys išpuolę.Kadangi dažnai sunku atsiskirti nuo savo pozicijos kaip pilietis iš šios srities tyrėjo pozicijos. Ir tai tikrai trukdo. Kadangi jūs galite nesutikti su tuo, kas balsuoja už Krymą ir kas balsuoja, bet apskritai jūs negalite iš juodos dėžutės ištrinti ir nežiūrėti, kaip žmonės kalba apie tai.

Atneškite pavyzdys apie save šiurkštus metodinė pažeidimai su apklausa Tu esi susiduria su

– Kanoniškas pavyzdys yra tokia formuluotė: "Prašau pasakyti, kaip vertinate šią ar tą programą ir jos uždarymo perspektyvas:
a) tai daroma gerai;
b) tai daroma gerai, bet gali atrodyti geriau;
c) pasaulyje yra daug gerų programų. "

Labai dažnai susiduriama su tokiais bandymais atlikti vertinimo studiją, kurioje nėra galimybės atsakyti neigiamai, taip pat ir profesinėje bendruomenėje, bet ir vyriausybės struktūrose, kurios bando į savo kasdienį gyvenimą įtraukti tyrimo technologijas.

– A. kuris vienas Tu esi susitiko keisčiausi neprofesionalus pavyzdys interpretacijos, interpretacijos sociologinis duomenys?

– Neprofesionalios duomenų interpretacijos lyderis čia Rusijoje vėl yra viena iš valstybės tarnybų, tai yra Federalinė antimonopolinė tarnyba. Kadangi jie prižiūri reklamos įstatymą, kuriame teigiama, kad jūs turite žinoti viešąją nuomonę konkrečiu klausimu, jie atlieka apklausas tinklalapiuose. Paskelbkite klausimą, o ne tikrai rūpi, kas gali atsakyti. Vienas žmogus gali atsakyti 10 kartų, o gal ir 20 metų. Tačiau kadangi tai nėra įdomu, paprastai ten 20-30 žmonių atsako į šį ar tą klausimą ne daugiau kaip 100 žmonių.


Like this post? Please share to your friends:
Parašykite komentarą

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: