Восемь мировых трендов в опросах общественного мнения
на конференции WAPOR состоялась дискуссия о методологических проблемах полстеров и новых технологиях опросов
12:30, 25 СЕНТЯБРЯ 2016
Традиционные методы исследований устаревают, готовность людей отвечать на вопросы полстеров снижается, доверие населения к результатам опросов – тоже, затраты на их проведение растут – такая ситуация в опросах общественного мнения оценивается как кризисная и в США, и в России. Опросные компании ищут новые исследовательские методики.
ФОМ провёл семинар по трендам в социологии на конференции Американской ассоциации исследователей общественного мнения (WAPOR) и составил подборку эффективных нововведений в методологии опросов.
ФОМ провёл семинар по трендам в социологии на конференции Американской ассоциации исследователей общественного мнения (WAPOR) и составил подборку эффективных нововведений в методологии опросов.
1. Комбинированные методы опросов
Распространенные в России, Восточной Европе и Азии опросы face-to-face в США уже почти не проводят. При подготовке таких исследований значительных усилий требуют формирование многоступенчатой выборки, тщательный инструктаж интервьюеров, и обходятся они в разы дороже, чем телефонные или онлайн опросы. Американские компании все чаще используют комбинированные методы, совмещая разные способы опросов. Как правило, исследование начинают с онлайн опросов, а затем уже подключают более дорогие методы. Есть и другие тактики, например, компания RBI выстраивает следующий вариант приемлемой достижимости респондентов: 40% – стационарные телефоны, 40% – мобильные телефоны, 20% – онлайн опросы.
Распространенные в России, Восточной Европе и Азии опросы face-to-face в США уже почти не проводят. При подготовке таких исследований значительных усилий требуют формирование многоступенчатой выборки, тщательный инструктаж интервьюеров, и обходятся они в разы дороже, чем телефонные или онлайн опросы. Американские компании все чаще используют комбинированные методы, совмещая разные способы опросов. Как правило, исследование начинают с онлайн опросов, а затем уже подключают более дорогие методы. Есть и другие тактики, например, компания RBI выстраивает следующий вариант приемлемой достижимости респондентов: 40% – стационарные телефоны, 40% – мобильные телефоны, 20% – онлайн опросы.
Компания RAND проводила опрос среди людей, недавно переживших потерю близких в хосписах, посредством такой схемы: сначала респондентам отправляли письмо с анкетой, а через несколько дней опрашивали по телефону не ответивших в письменной форме. Во время опроса социологи обнаружили, что респонденты были негативно настроены, когда отвечали на вопросы по почте, а во время телефонного опроса были настроены на более позитивный лад.
Поэтому при полстерских компаниях создаются методические лаборатории, которые занимаются «выравнивание» данных комбинированных опросов и изучением реакции респондентов на разные опросные методы.
2. Работа с Big Data
По словам директора по маркетингу компании OMI Ольги Стрелковой, интеграция больших данных в количественные исследования – популярная тема мировых социологических конференций с 2013 года. Интернет-технологии позволили социологам анализировать поведение пользователей на сайтах и форумах, используя любые типы данных: тексты, видео, геолокацию, транзакции. Работа с Big Data позволяет без коммуникации с пользователями распознавать их пол, возраст, место проживания, важные жизненные события и интересы, предугадывать последовательность действий в оффлайне и отслеживать поведение после опросов. Техники Big Data активно применяются не только в маркетинге, но и в социальной и политической сферах. Однако при работе с Big Data у социологических компании возникает немало сложностей и вопросов, которые связаны с интерпретацией данных, сопоставлением связей между ними и исключением случайных зависимостей.
2. Работа с Big Data
По словам директора по маркетингу компании OMI Ольги Стрелковой, интеграция больших данных в количественные исследования – популярная тема мировых социологических конференций с 2013 года. Интернет-технологии позволили социологам анализировать поведение пользователей на сайтах и форумах, используя любые типы данных: тексты, видео, геолокацию, транзакции. Работа с Big Data позволяет без коммуникации с пользователями распознавать их пол, возраст, место проживания, важные жизненные события и интересы, предугадывать последовательность действий в оффлайне и отслеживать поведение после опросов. Техники Big Data активно применяются не только в маркетинге, но и в социальной и политической сферах. Однако при работе с Big Data у социологических компании возникает немало сложностей и вопросов, которые связаны с интерпретацией данных, сопоставлением связей между ними и исключением случайных зависимостей.
Дарья Колесникова
3. Фиксирование данных из разных источников
«У российских компаний гораздо меньше данных о респондентах, чем в США, где есть источники надежной информации о населении. В американском Бюро переписи населения хранятся данные о 95% жителей, поскольку в США участие в переписи обязательно, – рассказала старший научный сотрудник Социологического института РАН Мария Мацкевич. – Для социологов и опросных компаний это служит надежной основой для составления выборки».
Кроме того, американские компании используют данные почтовой службы США и публичные списки избирателей, в которых может быть указана дополнительная информация. Также исследовательские компании пытаются запрашивать у респондентов доступ к отчёту по трансакциям и к медицинским картам. RAND утверждает, что не все пациенты медицинских клиник охотно дают доступ к информации о своих заболеваниях и заключениям клинических лабораторий, поэтому они полагаются на интервьюеров, которые в комфортной обстановке тактично задают пациентам вопросы. И мотивируют респондентов с помощью небольших материальных вознаграждений. «По закону о защите личной информации респонденты подписывают 3–4 формы согласия на доступ к данным и разрешение на их обработку, – пояснила руководитель исследовательского отдела RAND Джулия Браун. – Поэтому для респондентов важен бренд, репутация вашей организации и то, как вы предоставляете результаты исследования». В последнее время все чаще во время опроса интервьюеры просят респондентов указать профиль в социальной сети.
«У российских компаний гораздо меньше данных о респондентах, чем в США, где есть источники надежной информации о населении. В американском Бюро переписи населения хранятся данные о 95% жителей, поскольку в США участие в переписи обязательно, – рассказала старший научный сотрудник Социологического института РАН Мария Мацкевич. – Для социологов и опросных компаний это служит надежной основой для составления выборки».
Кроме того, американские компании используют данные почтовой службы США и публичные списки избирателей, в которых может быть указана дополнительная информация. Также исследовательские компании пытаются запрашивать у респондентов доступ к отчёту по трансакциям и к медицинским картам. RAND утверждает, что не все пациенты медицинских клиник охотно дают доступ к информации о своих заболеваниях и заключениям клинических лабораторий, поэтому они полагаются на интервьюеров, которые в комфортной обстановке тактично задают пациентам вопросы. И мотивируют респондентов с помощью небольших материальных вознаграждений. «По закону о защите личной информации респонденты подписывают 3–4 формы согласия на доступ к данным и разрешение на их обработку, – пояснила руководитель исследовательского отдела RAND Джулия Браун. – Поэтому для респондентов важен бренд, репутация вашей организации и то, как вы предоставляете результаты исследования». В последнее время все чаще во время опроса интервьюеры просят респондентов указать профиль в социальной сети.
«Мы многому учимся у антропологов, демографов, у тех, кто анализирует социальные сети. Публикации в соцсетях, лайки и фолловеры могли бы показать нам закономерности, паттерны в поведении респондентов. Возможно, человек не может ответить на вопрос, поту что он никогда не думал об этом», — считает Джулия Браун.
4. Консалтинг – заказчику не всегда достаточно получить только результаты опроса
Социологи, участвующие в опросах общественного мнения, становятся экспертами, которые на основании результатов исследования выявляют проблемы и тенденции, составляют прогнозы и рекомендации для заказчика. «Консалтинг воспринимается некоторыми заказчиками как стабилизация бизнеса в кризисной ситуации и возможная стратегия развития. Опросы в сочетании с консалтингом помогают заказчикам принимать взвешенные решения, – считает управляющий директор ФОМ Лариса Паутова. – Примером диверсифицированной компании, большую долю бизнеса которой занимают консалтинг, образовательная и издательская деятельность, можно назвать Gallup – организацию, которая больше всего известна как фабрика по проведению опросов».
Социологи, участвующие в опросах общественного мнения, становятся экспертами, которые на основании результатов исследования выявляют проблемы и тенденции, составляют прогнозы и рекомендации для заказчика. «Консалтинг воспринимается некоторыми заказчиками как стабилизация бизнеса в кризисной ситуации и возможная стратегия развития. Опросы в сочетании с консалтингом помогают заказчикам принимать взвешенные решения, – считает управляющий директор ФОМ Лариса Паутова. – Примером диверсифицированной компании, большую долю бизнеса которой занимают консалтинг, образовательная и издательская деятельность, можно назвать Gallup – организацию, которая больше всего известна как фабрика по проведению опросов».
Павел Мальченко
5. Создание опросных панелей нового типа
Компании все чаще создают панели нового типа, которые рекрутируются не традиционным методом – онлайн, а комбинированным – респондентами новых опросов становятся участники предыдущих. Панели нового типа позволяют хранить подробную информацию о респондентах и связываться с ними не только через интернет. Социологи отмечают, что респонденты, которые входят в исследовательские панели, становятся так называемыми «профессиональными респондентами», которые готовы браться за любую тему и поэтому не всегда искренне отвечают на сенситивные вопросы.
6. Оплата участия в опросах
7. Фиксация параданных
Подавляющее большинство опросных компаний не регистрируют параданные – информацию о процедуре опроса, причинах отказов и другую информацию, которая позволит анализировать отказы от ответов. По словам Марии Мацкевич, многие социологи американских компаний не выявляют значимых различий между теми, кто ответил на вопросы интервьюеров, и теми, кто отказался. Тем не менее, если у компаний есть достаточные объемы параданных, социологи могут выделять вопросы, которые вызвали трудности, и выявлять характеристики отказавшихся от ответа респондентов.
Компании все чаще создают панели нового типа, которые рекрутируются не традиционным методом – онлайн, а комбинированным – респондентами новых опросов становятся участники предыдущих. Панели нового типа позволяют хранить подробную информацию о респондентах и связываться с ними не только через интернет. Социологи отмечают, что респонденты, которые входят в исследовательские панели, становятся так называемыми «профессиональными респондентами», которые готовы браться за любую тему и поэтому не всегда искренне отвечают на сенситивные вопросы.
6. Оплата участия в опросах
Чтобы мотивировать американцев участвовать в опросах и повысить responce rate, исследовательские компании предлагают респондентам небольшую плату или вознаграждение, которое участники опроса получают, например, за присланную анкету с ответами. В России такая форма мотивации практически отсутствует, если и встречается, то в основном в маркетинге, но опросные компании все чаще задумываются о том, чтобы начать платить респондентам. При этом, по наблюдениям сотрудников RAND, опросы о медицине, образовании, гражданско-правовых отношениях имеют больший отклик, чем опросы на общественно-политические темы.
7. Фиксация параданных
Подавляющее большинство опросных компаний не регистрируют параданные – информацию о процедуре опроса, причинах отказов и другую информацию, которая позволит анализировать отказы от ответов. По словам Марии Мацкевич, многие социологи американских компаний не выявляют значимых различий между теми, кто ответил на вопросы интервьюеров, и теми, кто отказался. Тем не менее, если у компаний есть достаточные объемы параданных, социологи могут выделять вопросы, которые вызвали трудности, и выявлять характеристики отказавшихся от ответа респондентов.
Илья Ломакин
8. Неслучайные выборки как альтернатива случайным
Еще одна проблема опросных компаний – соответствие строгим требованиям процедуры опроса, которые обеспечивают репрезентативность данных. Мария Мацкевич приводит слова американских исследователей: «Если у вас 1% ответивших в так называемых случайных выборках и вы не знаете ничего об остальных, то кому нужен такой опрос?».
Еще одна проблема опросных компаний – соответствие строгим требованиям процедуры опроса, которые обеспечивают репрезентативность данных. Мария Мацкевич приводит слова американских исследователей: «Если у вас 1% ответивших в так называемых случайных выборках и вы не знаете ничего об остальных, то кому нужен такой опрос?».
По мнению директора Центра методологии федеративных исследований РАНХиГС Дмитрия Рогозина, сейчас в России применяется выборка, которая использовалась американскими исследовательскими компаниями в 1930–40-х годах. Запроектированная выборка, которую составляют сотрудники исследовательских компаний, в редких случаях совпадает с реализованной выборкой интервьюеров.
Несмотря на декларацию о том, что опросы проводятся по случайным выборкам, выборки в российских исследованиях в некоторых опросах неслучайные, считает Рогозин. Работая в условиях случайной выборки, интервьюеры нередко нарушают методологию и инструкции.
В своем докладе Дмитрий Рогозин рассказывает о контроле полевых работ, который неоднократно проводила его лаборатория: несмотря на то, что интервьюеры и региональные опросные компании были предупреждены о методологической проверке, часть анкет была «нарисована», некоторые адреса и имена респондентов в реальности отсутствовали, то есть данные были сфабрикованы. Часть респондентов отвечали на вопросы квартирного опроса на улицах, в торговых центрах и в анкете указывали не свои контактные данные. «Если для случайной выборки опросы на улицах – это нарушение процедуры, то для неслучайных выборок это может быть самой процедурой», – утверждает Дмитрий Рогозин. В 2016 году социолог совместно с ФОМ выпустил книгу о неслучайных выборках – перевод доклада Американской ассоциации исследователей общественного мнения (AAPOR). – Исследования на неслучайных выборках дают не худшие результаты. Чем больше будет неслучайных выборок, тем лучшее качество мы получим на выходе».
В своем докладе Дмитрий Рогозин рассказывает о контроле полевых работ, который неоднократно проводила его лаборатория: несмотря на то, что интервьюеры и региональные опросные компании были предупреждены о методологической проверке, часть анкет была «нарисована», некоторые адреса и имена респондентов в реальности отсутствовали, то есть данные были сфабрикованы. Часть респондентов отвечали на вопросы квартирного опроса на улицах, в торговых центрах и в анкете указывали не свои контактные данные. «Если для случайной выборки опросы на улицах – это нарушение процедуры, то для неслучайных выборок это может быть самой процедурой», – утверждает Дмитрий Рогозин. В 2016 году социолог совместно с ФОМ выпустил книгу о неслучайных выборках – перевод доклада Американской ассоциации исследователей общественного мнения (AAPOR). – Исследования на неслучайных выборках дают не худшие результаты. Чем больше будет неслучайных выборок, тем лучшее качество мы получим на выходе».