Общественное мнение: ответы и неответы

Задача решалась в течении полутора лет путем многократных обращений по адресам, где не сразу удавалось достичь респондента (по условиям исследования замена недостигнутого респондента запрещалась). Количество посещений по одному адресу доходило до восьми, 85% анкет было собрано за первые три посещения. С каждым новым посещением половозрастная структура выборки выравнивалась, в соответствии с этим менялась структура ответов. Анкеты заполнялись на планшетах, велась аудиозапись, использовались GPS-метки. Каждый адрес, по которому не удалось провести опрос, отмечался в зависимости от причины недостижимости (респондент отказался, умер, не говорит по-русски и т. д.). Акцент был сделан на работе с интервьюерами: проводились ежемесячные брифинги с оценками качества работы и RR каждого интервьюера, обсуждения ситуации в поле, совместные поиски способов минимизации отказов, обмен опытом. В качестве дополнительных мер практиковались повторное прохождение по адресам другими интервьюерами, премирование интервьюеров с учётом качества и уровня RR, повышение заинтересованности интервьюеров с помощью привлечения к рекламе проекта. В заключение Вероника Бизюкова отметила, что вышеописанные меры позволяют достигать RR 60% и выше.

Юлия Баскакова представила изучение недостижимости на двух кейсах ВЦИОМ. В первом случае участники телефонного опроса были поделены на две условные группы: легкодостижимые (ответившие с первого раза) и труднодостижимые (ответившие со второго раза и позже). Разница между этими группами по материальному положению, социальным практикам и политическим взглядам незначительна. Недостижимость респондента может быть объяснена отсутствием интереса к теме.

Во втором случае респондентам, отказавшимся проходить развёрнутую анкету, был задан один вопрос. Когда спрашивали о политических взглядах и демографических характеристиках, 80% бросали трубку, по остальным 20% не наблюдалось значимых отличий от основной выборки. Большинство из тех, кому был задан вопрос о причинах отказа, сказали, что им позвонили в неподходящее время, остальные – что никогда не участвуют в опросах. Из вышесказанного Юлия Баскакова сделала вывод, что отказываются от участия в опросе не те, кто отличается от согласившихся по значимым для исследования характеристикам, а те, кто в исследовании просто не заинтересован. Её рекомендация для работы с этими людьми –мотивировать их, например, оплачивать участие в опросе.

Тимур Османов рассказал о результатах анализа неответов в телефонниках из совокупной базы всероссийских опросов ФОМ 2013–2016 гг. В массив вошли более 221 тысяч контактов, включая и согласия, и отказы. Для сравнения полученного распределения с генеральной совокупностью использовались данные Росстата. При телефонном разговоре уровень отказов и прерванных интервью выше, чем при общении лицом к лицу, а информации о респонденте меньше. Проверялось, отличаются ли от всей совокупности те, до кого не удалось дозвониться, и те, кто отказался отвечать. Обо всех респондентах, включая отказавшихся, были известны их пол, результат общения (полное интервью, прерванное интервью или отказ) и телефонный номер, по которому можно определить регион и тип телефона (мобильный или стационарный). Было зафиксировано смещение выборки по полу и региону. Женщины чаще брали трубку (за исключением некоторых регионов, например северокавказских мусульманских республик), но и отказывались чаще. Чаще всего отказывались отвечать жители Москвы и Московской области, Петербурга и Ленинградской области, реже всего – жители Крыма. Доля отказов росла с течением времени.

В дальнейшем обсуждении Пётр Залесский (GfKRussia) согласился с тем, что основная причина отказов может состоять в отсутствии у респондентов мотивации. Алексей Чуриков (ФОМ) добавил, что усугублять ситуацию могут длинные, сложные опросники. Специалисты сошлись в том, что действенными мерами по повышению RR могут стать: материальное поощрение респондентов, повышение личной заинтересованности в теме опроса, обучение техникам общения и воздействия на респондента (упрощение опросных материалов, лотереи, игры и т. п.). Была затронута тема использования высоких технологий, например, проведение телефонных опросов при помощи IVR-роботов.

Валерия Малик (НИУ ВШЭ) заметила, что интересный материал для изучения отказов дают панельные исследования. Раз за разом опрашиваются одни и те же люди, и можно проследить, кто отказывается, а кто продолжает участие. Пётр Залесский предложил изучать отказы, спрашивая согласившихся респондентов, каким был их предыдущий контакт с опросной индустрией, согласились они принять участие в опросе в прошлый раз или отказались и по какой причине.

Эксперты разошлись во мнении относительно того, влияют ли неответы на качество данных. Юлия Баскакова, Пётр Залесский, Марина Красильникова (Левада-Центр) высказались за то, что проблема неответов преувеличена и нет оснований считать, что недостижимость носит неслучайный характер, то есть количественный рост недостижимости не может оказывать влияния на результат. Дмитрий Рогозин (РАНХиГС) предостерёг участников митапа от поспешных выводов и заметил, что тема неответов должна обсуждаться только в совокупности с общей ошибкой исследования. Тимур Османов привёл слова не присутствовавшего на встрече Григория Юдина (НИУ ВШЭ) о том, что отказ отвечать – не случайность, а сознательный выбор. Тимур заключил, что тема неответов набирает популярность в среде российских полстеров.

Определенно, низкий RR – это потенциальная угроза для опросной индустрии, и только совместная разработка проблемы позволит найти ответ на обвинения в низком качестве данных.