«Мы проанализировали 60 профилей»: почему аналитика КГИ не выдерживает никакой критики

«Предсказавшие Болотную эксперты увидели предпосылки новых протестов», — именно с таким устрашающим заголовком вышла статья о новом докладе Комитета гражданских инициатив (КГИ) «Признаки изменения общественных настроений и их возможные последствия». Авторы исследования – член КГИ, политолог Михаил Дмитриев и эксперты КГИ социолог Сергей Белановский и психолог Анастасия Никольская проанализировали опасные изменения общественных настроений. Однако, если посмотреть на сам доклад и материалы исследования, то возникают вопросы к качеству аналитики КГИ.

В самом начале доклада авторы указывают на то, что исследование носит «поисковый характер», что, по их задумке, должно снижать требования к его качеству, однако затем они вспоминают, что благодаря использованным методам им удалось «заранее и с довольно высокой точностью выявить нарастание протестной активности и недовольства населения, которое предшествовало выборам нового состава Государственной Думы в конце 2011 г.», что должно убедить читателя в точности выводов.

В исследовании проводятся довольно стандартные манипуляции со статистическими данными, ничего такого, что должно было бы удивить читателя. Нет сложных моделей, нет даже простых корреляций или регрессии. Авторы просто презентуют результаты соцопросов, которые были проведены лично ими или другими социологическими службами.

Надежда вернулась, когда я дошел до следующей части доклада: «Дополнительно был проведен сравнительный анализ личностных социально-психологических профилей сторонников и оппонентов государственной политики по данным социальных сетей». Так как я интересуюсь анализом больших данных, я подумал, что эксперты КГИ, используя API «ВКонтакте», смогли выгрузить огромные объемы данных и проанализировали их. Разочарованию моему не было предела, когда я узнал об объемах выборки:

«Мы отобрали 60 пользователей социальных сетей (40 — Facebook, 20 — Вконтакте). Их них 19 пользователей социальной сети Facebook поддерживают государственную политику, 21 человек пользователей сети Facebook — критикуют государственную политику».

В эпоху Big Data и Data Science люди руками отбирают 60 профилей, чтобы опять же вручную проанализировать: «посты, комментарии, лайки, размещаемые ссылки, фотографии, эмоджи, обсуждения, дискуссии».

На основе анализа только 60 профилей эксперты проводят сравнительный анализ сторонников и противников государственной политики и делают смелые выводы относительно перспектив развития политического процесса. Вопросы здесь возникают не столько к объемам выборки (хотя и это, конечно, ужасно), сколько к тому, что все это делалось вручную. Исследователи либо не знают об автоматизированных средствах сбора и анализа данных, либо не умеют ими пользоваться.

На основе нескольких фокус-групп, открытой социологии, своих опросов и анализа 60 (!) страниц пользователей соцсетей эксперты делают какие-то выводы. Студент начальных курсов политологии или социологии за такаю работу в лучшем случае получил бы оценку «хорошо», но здесь идет речь о серьезной структуре, фабрике мыслей, которая своими исследованиями пытается влиять на процесс принятия политических и государственных решений.

Эксперты КГИ сообщают нам, что сегодня существуют предпосылки новых протестов, что, возможно, действительно так. Но их выводы сделаны на основе слабых данных. «Если у вас нет данных, то вы презентуете свое мнение, а ваше мнение никому не интересно». Работы такого уровня, конечно, вызывают вопросы и к остальным проектам КГИ.

Михаил Карягин, политолог