Синдром «дикого помещика»

Есть у меня гипотеза: секрет ИИ-революции заключается в синдроме «дикого помещика» у Салтыкова-Щедрина: «Думает, какие он машины из Англии выпишет, чтоб все па‌ром да па‌ром, а холопского духу чтоб нисколько не было». Синдром этот овладел мировыми элитами, раздосадованными необходимостью платить зарплаты и взаимодействовать социально, экономически и политически с т.н. «людьми». Реальность (к моему глубокому сожалению) все больше подтверждает эту гипотезу. 

Вышла статья энтузиастов из Стэнфорда. Они «доказывают», что в мире ИИ даже социологические исследования будут проходить без участия «мужика» — человека и в качестве «социолога» и в качестве «респондента». 

И вот как:

Авторы обучили большую языковую модель GPT-4 на массиве из 70 опросов жителей США, всего более 100 тыс. участников. Опросы относились к широкому кругу направлений: от психологии и социальной политики до политологии и общественного здравоохранения. 

Цель состояла в моделировании реакций людей, относящихся к определенным демографическим подгруппам (по полу, возрасту, образованию, политпредпочтениям и т.д.). После обучения модели выбирался один вопрос из внешнего (не из эксперимента) исследования и устанавливалась корреляция между ответами GPT-4 и реальными данными. 

Коэффициент корреляции от 0 до 1, где единица — 100% совпадение ответа модели с ответами живых людей. GPT-4 продемонстрировал достаточно высокий результат — 0,85-0,9. Экспериментаторы сделали и контрольный опыт: провели опрос среди 2659 человек, которые не были социологами, попросив их предсказать результаты социологических вопросов. Корреляция в этом случае составила 0,79. Так авторы сделали вывод о превосходстве модели над людьми.

Вывод традиционный для экспериментов такого рода — «дайте денег и через шаг ИИ сделает ненужным любую форму полевой социологии, потому что будет моделировать результат исследований со 100% точностью, что повлечет экономию средств в размере N миллиардов долларов». Отдельный плюс в отличие от «мясных социологов» модель способна принести результат быстро — в «один клик». 

На практике же много вопросов. 

1. Точность ответов GPT-4 в исследовании зависела от подсказок — чем больше их было, тем точнее получался результат. 

2. Работа подобных моделей требует контролируемых условий и постоянной оценки эффективности со стороны разработчиков. Предсказательная точность языковых моделей в реальных условиях, как правило, падает — в т.ч. из-за накапливающихся погрешностей. 

Все это делает модели не настолько удобным, быстрым и дешевым инструментом прогнозирования, как об этом заявляют их создатели. Чтобы контролировать модель, нужно постоянно проводить дублирующие реальные исследования иначе ты никогда не узнаешь, в какой момент ее «ответы» кардинально разойдутся с ответами реальных респондентов. Феномен накопления ошибок на каждом круге работы языковых моделей — известен, что делать с ним непонятно даже теоретически, но это никак не мешает их разработчикам продавать «мир будущего, где человек не нужен».

Даже в идеальных условиях для некоторых подгрупп точность была значительно ниже базовых 0,85: мужчины оказались менее «просчитываемы» — с корреляцией 0,72. А чернокожие — так и вовсе 0,6. В итоге — из описания эксперимента прямо следует, что чем дальше оцениваемый человек отходит от идеала предсказуемости — «пожилая женщина азиатского происхождения», тем меньше можно полагаться на предсказания ИИ. 

Еще одна проблема в том, что модели требуют огромных массивов данных для обучения, и без притока новых социологических исследований им останется учиться на данных, которые они сами и сгенерировали — что приведет уже не к ошибкам, а к галлюцинациям. Ну и, чтобы хоть как-то полагаться на модели, придется даже теоретически исключить возможность появления «меняющих все» радикальных раздражителей для общества — войны, эпидемии, политический радикализм, катастрофы.

Энтузиастов это не останавливает. Ведь модели обещают радикальное увеличение прибыли крупных социологических компаний и снижение расходов заказчиков на социсследования через сокращение рабочих мест в отрасли.

Глеб Кузнецов, политолог

#ГлебКузнецов

Источник