(Не)справедливый механизм

Представьте ситуацию — чиновники, ответственные за распределение благ между гражданами, делегируют свои полномочия компьютерной программе. Фактически сегодня уже это можно наблюдать в Европе и США. Выделение детских пособий, приоритезация пациентов для оказания медицинской помощи, распределение субсидий для сельского хозяйства — зачастую это задачи алгоритмов «цифрового государства». 

Привычный подход к оценке подобного инструментария — эффективность, ресурсоемкость. Однако некоторые политологи обращают внимание и на другое измерение — справедливость решений, принимаемых машиной. Почему использование машинного обучения и ИИ в публичной политике несет риски дискриминации? 

Выученная предвзятость

Проблема на поверхности — «выученная» предвзятость моделей, используемых в ходе распределения ресурсов. «Выученная» — потому что модель запоминает закономерности, заложенные в тренировочных данных. Таким образом, если обучающая выборка оказывается нерепрезентативной — результаты будут также предвзятыми. Это оказывает негативное влияние на справедливость принимаемых решений независимо от того, как мы трактуем «справедливость».

Пример — автоматизация сканнинга резюме, предложенная, но впоследствии отозванная, Amazon. Модель, представленная компанией, систематически отдавала предпочтения резюме мужчин. Подобная склонность была объяснена несбалансированностью выборки, используемой для тренировки, — большинство резюме из базы принадлежали мужчинам, поэтому модель не «научилась» предсказывать успех для женщин. 

Ещё менее очевидный пример — попробуйте пообщаться, например, с ChatGPT на политические темы. Рано или поздно можно заметить «левую» склонность языковой модели. Доминирующее объяснение заключается в том, что модель обучалась преимущественно на англоязычном Интернете (веб-сайты Европы, США, западные институты и соцсети), «запоминая» настроения его пользователей. 

Общественный «раскол» выгоден для машины

Вторая проблема более фундаментальна. Чаще всего задача модели в политическом контексте — классифицировать наблюдения. Разделение данных на основе целевой переменной (например, выдавать субсидию или нет, выделять пособие или нет) требует внутренней сегментации. «Раскол» внутри данных по определенным параметрам, на основе которых можно было бы делать выводы (например, пол, возраст), необходим для компьютера. 

Некоторые исследователи связывают понятия «справедливости» и «благополучия» (well-being). Последнее предполагает, что государство обеспечивает достойный уровень каждому гражданину. В этом случае стремление модели выделять «выгодные» для положительного решения группы априори противоречит справедливости. 

Сегментация граждан также предполагает, что модель не имеет возможность искать индивидуальные подходы. Вместо этого, она делает выводы на основе статистически определенных характеристик группы, к которой принадлежит индивид. 

Эффективность > этика

Наконец, любой алгоритм — это в общем смысле математическая функция. Модель, предсказывающая наиболее подходящее решение, максимизирует определенную метрику. В частности, модель может оцениваться с точки зрения того, насколько эффективные решения она предлагает (например, эффективным будет предсказание модели, что заемщик вернет кредит, если заемщик действительно его возвращает).

В отличие от эффективности, справедливость — сложное понятие политической философии. Его едва ли можно четко формализовать, чтобы привести в понятный для машины вид. То же касается этики или морали. Модель мира в «глазах» компьютера упрощена и сводится к фокусу на четких и конкретных показателях.

Выводы для отечественной адаптации

Россия использует современные технологии преимущественно для решения сервисных задач: спичрайтинг, сбор данных, рутинные проверки. В отличие от Европы, алгоритмы ещё не настолько интегрированы в процесс непосредственного принятия решений, чтобы влиять на благополучие граждан. 

Тем не менее, это создаёт необходимость предварительно извлекать уроки из западного опыта для качественной адаптации соответствующих решений. На основе обозначенных проблем, можно выделить 2 рекомендации. 

Во-первых, качество данных — один из главных приоритетов. Этот фактор влияет как на эффективность модели, так и на справедливость выносимых ею решений. 

Во-вторых, учитывая, что внутренняя логика автоматизированных решений сама по себе противоречит справедливости, имеет смысл значимое место оставлять и для «ручной работы». Присутствие человека нивелирует ограничения машины, а также создает необходимый трейд-офф между эффективностью и справедливостью.

Павел Иванов, аналитик Центра политической конъюнктуры