«Машинное обучение» в государственной политике: ошибки руководства

Искусственный интеллект и алгоритмы машинного обучения сегодня используются не только в научной среде, но и в рамках реализации различных направлений государственной политики. Например, «компьютер» может предсказывать риски рецидива среди бывших заключенных, анализ социальных сетей позволяет выявлять настроения общественности, а алгоритмы машинного обучения «подсказывают» куда направлять мигрантов для наилучшей социальной интеграции. 

Тем не менее, несмотря на популярность машинного обучения, использование алгоритмов может препятствовать успешной реализации политических инициатив. Излишняя уверенность в работе алгоритмов на практике в некоторых случаях приводит к «неравенству» в распределении благ. К примеру, в ходе борьбы Департамента образования Великобритании с инфляцией оценок, использование «машинного обучения» снизило оценки преуспевающим школьникам в общественных образовательных учреждениях, но оставила высокими оценки учеников частных школ. Количество учащихся в частных учреждениях гораздо меньше чем в общественных, что сказалось на некорректной работе алгоритма. 

Впрочем, проблема не в «машинном обучении» как таковом, а в том, что государственные деятели допускают ошибки в подходе к его использованию. Алгоритмы — это «черный ящик»: нам известны данные, которые мы им предоставляем, и результат, который получаем в итоге, но сам механизм их работы остаётся мало понятным для чиновников. Таким образом, существует несколько основных аспектов, на которые стоит обращать внимание, чтобы избежать «сомнительных» решений со стороны «компьютера».

Во-первых, обучение и интерпретация предсказательных моделей требуют нескольких типов информации: подходящие данные, контекст проблемы, для которой алгоритм ищет решение, и показатели метрик для оценки точности модели. Данные, на которых обучается модель, должны быть представлены не только в достаточном объёме, но и с учётом соблюдения необходимых статистических критериев для работы с ними. Учитывая проблемы репрезентативности, прежде чем применять модель следует принимать во внимание контекст, в котором ей предстоит работать. Наконец, определенные метрики позволяют оценивать качество модели, поэтому чиновники должны анализировать эти показатели перед принятием рискованных решений.

Во-вторых, исследователям, которым доверяется построение моделей, следует уделять особое внимание их интерпретируемости. С одной стороны, это предполагает желательность использования моделей с внутренней интерпретируемостью — т. е. моделей интуитивно понятных. Например, дерево решений — один из распространенных алгоритмов машинного обучения, при этом логика «если-то», используемая для его построения, вполне ясна для неподготовленного наблюдателя. С другой стороны, в случае сложных алгоритмов имеет место быть постфактум интерпретация. Скажем, исследователь наглядным образом визуализирует механизм и результаты работы модели. 

В-третьих, значимую руль играет связь чиновника с исследователем-разработчиком моделей. Второй не просто должен предоставить первому выводы и рекомендации, но и эффективным образом объяснять принцип, по которому эти выводы получены. Существуют различные правила эффективной передачи информации от человека к человеку — к примеру, выборочность, т.е. исследователю стоит избегать излишних подробностей в объяснении работы модели, концентрируясь на ключевых аспектах.

«Машинное обучение» — эффективный инструмент для снижения рисков в ходе принятия важных государственных решений. Тем не менее, популярность алгоритмов и излишняя уверенность в их предсказательной «силе» препятствуют критическому подходу к их использованию и попыткам разобраться во «внутреннем» механизме. Чтобы избежать неудачных решений, «подсказанных компьютером», чиновникам следует: 1) уделять больше внимания используемым данным, инвестировать ресурсы в их улучшение и сбор, где это необходимо, 2) критически подходить к заказным исследованиям, обращая внимание на то, как изучается контекст проблемы, как интерпретируется модель, и требуя от исследователей ясных объяснений её функционирования, 3) использовать интерпретируемые алгоритмы (с достаточной внутренний или постфактум интерпретируемостью), чтобы лучше понимать результаты их работы и возможные последствия тех или иных решений. 

Источник: EVAN D. PEET, BRIAN G. VEGETABILE, MATTHEW CEFALU, JOSEPH D. PANE, CHERYL L. DAMBERG (2022). Machine Learning in Public Policy