«Черный ящик» власти: проблема прозрачности решений ИИ в госуправлении

политологМихаил Карягин

Часто ли вы задумываетесь над тем, как работает та или иная технология, которой вы пользуетесь ежедневно? Например, вряд ли вы знаете, какая матрица стоит в вашем телевизоре, и как именно она воспроизводит сигнал. Достаточно того, что вечером вы можете посмотреть любимый фильм с красивой картинкой. Вам также неважно, как именно кофемашина делает ваш любимый напиток, и как именно затем посудомойка делает кружку чистой. Но будет ли вам также безразлично устройство ИИ-модели, которая, например, принимает законы, влияющие на вашу жизнь? Хотелось бы вам понимать, чем руководствуется искусственный интеллект при формулировании ответа? Наверняка, да. И пока это одна из наиболее сложных проблем интеграции ИИ-моделей в политической сфере.

Истону и не снилось. Почему ИИ повышают непрозрачность госуправления

Современные системы государственного управления все чаще обращаются к ИИ для автоматизации принятия решений. Госорганы используют алгоритмы для предсказательной аналитики, распределения бюджетов, оценки госпрограмм, судебных решений и даже прогнозирования преступности. Однако внедрение ИИ порождает новый вызов: чем сложнее алгоритмы, тем менее понятны их решения как для рядовых граждан, так и для самих государственных чиновников. В итоге искусственный интеллект становится своего рода «черным ящиком», чьи внутренние механизмы остаются скрытыми даже от тех, кто ими управляет.

Классическая бюрократия всегда была сложной и многослойной, но ее работа основывалась на формальных правилах, которые можно было изучить, оспорить или изменить. Внедрение ИИ ставит под угрозу эту систему прозрачности, заменяя формальные, но понятные процедуры на алгоритмические расчеты, принцип работы которых часто неизвестен даже разработчикам. Одной из ключевых проблем является так называемая «неинтерпретируемость» алгоритмов: сложные нейросети могут выдавать решения, но не могут объяснить их логику в доступной форме. 

Более того, пока встречаются практики, при которых объяснение решения значительно понижает качество итоговой выдачи ИИ. То есть если модель не описывает логику формулирования результата, то он становится точнее и лучше.

Исторически проблема прозрачности в политическом управлении существовала всегда: от «тайных советов» монархов до современных закрытых заседаний правительств. Однако ИИ добавляет новый уровень скрытности, поскольку его решения могут не только быть непрозрачными, но и неконтролируемыми. Государственные органы могут оправдывать ошибки или предвзятость системы тем, что «так решил алгоритм». В результате принимаются решения, последствия которых сложно предсказать или оспорить, что ставит под сомнение сам принцип демократического контроля.

Потенциальные риски

Первый и самый очевидный риск — снижение подотчетности власти. Если государственные органы принимают решения на основе алгоритмов, но не могут объяснить их логику, граждане теряют возможность апеллировать к этим решениям. Судебные разбирательства, связанные с дискриминацией алгоритмов, уже появляются по всему миру: от отказов в кредитах до автоматизированного увольнения сотрудников. Если человек не может понять, почему его признали «неблагонадежным» или почему ему отказали в социальной помощи, то контроль над властью ослабевает.

Второй риск — рост системной дискриминации. Алгоритмы учатся на исторических данных, а значит, если в прошлом существовали предвзятые практики (например, дискриминация меньшинств при найме на работу или кредитовании), ИИ может их воспроизводить и даже усиливать. Проблема в том, что в условиях «черного ящика» даже разработчики могут не сразу заметить эти тенденции.

Третий риск — снижение политической конкуренции. Государственные алгоритмы могут использоваться для анализа политических предпочтений населения и прогнозирования общественных настроений. Это открывает новые возможности для манипуляции электоратом. 

Четвертый риск связан с «программными ошибками» в алгоритмах. Если государственная система работает по непрозрачному алгоритму, ошибки в коде могут привести к системным сбоям с катастрофическими последствиями. Такие ошибки могут привести к несправедливым судебным приговорам, финансовым кризисам или сбоям в управлении инфраструктурой.

Потенциальные возможности

Несмотря на серьезные риски, развитие ИИ в госуправлении открывает и ряд возможностей, если внедрение технологий будет сопровождаться строгим общественным контролем.

Первая возможность — повышение эффективности госуправления. Если системы ИИ будут правильно настраиваться и тестироваться на прозрачность, они смогут значительно сократить бюрократические издержки, повысить скорость принятия решений и минимизировать коррупцию.

Вторая возможность — создание систем аудита ИИ. Новые технологии позволяют разрабатывать методы «объяснимого ИИ» (Explainable AI), которые делают решения алгоритмов более понятными для людей. Государственные структуры могут внедрять обязательные механизмы проверки, чтобы каждый алгоритм мог обосновывать свои решения. Однако пока, как отмечено выше, это приводит к снижению качества выдачи.

Третья возможность — развитие новых моделей гражданского контроля. Например, в ряде стран уже существуют механизмы, позволяющие гражданам запрашивать объяснения решений алгоритмов, а в некоторых странах обсуждаются концепции «цифровых омбудсменов», которые будут следить за работой автоматизированных госструктур.

Сценарии будущего

Как будет развиваться ситуация с прозрачностью ИИ в госуправлении? Можно выделить три возможных сценария.

1. Оптимистичный сценарий: государства осознают проблему и внедряют механизмы контроля за алгоритмами. Принципы «объяснимого ИИ» становятся обязательными для всех госструктур, граждане получают возможность оспаривать решения алгоритмов, а независимые институты регулярно проверяют их корректность. В таком случае ИИ становится не угрозой, а инструментом для более прозрачного и справедливого госуправления.

2. Пессимистичный сценарий: государства продолжают внедрять алгоритмы без должного контроля, что приводит к росту произвола, социальной несправедливости и технологической дискриминации. Граждане утрачивают возможность оспаривать решения, а власть оправдывает свои действия ссылками на «неизвестные алгоритмы». В таком случае может возникнуть новое цифровое неравенство, где те, кто контролирует алгоритмы, получат абсолютное влияние на политический процесс.

3. Сценарий «авторитарного ИИ»: государства намеренно используют закрытые алгоритмы для усиления контроля над обществом. Искусственный интеллект анализирует настроения граждан, предсказывает протесты, помогает репрессивным органам работать более эффективно. Такой сценарий уже частично реализуется в некоторых странах, где ИИ используется для наблюдения за населением и прогнозирования потенциальных угроз режиму.

Какой сценарий станет доминирующим — во многом зависит от политических решений, которые принимаются сегодня. Открытость алгоритмов, гражданский контроль и развитие технологий объяснимого ИИ — это ключевые факторы, которые определят будущее отношений между властью, обществом и искусственным интеллектом. Однако, безусловно, есть заинтересованные в том, чтобы при помощи ИИ сделать решения еще менее прозрачными.

Михаил Карягин, заместитель директора Центра политической конъюнктуры

#МихаилКарягин