ИИ без тормозов

медиатехнологЕкатерина Набатникова

Автономные ИИ-агенты постепенно переходят от инструментов для генерации контента к системам, способным самостоятельно принимать решения и выполнять действия в финансовой, корпоративной и цифровой инфраструктуре. Вместе с ростом их возможностей увеличиваются и риски: ошибка алгоритма может масштабироваться быстрее, чем человек успеет вмешаться. Где проходит граница между технологической автономностью и необходимостью контроля, и способна ли система регулирования поспеть за развитием ИИ? На эти вопросы «Актуальным комментариям» ответила медиатехнолог, член Экспертного клуба «Дигория», директор по развитию Корпорации AIR Екатерина Набатникова.

— Сценарий выхода автономных ИИ-агентов из-под контроля реалистичен, но его не стоит рассматривать в логике «восстания машин». Основной риск связан с тем, что алгоритм получает доступ к реальным системам и способен самостоятельно принимать последовательность решений. Ошибка в такой системе может масштабироваться быстрее, чем человек успеет ее обнаружить и остановить: речь идет о финансовых операциях, корпоративной инфраструктуре, логистике, доступе к данным.

Сегодня проблема заключается не столько в самих возможностях ИИ, сколько в скорости их внедрения и качестве механизмов контроля. Автономность должна сопровождаться ограничениями доступа, лимитами на действия, изолированным тестированием, аудитом и механизмами экстренной остановки. Для критически важных решений должен сохраняться человеческий контроль.

Передача регулирования исключительно самим разработчикам создает очевидный конфликт интересов. Крупнейшие ИИ-компании одновременно являются технологическими лидерами и участниками конкурентной борьбы. Более жесткие правила потенциально способны увеличить стоимость выхода на рынок и укрепить позиции уже существующих игроков.

Глобальная пауза в развитии ИИ выглядит малореалистичной. Даже если отдельные страны или компании ограничат исследования, технологическая конкуренция продолжится в других юрисдикциях. Дополнительный фактор — развитие open-source-моделей, которое делает полный контроль над распространением технологий еще сложнее.
Задача регулирования — не остановить развитие ИИ, а установить правила его применения там, где ошибка может иметь системные последствия. Государства должны определить базовые требования к тестированию и безопасности, а независимые эксперты — участвовать в оценке рисков.

Главный вызов заключается в том, чтобы скорость развития ИИ не опережала создание механизмов контроля. Чем больше автономных полномочий получает система, тем жестче должны быть ограничения ее доступа к критической инфраструктуре.

В конечном счете конкурентоспособность будет определяться не только тем, кто создаст наиболее мощную модель, но и тем, кто научится безопасно интегрировать ее в экономику. Победит не тот, кто первым даст ИИ максимальную свободу, а тот, кто сможет сочетать автономность, эффективность и управляемость.

Екатерина Набатникова, медиатехнолог, член Экспертного клуба «Дигория», директор по развитию Корпорации AIR.

#ЕкатеринаНабатникова