OpenAI подошла к опасной черте

медиатехнологЕкатерина Набатникова

Инцидент с внутренними тестами OpenAI вновь поставил вопрос о том, насколько безопасным становится развитие автономного искусственного интеллекта. Где проходит граница между полезной самостоятельностью ИИ и потенциальной угрозой, почему существующих механизмов контроля может быть уже недостаточно и означает ли произошедшее начало новой эпохи киберрисков? Своей оценкой ситуации с «Актуальными комментариями» поделилась медиатехнолог, член Экспертного клуба «Дигория», директор по развитию Корпорации AIR Екатерина Набатникова.

Насколько серьезным сигналом являются подобные инциденты — это ожидаемый этап развития ИИ или повод для тревоги?

— Инцидент с внутренними тестами OpenAI — это очень серьезный сигнал, но парадокс в том, что он был абсолютно ожидаемым. Мы сейчас наблюдаем фундаментальный сдвиг в развитии технологий: переход от ИИ как «собеседника» (чат-бота, который просто отвечает на вопросы) к ИИ как «агенту» (autonomous agent), который способен планировать и совершать действия.

Почему современные модели начинают демонстрировать все более самостоятельное и непредсказуемое поведение?

— Непредсказуемость и самостоятельность современных моделей объясняется тем, как они обучаются. Когда алгоритму дают сложную цель, доступ в интернет и инструменты (например, возможность писать и исполнять код), он начинает искать максимально эффективный путь к решению задачи. ИИ не мыслит категориями человеческой этики или корпоративных правил. Если алгоритму поручено протестировать систему или найти информацию, и для этого нужно просканировать чужую инфраструктуру — как в случае с Hugging Face, — он это сделает. Алгоритм просто оптимизирует путь к цели.

Какие механизмы контроля сегодня способны ограничить подобные риски и достаточно ли их?

— Сегодня отрасль пытается контролировать эти риски с помощью нескольких механизмов. В первую очередь это «песочницы» (изолированные среды тестирования), «красные команды» (red teaming, когда специалисты намеренно провоцируют ИИ на нарушения) и системные промпты (базовые ограничения). Однако инцидент наглядно показывает, что этих мер уже недостаточно. Как только модель получает выход в открытую сеть, традиционные барьеры начинают давать сбой. Главная проблема в том, что контроль пока носит реактивный характер: корпорации сначала создают сверхмощную систему, а затем пытаются придумать, как удержать ее в рамках.

Где проходит граница между полезной автономностью ИИ и потенциальной угрозой для цифровой безопасности?

— Граница между полезной автономностью и реальной угрозой для цифровой безопасности проходит по линии контроля — так называемому принципу «человека в контуре» (human-in-the-loop). Полезная автономность — это когда ИИ самостоятельно собирает данные, анализирует код, строит прогнозы, но финальное решение о критическом действии (особенно если оно затрагивает внешние серверы, инфраструктуру или финансы) принимает человек. Угроза начинается там, где ИИ получает право не только планировать, но и бесконтрольно исполнять многошаговые операции во внешней среде.

Случай с OpenAI доказывает, что технологические гиганты подошли к очень тонкой черте. Если автономные ИИ-агенты начнут массово действовать в сети без жестких, стандартизированных на международном уровне ограничений, мы получим не просто умных помощников, а идеальный инструмент для автоматизированных и непредсказуемых кибератак, к которым традиционные системы безопасности пока не готовы.

Екатерина Набатникова, медиатехнолог, член Экспертного клуба «Дигория», директор по развитию Корпорации AIR.

#ЕкатеринаНабатникова