Галлюцинации ИИ усиливаются

Ситуации, когда системы ИИ выдают неверную информацию, называемые галлюцинациями, происходят все чаще, несмотря на то, что ИИ становится все мощнее, пишет The New York Times. Издание приводит в пример ситуацию, когда бот ИИ, занимающийся технической поддержкой инструмента для программистов Cursor, заявил клиентам о том, что им больше не разрешается использовать Cursor более чем на одном компьютере. Эта информация оказалась ложной, как сообщило впоследствии руководство компании.

Нет никаких гарантий, что даже самые мощные ИИ-системы не станут галлюцинировать,  говорится в публикации. Самые новые системы рассуждений от таких компаний, как OpenAI, Google и DeepSeek, — приводят не к уменьшению, а к увеличению числа ошибок. В то время как их математические навыки заметно улучшились, их умение работать с фактами снизилось. Компании не могут дать ответ на вопрос, почему так происходит.

Современные боты ИИ основаны на сложных математических системах, которые учатся своим навыкам, анализируя огромные объемы цифровых данных. Они не решают — и не могут решить, что правда, а что ложь. Иногда они просто выдумывают что-то, и это явление некоторые исследователи ИИ называют галлюцинациями. В одном из тестов частота галлюцинаций у новых систем искусственного интеллекта достигала 79%, пишет The New York Times.

Эти системы используют математические вероятности, чтобы угадать лучший ответ, а не строгий набор правил, установленных инженерами-людьми. Поэтому они допускают определенное количество ошибок. Представители технологических компаний отмечают, что системы ИИ «всегда будут галлюцинировать».

Галлюцинации ИИ вызывают опасения по поводу надежности таких систем. Особенно серьезной проблемой это является для тех, кто использует эту технологию для работы с судебными документами, медицинской информацией или конфиденциальными бизнес-данными, потому что приходится тратить много времени, пытаясь выяснить, какие ответы соответствуют действительности, а какие нет, что сводит на нет всю ценность систем ИИ, которые должны автоматизировать работу.

Новейшие системы OpenAI, согласно тестам, галлюцинируют чаще, чем предыдущие. Компания обнаружила, что o3 — ее самая мощная система — галлюцинировала в 33% случаев при выполнении эталонного теста PersonQA, который предполагает ответы на вопросы о публичных личностях. Это более чем в два раза превышает частоту галлюцинаций предыдущей системы рассуждений OpenAI под названием o1. Новая o4-mini галлюцинировала с еще большей частотой: 48%. При выполнении другого теста под названием SimpleQA, в котором задаются более общие вопросы, уровень галлюцинаций для o3 и o4-mini составил 51% и 79%. Предыдущая система, o1, галлюцинировала в 44% случаев.

В документе с подробным описанием тестов OpenAI заявила, что необходимо провести дополнительные исследования, чтобы понять причину таких результатов. Поскольку системы A.I. учатся на большем количестве данных, чем люди могут себе представить, технологам сложно определить, почему они так себя ведут.

Тесты, проведенные независимыми компаниями и исследователями, показывают, что частота галлюцинаций растет и у моделей Google и DeepSeek.

В течение многих лет технологические компании полагались на простую концепцию: чем больше данных из Интернета они передавали в свои системы искусственного интеллекта, тем лучше те работали. Но они использовали практически весь английский текст в Интернете, а значит, им нужен был новый способ улучшить своих чат-ботов. Поэтому компании стали все больше полагаться на метод, который ученые называют обучением с подкреплением. С помощью этого процесса система может учиться поведению методом проб и ошибок. В некоторых областях, таких как математика и компьютерное программирование, этот метод работает хорошо. Но в других областях он дает сбои, так как при обучении эти системы начинают концентрироваться на одной задаче и забывать о других, отмечает Лаура Перес-Белтрачини, исследовательница из Эдинбургского университета, которая изучает проблему галлюцинаций.

Другая проблема заключается в том, что модели рассуждений предназначены для того, чтобы потратить время на «обдумывание» сложных проблем, прежде чем прийти к какому-то ответу. Когда они пытаются решить проблему шаг за шагом, они рискуют ошибиться на каждом шагу. Ошибки могут усугубляться по мере того, как они тратят все больше времени на размышления. Новейшие боты показывают пользователям каждый шаг, что означает, что пользователи тоже могут увидеть каждую ошибку. Исследователи также обнаружили, что во многих случаях шаги, отображаемые ботом, не связаны с ответом, который он в итоге выдает.