Эксперты рассказали, как снизить риски ИИ - галлюцинаций

Специалисты ВТБ назвали ключевые способы борьбы с галлюцинациями нейросетей — генерацией текста, который выглядит правдоподобно, но содержит вымышленные факты, неточные данные или ссылки на несуществующие источники. Подобные ошибки способны не только создать для пользователя серьезные затруднения при работе с информацией, но и привести к финансовым и репутационным рискам для бизнеса.

«Бывают случаи, когда нейросеть предлагает несуществующие книги в списке рекомендаций или формирует условия продукта, которых на самом деле нет. Модель не проверяет факты, а подбирает наиболее вероятный ответ, поэтому такие ошибки выглядят правдоподобно, но вводят в заблуждение. В первую очередь, снизить количество галлюцинаций можно за счет четко сформулированных запросов. Чем точнее и понятнее формулировка, тем меньше вероятность, что модель начнет фантазировать. Но все же самый надежный способ контроля — это внимательная проверка результата человеком», — сообщил руководитель направления разработки ИИ-решений банка Лев Меркушов.

Языковые модели не понимают смысл информации и не проверяют ее достоверность в реальном времени, поэтому сбои проявляются по‑разному. В одних случаях система искажает проверяемые данные, в других — формирует вымышленные сведения или неправильно следует заданным инструкциям. Ошибки также могут возникать как из-за недостатка знаний в редких областях, так и из-за неточностей или искажений, изначально содержащихся в используемых данных.

Другой распространенной причиной ИИ-галлюцинаций являются сложные и абстрактные задачи. Чтобы снизить такие ошибки, можно использовать несколько  разных подходов.

«Один из них — продуманная постановка вопросов и инструкций для модели, чтобы она лучше понимала задачу. Еще один способ — так называемая цепочка рассуждений, когда сложный запрос разбивают на простые шаги. Часто применяют и специальные системы, которые перед формированием ответа ищут информацию в проверенных базах данных. Кроме того, модели дообучают на данных из конкретной области, чтобы они лучше понимали термины и нюансы. А специальные защитные механизмы — AI guardrails — помогают отслеживать ответы и вовремя останавливать модель, если она выдает что‑то неверное», — подчеркнул Лев Меркушов.

Банк активно применяет ИИ, и в практике используются каскадные решения, когда несколько моделей последовательно обрабатывают данные и корректируют результаты друг друга. Подобный подход используется, например, в задачах распознавания текста и речи, прогнозирования снятия наличности и инкассации банкоматов. Сейчас такие модели разрабатываются именно для корпоративной работы.

Эксперты отмечают, что для ИИ необходима технологическая зрелость специалиста, который с ней работает. Он должен ответственно относиться к качеству данных, прозрачности алгоритмов и контролю за результатами. Такой подход позволяет внедрять ИИ‑инструменты, которые действительно помогают бизнесу, минимизируют ошибки и формируют устойчивое доверие со стороны клиентов.

Жители Башкирии втрое чаще используют ИИ-ассистентов на онлайн-встречах Подробнее