ИИ-галлюцинации: смешные и страшные примеры из практики продактов

В этой статье разберем, почему ИИ-галлюцинация случается так часто, какие смешные и какие по-настоящему страшные примеры встречаются в практике продактов, и что делать, чтобы галлюцинация не попала в продуктовое решение раньше, чем вы ее заметите.

Продакт просит модель посчитать объем рынка новой ниши. Ответ приходит за десять секунд, с конкретными цифрами и уверенным тоном — выглядит убедительно, ссылается на «данные отраслевых отчетов». Проблема в том, что отчета не существует, а цифры модель придумала на лету. Это и есть галлюцинация искусственного интеллекта: искусственный интеллект выдает неверную информацию так же уверенно, как верную, и без специальной проверки отличить одно от другого невозможно.

Генеративный ИИ, включая большие языковые модели (LLM) вроде ChatGPT, Claude или Gemini, устроен не как база данных, а как предсказательный алгоритм генерации текста. Это фундаментальное свойство больших языковых моделей — они учились предсказывать следующее слово в тексте на огромном массиве данных для обучения — и делают это на основе вероятностей, а не проверки фактов. Природа генеративного искусственного интеллекта в этом и заключается: он не сверяется с реальностью, а продолжает наиболее вероятную последовательность слов. Если в обучающих данных не хватает информации по теме или данные противоречивы, модель ИИ достраивает недостающие звенья самостоятельно, и получившийся ответ звучит правдоподобно, даже когда он полностью выдуман.

• Пробелы или противоречия в данных. Если тема узкая или редкая, модель интерпретируют недостающий контекст по аналогии с похожими темами и ошибается.
• Слишком общий или неоднозначный запрос. Расплывчатый промпт без ограничений - прямой путь к тому, что нейросети генерируют детали за вас вместо честного «не знаю». Такая склонность к додумыванию свойственна большинству нейросетей, доступных сейчас на рынке. Список типичных неточностей от этого не короче, а ответ, поданный уверенно, легко принять за факт, это и приводит к ошибкам в решениях, которые опираются на такой ответ.
• Высокая неопределенности в самой задаче. Чем сложнее вопрос и чем меньше в нем конкретики, тем выше шанс, что чат-бот выдаст красиво звучащую, но недостоверный ответ.

Отдельная проблема — модели чаще стремятся угадать ответ, чем признать, что не знают его. Это создает стимул выдумывать факт вместо честного «у меня нет данных», особенно если вопрос сформулирован так, будто ответ точно существует. Именно поэтому проблема галлюцинаций не решается один раз — с ней приходится работать в каждом новом запросе.

Не все галлюцинации опасны — часть из них просто нелепые, и их легко поймать, если знать, куда смотреть.

Выдуманная цитата пользователя. Продакт просит модель обобщить интервью с клиентами и получает яркую, эмоциональную цитату вроде «это приложение изменило мою жизнь». Проблема в том, что в реальных интервью такой фразы не было — модель сгенерировала правдоподобно звучащую реплику, потому что именно такие формулировки часто встречаются в отзывах, на которых она обучалась.

Как поймать: просите модель указывать номер интервью или таймкод для каждой цитаты — если привязки нет, цитата, скорее всего, придумана.

Несуществующий конкурент с открытым API. При запросе конкурентного анализа модель уверенно описывает сервис-конкурента с открытым API и гибкими тарифами — сервис существует, но никакого открытого API у него никогда не было. Проверка заняла бы одну ссылку, но без нее деталь чуть не попала в презентацию.

Как поймать: любую техническую характеристику конкурента (API, интеграции, лимиты) сверяйте напрямую с документацией на сайте — не с пересказом модели.

Придуманная функция крупного бренда. Гипотетический пример из практики: модель заявляет, что Tesla якобы тестирует функцию, которой не существует, и приводит это как аргумент в пользу тренда. Звучит убедительно именно потому, что имя бренда реальное — это классический прием, которым ИИ маскирует вымышленные детали под достоверные.

Как поймать: если аргумент строится на действиях конкретного крупного бренда, ищите первоисточник — пресс-релиз или официальный анонс, а не общую формулировку модели.

Ссылка на отчет, которого нет. Модель называет конкретное исследование с названием, годом и даже примерным процентом — а при попытке найти источник оказывается, что модель придумывает такой отчет, и его не существует в природе.
Как поймать: правило одной минуты — прежде чем использовать цифру из «исследования», вбейте его название в поиск. Если ссылки нет за минуту, цифры в презентацию не идут.

Смешное быстро перестает быть смешным, если ошибка доходит до реального решения.

Неверные цифры в питче инвесторам. Продакт использует модель для расчета объема рынка и переносит цифры в презентацию без перепроверки. Если инвестор проверит источник и не найдет подтверждения, под вопросом окажется не только конкретная цифра, а доверие ко всей презентации.

Как поймать: прежде чем цифра рынка попадает в слайд, у нее должен быть указан конкретный отчет, страница и год — если этого нет, слайд не готов.

Вымышленные детали в чувствительной сфере. В финансовой сфере или в медицине, где любой чувствительный вопрос требует особой точности, цена ошибки выше на порядок: недостоверная информация о регуляторных требованиях или условиях продукта способна вызвать серьезные последствия — штраф или репутационный скандал.

Как поймать: в регулируемых нишах любой ответ модели о требованиях закона или лицензирования — это гипотеза для юриста или комплаенс-специалиста, а не готовый факт для продукта.

Ошибки в генерации ответов службы поддержки. Если ИИ-помощников подключают к общению с клиентами без ограничений, модель может пообещать условия, которых у продукта нет — и компании придется либо выполнять обещание, либо разбираться с недовольным клиентом.

Как поймать: ограничивайте бота набором проверенных ответов через базу знаний (тот же принцип RAG) и явно запрещайте ему обещать что-то за пределами этой базы.

Продакт использует ИИ иначе, чем большинство сотрудников: не для разовой справки, а для решений, которые сразу превращаются в действия — гипотеза идет в бэклог, релевантный на первый взгляд факт из аналитики — в стратегию, вывод из аналитики — в приоритизацию фич. Если галлюцинация проскакивает на этом этапе, она не остается локальной ошибкой, а тиражируется дальше по всей цепочке решений.

Дополнительно есть менее очевидные риски: предвзятость в обучающих данных модели может незаметно исказить выводы про целевую аудиторию, а работа с чувствительными данными клиентов через сторонние ИИ-сервисы поднимает отдельный вопрос — конфиденциальность, а не только точность ответа. Это критичный момент для любого generative-инструмента, будь то генерация текста или генерации изображений: если модели не хватает нужный контекст о продукте или компании, она с высокой вероятностью подставит вместо него правдоподобную, но неверную деталь.

Полное устранение галлюцинаций пока невозможно технически, но снизить их количество вполне реально. Методы борьбы с галлюцинациями делятся на технические и организационные, и работают они только вместе. Полностью избежать галлюцинаций нельзя, но заметно сократить количество галлюцинаций в ежедневной работе — задача решаемая. Ниже — не общие советы, а конкретные действия под типовые задачи продакта.
Если считаете объем рынка или ищете статистику. Не просите модель просто «оценить рынок» — просите пошагово: сначала попросите методологию расчета (TAM/SAM/SOM или другую), затем данные по каждому шагу отдельно, с обязательным запросом источника на каждую цифру. Формулировка вроде «дай оценку TAM для ниши X, укажи источник и год данных, если точных данных нет — скажи, что оценка приблизительная и почему» работает заметно надежнее одной общей просьбы. Если модель не может дать ссылку — считайте цифру черновой гипотезой, а не готовым числом для презентации.

Если анализируете конкурентов. Просите модель не описывать конкурента по памяти, а явно указывать, откуда взята каждая деталь: страница тарифов, документация API, отзывы. Любую конкретную характеристику — цену, наличие функции, интеграцию — проверяйте вручную на сайте конкурента перед тем, как класть ее в таблицу сравнения. Это занимает пять минут на пункт и снимает риск полностью.

Если обобщаете интервью с пользователями. Никогда не просите модель «придумать типичную цитату» или «обобщить впечатление» без исходного текста интервью в контексте запроса. Загружайте реальные транскрипты и просите цитировать дословно с указанием, из какого именно интервью взята фраза. Если модель выдает цитату без привязки к конкретному файлу — это повод переспросить, откуда она взялась.

Если генерируете гипотезы или идеи фич. Здесь галлюцинации менее опасны, потому что результат — это черновик для обсуждения, а не факт. Но проверяйте отдельно, если модель ссылается на «известный кейс» другой компании как аргумент — такие примеры чаще всего вымышленные или искаженные, и их нужно гуглить отдельно, а не принимать на веру.

Если пишете текст для питча или клиента. Любая цифра, имя компании, дата или цитата, которая уходит во внешнюю коммуникацию, проходит через отдельный шаг: копируете утверждение отдельно от остального текста и ищете его вручную. Правило простое — если утверждение звучит слишком удобно для вашей идеи, это первый кандидат на проверку.

Что делать, если галлюцинацию заметили постфактум. Если ошибочная цифра или факт уже попали в документ, роадмап или презентацию — не просто исправьте ее молча. Проверьте, куда именно она успела разойтись: попадала ли в другие документы, обсуждалась ли на встрече, влияла ли на решение о приоритете. Если решение уже приняли на основе неверных данных, стоит явно пересмотреть его, а не тихо поправить цифру и надеяться, что вывод все еще верный.

На вводном модуле курса «Полное погружение в продакт-менеджмент» в Product Lab разбирают не только сами AI-инструменты, но и техники промпт-инжиниринга — как формулировать запрос, чтобы получить проверяемый, а не выдуманный ответ, и как встраивать эти инструменты в ежедневную работу продакта, а не относиться к модели как к оракулу.

ИИ ускоряет продуктовую работу там, где раньше требовались недели анализа, но остается вероятностным инструментом, а не источником истины. Смешная галлюцинация с придуманной цитатой стоит пары минут на проверку. Страшная — с неверной цифрой в питче или ошибкой в чувствительной сфере — может стоить бюджета и репутации. Разница между ними обычно не в самой модели, а в том, перепроверил ли кто-то ответ, прежде чем он ушел дальше.

Ирония в том, что чем удобнее становится ИИ, тем легче потерять привычку проверять. На старте все переспрашивают модель и сверяются с источниками — через пару месяцев ежедневной работы уверенный тон ответа начинает восприниматься как гарантия качества, а это ровно тот момент, когда галлюцинация проходит без сопротивления.

Полезная привычка простая: относиться к любому ответу модели как к черновику от толкового, но безответственного стажера — быстро, складно, иногда блестяще, но без единой проверки перед сдачей.

Инструмент здесь не враг и не повод отказываться от ИИ в продуктовой работе — скорость, которую он дает, реальна и стоит того, чтобы ее использовать. Вопрос не в том, доверять модели или нет, а в том, где именно в процессе стоит проверка: до того как гипотеза попадет в бэклог, или после того как решение уже принято и его придется откатывать. Первое стоит пять минут. Второе — часто дороже, чем кажется на старте.