Почему нейросеть уверенно врёт — и как это вовремя заметить

Нейросеть может написать убедительный ответ и при этом ошибиться в имени закона, дозировке лекарства или дате события. Проблема не в том, что модель «решила обмануть» пользователя. Она вообще не обладает намерениями в человеческом смысле. Её задача — продолжить текст наиболее вероятным образом, опираясь на закономерности в данных и на формулировку запроса.

Отсюда неприятный парадокс: чем лучше модель умеет писать, тем легче принять выдумку за факт. Красивый стиль, уверенный тон и длинное объяснение не являются доказательствами. Для пользователя из Казахстана это особенно заметно в вопросах о местных налогах, правилах регистрации, ценах, госуслугах и лекарствах: у модели может быть мало свежих данных, а похожие нормы другой страны она иногда подставляет вместо казахстанских.

Что именно происходит внутри

Языковая модель обучается на огромном количестве текстов. Во время ответа она получает контекст и оценивает, какой фрагмент текста вероятнее всего должен появиться следующим. Затем выбирает следующий фрагмент, добавляет его к ответу и повторяет процесс. Так постепенно возникает абзац, письмо или инструкция.

Модель не открывает в голове энциклопедию с карточкой «истина». Она хранит сложные статистические связи между словами, понятиями и стилями. Поэтому может правильно продолжить фразу о знакомом факте, но ошибиться в редкой детали. Граница между «знаю» и «похоже на правду» для неё не такая чёткая, как для человека, который сверяется с документом.

Есть и технические причины. В обучающих данных встречаются ошибки, противоречия, устаревшие страницы и тексты без источников. Запрос может быть двусмысленным. А если пользователь просит назвать пять исследований, модель иногда воспринимает число пять как требование выдать именно пять названий — даже когда часть таких исследований не существует.

На вероятность выдумки влияют настройки генерации. При более высокой случайности ответ получается разнообразнее, но риск неточностей растёт. При низкой случайности текст обычно предсказуемее, хотя это не превращает его в проверенный справочник. Модель может абсолютно уверенно повторить одну и ту же ошибку.

Какие выдумки бывают опасными

Самый безобидный вариант — неверная дата выхода фильма или перепутанная должность чиновника. Такой промах раздражает, но редко меняет чью-то жизнь. Другая ситуация — совет, на основании которого человек принимает медицинское, юридическое или финансовое решение.

Представим запрос: «У меня температура 39, можно ли принять два разных препарата одновременно?» Модель способна назвать несовместимую комбинацию, неверную дозировку или пропустить симптом, при котором нужна срочная медицинская помощь. Даже хороший ответ здесь остаётся справочной подсказкой, а не консультацией врача.

Юридическая галлюцинация выглядит солиднее. Пользователь спрашивает: «Какая статья Кодекса РК позволяет вернуть этот товар?» Модель может сослаться на реально существующий кодекс, но придумать номер статьи или перенести правило из российского законодательства. Ещё хуже — выдумать судебное решение и дать ссылку на страницу, которой нет.

В финансовых вопросах опасны ложные условия. Например, нейросеть уверенно сообщает, что определённый перевод в Казахстан облагается конкретным налогом, или обещает гарантированную доходность облигации. Ставки, лимиты и требования меняются; ответ без даты и ссылки на официальный источник нельзя считать основанием для действия.

Есть и бытовые примеры. ИИ может придумать, что авиакомпания разрешает провоз определённого предмета в ручной клади, назвать несуществующий автобусный маршрут Алматы — Бишкек или сообщить старое расписание ЦОН. Такие ошибки обходятся дешевле, но всё равно портят поездку и съедают время.

Почему ответ звучит так уверенно

Уверенность в тексте — это элемент подачи, а не показатель точности. Модель обучалась на объяснениях, справочниках, новостях и диалогах, поэтому хорошо воспроизводит форму экспертного ответа: вводную, аргументы, вывод, список источников. Если в нужном месте нет надёжного факта, она может заполнить пробел правдоподобной конструкцией.

Особенно подозрительны точные детали без подтверждения: номера постановлений, страницы книг, DOI научных статей, названия компаний и прямые цитаты. Модель умеет собрать правдоподобную комбинацию из знакомых элементов. Получается автор, который действительно существует, статья с реальным названием журнала — и несуществующая публикация внутри него.

Контекст тоже подталкивает к ошибке. Если спросить: «Почему закон X нарушает права потребителей?», вопрос уже содержит предположение, что закон X существует и нарушает права. Модель может не проверить исходную посылку, а сразу начать доказывать её. Чем настойчивее пользователь просит «не сомневаться и дать конкретный ответ», тем сильнее этот эффект.

Признаки, что ИИ, вероятно, сочиняет

Первый сигнал — чрезмерная конкретика там, где модель не показывает источник. Текст называет дату, пункт и статистику, но не даёт официальной страницы или приводит ссылку, которая ведёт на главную страницу сайта. Откройте её. Если документа нет, это уже не мелочь.

Второй сигнал — внутренние противоречия. В начале ответа событие датировано 2022 годом, ниже говорится, что оно произошло в 2023-м. В одном абзаце указана одна сумма, в таблице — другая. Можно задать модели короткий уточняющий вопрос: «Проверь, нет ли противоречия между пунктами 2 и 4». Но такой повторный запрос не заменяет внешнюю проверку.

Третий — уклончивость вокруг простого факта. Вместо ответа «этого не знаю» появляются фразы вроде «исследователи считают» или «по некоторым данным», за которыми нет ни названия исследования, ни автора. Насторожитесь и при слишком гладком объяснении сложной темы без оговорок: реальная нормативная или научная информация часто имеет условия, исключения и дату актуальности.

Полезно спросить: «Какие части ответа ты не можешь подтвердить?», «На какую дату актуальны эти данные?» и «Дай ссылки только на первичные источники». Модель может ошибиться и после этого, зато ей становится труднее маскировать пробелы общими словами.

Как проверять ответы на практике

Разделите задачу на два шага. Сначала попросите ИИ объяснить тему или составить черновик. Затем отдельно проверьте факты, от которых зависит решение. Для казахстанского закона ищите текст на официальном ресурсе государственных органов, для расписания — сайт перевозчика, для лекарства — инструкцию и врача. Дата публикации и дата обновления имеют значение.

Не копируйте в один запрос собственную догадку как установленный факт. Лучше написать: «Проверь, существует ли такая норма, и укажи официальный источник». Попросите модель отделить подтверждённые сведения от предположений. Для расчётов задайте исходные данные и перепроверьте результат обычным калькулятором или таблицей.

Сверка нескольких моделей помогает поймать часть ошибок. Если разные системы независимо называют одну и ту же норму, дату или формулу, это повышает доверие, но не превращает утверждение в истину: модели могли обучаться на одном ошибочном тексте. Поэтому следующий шаг — сопоставить ответ с первоисточником.

В КьюВи можно задать один вопрос нескольким моделям и увидеть расхождения в одном месте. В текущей четвёрке рейтинга указаны Claude Fable 5, GPT-5.6 Sol, Kimi K3, Grok 4.5; Claude Fable 5 имеет оценку 9.8. Мы добавили такую сверку в день релиза: на простых вопросах ответы часто совпадали, а на запросах с местными правилами расхождения появлялись сразу. Это хороший способ заметить спорный факт до того, как он попадёт в письмо или рабочий документ.

У КьюВи нет подписки: вопрос в среднем стоит 10–75 ₸, новым пользователям доступны три бесплатных вопроса, интерфейс работает на русском и казахском. Сервис экономит время на первичном сравнении, но не отменяет проверку врача, юриста, бухгалтера или официального ведомства.

Простое правило для важных решений

Чем выше цена ошибки, тем меньше права у ответа быть единственным источником. Идея для поста, перевод или черновик письма могут пройти после быстрой редакторской проверки. Медицинский симптом, статья закона, налоговый расчёт и условия договора требуют первичного документа и специалиста.

Нейросеть полезна как собеседник, исследовательский помощник и редактор. Но вопрос «звучит ли это убедительно?» нужно заменить на другой: «чем это подтверждено?». Если источник не найден, факт остаётся гипотезой — даже когда текст написан без единой запинки.