Почему нейросети врут: откуда ChatGPT берёт ответы и можно ли им доверять

Мы привыкли воспринимать нейросети как всезнающих оракулов. Миллионы людей делегируют искусственному интеллекту рабочие отчёты, медицинские вопросы и анализ юридических договоров. Кажется, что машина беспристрастна, точна и обладает доступом ко всем знаниям человечества. Но слепое доверие к нейросетям отключает наш главный защитный механизм — критическое мышление.

За два года я провёл больше 100 внедрений ИИ в компаниях и десятки корпоративных обучений. И почти в каждой команде встречаю одну и ту же установку: «нейросеть сказала — значит, так и есть». В этой статье разберём, откуда ChatGPT, Claude и Gemini на самом деле берут ответы, почему нейросети уверенно врут и как пользоваться ими так, чтобы не попасться на галлюцинацию.

Как на самом деле работает нейросеть: никакого архива знаний

Многие представляют работу языковой модели так: вы задаёте вопрос, умная машина «лезет» в гигантский внутренний архив, находит там папку с достоверными фактами и выдаёт готовую выжимку.

Это в корне неверно. Внутри ChatGPT нет хранилища данных или энциклопедии.

На этапе обучения модель «прочитала» колоссальный объём текстов из интернета, но не запомнила их в прямом смысле слова. Она сжала их в математическую статистику: алгоритм выучил, с какой вероятностью одно слово следует за другим.

Когда вы пишете промпт, он превращается в числа. Модель собирает ответ по одному слову, каждый раз угадывая наиболее вероятное продолжение фразы. Она не вспоминает факт — она достраивает текст так, как он обычно выглядит в человеческой речи.

Почему нейросети врут: три встроенные ловушки

Из самой архитектуры больших языковых моделей вытекают три следствия, о которых должен знать каждый пользователь.

1. У ответов нейросети нет источника

Модель не может дать ссылку на книгу или статью, из которой взяла конкретное утверждение (если вы не используете режим веб-поиска). Её ответ — «усреднение» всего информационного шума, который она когда-то проанализировала. В этом коктейле научные факты, мнения с форумов и откровенная ложь перемешаны в единую массу.

2. Галлюцинации: цель ИИ — звучать убедительно, а не быть правым

У нейросетей нет внутреннего детектора лжи. Если машина чего-то «не знает», она не извинится и не промолчит — она сгенерирует правдоподобный текст, опираясь на статистику слов. Это и называется галлюцинацией.

Опасность галлюцинаций — в их безупречной форме: текст написан настолько уверенно и профессионально, что повода усомниться просто не возникает.

На корпоративных обучениях я показываю простой тест: прошу нейросеть подобрать исследования под спорный тезис. Она выдаёт пять убедительных источников с названиями и авторами — а при проверке выясняется, что половины из них не существует. Этот момент меняет отношение команды к ИИ сильнее любой лекции.

3. Эффект эхо-камеры: нейросеть подстраивается под вас

После основного обучения разработчики донастраивают модели с помощью живых тестировщиков. Люди ставят высокие оценки ответам, которые звучат вежливо, уверенно и согласуются с их собственным мнением. В результате система научилась угождать.

Принесите нейросети слабую бизнес-идею и спросите: «Правда ведь, отличный план?» — и с высокой вероятностью получите комплименты и список причин, почему всё получится. Машина выдаёт ту версию, которую вы хотели услышать, в упаковке объективного факта.

Так ИИ делает нас глупее? Что показало исследование MIT

В 2025 году MIT Media Lab опубликовала исследование «Your Brain on ChatGPT». 54 участника писали эссе: одна группа — с ChatGPT, вторая — с обычным поиском Google, третья — без инструментов. Активность мозга замеряли с помощью ЭЭГ.

У группы с ChatGPT нейронная активность оказалась заметно ниже, а сами участники хуже помнили содержание собственных текстов. Есть важный нюанс: исследователи подчёркивают, что речь идёт о снижении умственного усилия при чрезмерной опоре на ИИ, без всякой «деградации мозга». Когда участникам разрешали сочетать собственную работу с нейросетью, активность мозга росла.

Вывод простой: проблема не в самом ИИ. Проблема в привычке отдавать ему мышление целиком.

Можно ли доверять нейросетям: памятка по безопасной работе

Значит ли это, что от ИИ нужно отказаться? Нет. Это мощнейший инструмент, но работать с ним нужно в паре с собственной головой.

- Включайте веб-поиск. Если нужны точные факты, статистика или новости — используйте инструменты с доступом в интернет: Perplexity, режим поиска в ChatGPT или Claude.

- Требуйте ссылки и проверяйте их. Просите нейросеть указывать источники и переходите по ним. Выдуманные исследования и мёртвые ссылки — классика галлюцинаций.

- Ставьте промпты-предохранители. Добавляйте в запросы фразы: «Если не знаешь точного ответа — так и скажи», «Выступи жёстким критиком моей идеи и найди изъяны».

- Оставляйте финальное слово за человеком. В рабочих процессах ответ нейросети — черновик, а не готовое решение. Как выстроить это на уровне процессов, я разбирал в статье: читать

Задавая вопрос нейросети, вы получаете не абсолютную истину, а статистически самый вероятный и удобный на слух текст, сформированный тем, что громче всего звучало в интернете.

В эпоху ИИ умение писать промпты — базовый уровень. Настоящей суперсилой становится критическое мышление: незаменимый фильтр между вами и алгоритмом, который спроектирован быть пугающе убедительным.

Ещё больше про ИИ:

YouTube: https://www.youtube.com/@maxdranitsaAI

Instagram: https://www.instagram.com/m_dranitsa/ 

Telegram: https://t.me/maxdranitsa