Каждое слово или его часть — токен — модель выбирает по одному, опираясь на распределение вероятностей, рассчитанное по всему предыдущему контексту. Чтобы понять, как именно современная нейросеть собирает связный текст, придётся восстановить эту технологию шаг за шагом — от первого токена до последнего. И начать стоит с главного механизма, на котором держится вся генерация.
Математика предсказания: как нейросеть выбирает следующее слово
Основа основ современной генеративной модели — авторегрессионный принцип. Языковая модель оценивает вероятность токена или последовательности токенов в более длинной последовательности. На каждом шаге она опирается в том числе на ранее сгенерированные ею же токены, поэтому ответ формируется последовательно, а не создаётся целиком одним волевым актом.
Внутри модели — нейронная сеть со множеством слоёв и параметрами, подобранными в ходе обучения. На вход она получает числовое представление уже имеющегося контекста, прогоняет его через слои и выдаёт распределение вероятностей по всему словарю токенов. Дальше из этого распределения тем или иным способом выбирается один конкретный токен, добавляется к контексту, и цикл повторяется. Именно так, шаг за шагом, собирается ответ. Этот принцип сохраняется у подавляющего большинства современных систем, работающих с текстом, — вне зависимости от их размера и коммерческого имени.
Текст в ответе нейросети — это не найденный документ, а статистически собранная последовательность токенов.
Анатомия токена: почему ИИ видит текст не так, как человек
Здесь исследователь натыкается на первое серьёзное расхождение между пользовательской интуицией и реальной технологией. Модель не оперирует словами в человеческом смысле и не делит текст по пробелам или знакам преинания. Минимальная единица, с которой она работает, — токен. Это может быть целое слово, часть слова или отдельный символ, а правила разбиения задаёт токенизатор — отдельный алгоритм, обученный на своём языковом материале.
Современные языковые модели чаще всего используют подсловные токены: редкие слова дробятся на более мелкие фрагменты, а частые остаются целыми. В учебных материалах Google для английского языка приводится приблизительная оценка: один токен соответствует примерно четырём символам или трём четвертям слова. Для русского языка универсального коэффициента нет — он зависит от конкретного токенизатора, текста и модели. Это обстоятельство важно держать в голове, когда речь заходит о контекстном окне.
Контекстное окно — это максимальное число токенов, которое модель способна обработать в одном запросе. Большее окно даёт доступ к большему объёму входной информации. Но само по себе расширение окна не гарантирует фактической точности ответа — это инженерное ограничение на длину учитываемой последовательности, а не показатель «понимания» или «надёжности» модели.
Революция внимания: архитектура Transformer и контекстные связи
Долгое время качество языковых моделей упиралось в архитектурные ограничения. Рекуррентные сети обрабатывали текст последовательно, токен за токеном, что затрудняло учёт далёких связей между словами и плохо масштабировалось на длинных фрагментах. Перелом зафиксирован 12 июня 2017 года: в этот день на сервере arXiv появился препринт статьи «Attention Is All You Need», предложившей архитектуру, основанную только на механизмах внимания, без рекуррентных и свёрточных слоёв.
Ключевым нововведением стало самовнимание — self-attention. Механизм позволяет модели для каждого токена в последовательности рассчитать, насколько значимы все остальные токены, в том числе стоящие далеко по тексту. Прежде чем предсказать продолжение фразы «животное вышло на поляну и…», модель способна заново взвесить значимость слова «животное» из самого начала. Этот подход хорошо ложится на параллельные вычисления, что и обеспечило Transformer практическое преимущество.
Свидетельство эффективности новой архитектуры — цифры из самой статьи. На тестовых задачах WMT 2014 модель показала 28,4 BLEU в задаче перевода с английского на немецкий и 41,8 BLEU в задаче с английского на французский, заметно превысив прежние результаты. Обучение модели для эксперимента English-to-French заняло 3,5 дня на 8 GPU — само по себе указание на сдвиг в подходах к вычислительной эффективности. После этой работы Transformer стал ведущей, хотя и не единственной архитектурой для больших языковых моделей.
От обучения к диалогу: как модели учатся следовать инструкциям
Базовая языковая модель, обученная лишь предсказывать следующий токен на больших текстовых массивах, ведёт себя не так, как привычный чат-ассистент. Она умеет продолжать текст, но не обязана отвечать на вопросы в нужной форме, соблюдать инструкции или воздерживаться от нежелательных формулировок. Чтобы получить «собеседника», применяют несколько стадий дообучения, и их удобно свести в таблицу.
| Этап | Что происходит на этом шаге | Что получается в итоге |
|---|---|---|
| Предобучение | Модель учится предсказывать следующий токен на больших массивах текста | Базовая языковая модель, хорошо продолжающая текст |
| SFT (supervised fine-tuning) | Дообучение на примерах желаемых ответов, размеченных людьми | Модель, привыкшая к формату инструкций и диалога |
| RLHF (обучение с подкреплением на человеческой обратной связи) | Модель получает ранжирования нескольких ответов от разметчиков и учится выбирать более предпочитаемые | Модель, чьи ответы люди в среднем оценивают выше |
Один из показательных результатов этого подхода опубликован 4 марта 2022 года в работе по InstructGPT. В оценках людей ответы модели InstructGPT с 1,3 млрд параметров оказались предпочтительнее, чем ответы базовой GPT-3 со 175 млрд параметров. Это прямое свидетельство того, что качество диалога определяется не только размером модели — большое значение имеет сама процедура согласования с человеческими предпочтениями. Но даже эта процедура не устраняет фундаментальных ограничений вероятностной генерации.
Природа конфабуляций: почему нейросети уверенно ошибаются
Самый обсуждаемый артефакт в работе генеративных моделей — уверенно сформулированный, но ложный ответ. В разговорной речи это часто называют «галлюцинациями». В профиле рисков генеративного ИИ NIST AI 600, опубликованном 26 июля 2024 года, для таких случаев используется термин «конфабуляция». Разница не только стилистическая: она указывает на природу явления.
Модель статистически предсказывает следующий токен или слово. Она не проводит самостоятельную проверку истинности каждого утверждения и не сверяется с внешним источником правды на каждом шаге. Если в обучающих данных встречался похожий контекст с определённым продолжением, статистика может сложиться так, что модель выдаст уверенный, но ошибочный факт — несуществующую дату, неправильное имя, выдуманную ссылку. Это не «сбой» в инженерном смысле слова: это проявление вероятностной природы самой технологии.
Чем длиннее и убедительнее ответ нейросети — тем важнее перепроверять конкретные факты по независимым источникам.
Понимание этого обстоятельства — не пессимизм, а рабочая инструкция. Ни длинное контекстное окно, ни низкая температура, ни более крупная модель не заменяют внешнюю верификацию. Конфабуляции могут возникать у генеративной системы вне зависимости от её размера и выбранных параметров — это свойство технологии, с которым приходится работать пользователю.
Настройка генерации: как параметры температуры и вероятности меняют ответ
На последнем — и при этом самом наглядном — уровне управления генерацией лежат параметры, меняющие способ выбора следующего токена из распределения вероятностей. Самые распространённые из них сведены в таблицу.
| Параметр | Что меняет в распределении | Значение по умолчанию в Hugging Face GenerationConfig |
|---|---|---|
| temperature | Изменяет «резкость» распределения: низкие значения тянут выбор к наиболее вероятным токенам, высокие делают его разнообразнее | 1,0 |
| top_p | Оставляет минимальный набор наиболее вероятных токенов, суммарная вероятность которых не ниже заданного порога | 1,0 |
| top_k | Ограничивает число рассматриваемых кандидатов фиксированным количеством | 50 |
Эти параметры не «включают фактическую проверку» и не «делают ответ правильнее». Они лишь перераспределяют вероятности выбора: более низкая температура и узкие top_p/top_k делают вывод более детерминированным и предсказуемым, более высокие значения — более вариативным, иногда хаотичным. Доступные параметры и их значения по умолчанию задаются разработчиком конкретной модели или библиотеки. Переносить настройки одного сервиса на другой без оглядки на документацию — частая причина странных результатов на практике.
Что в итоге остаётся пользователю
Если свести восстановленное в единую картину, генеративный текст в современной нейросети — это технология последовательной статистической сборки. На входе — числовое представление контекста, разбитого на токены. Внутри — нейронная сеть с подобранными в ходе обучения параметрами, архитектура которой чаще всего построена на механизме внимания. На каждом шаге модель вычисляет распределение вероятностей по словарю и выбирает из него следующий токен с учётом ранее сгенерированных ею же элементов. Дообучение на примерах и человеческих оценках превращает этот механизм в более удобного собеседника, но не отменяет вероятностной природы процесса.
Именно поэтому конфабуляции — не баг, подлежащий исправлению в следующей версии, а свойство, с которым нужно работать. Проверять конкретные факты, цифры, даты и имена по первоисточникам, относиться критически к любым уверенно сформулированным утверждениям и не путать статистическую правдоподобность ответа с его фактической достоверностью. Это и есть тот контекст, без которого искусственный интеллект, пишущий текст, не стоит использовать как единственный источник истины — что бы он ни обещал длиной своего ответа.
