Технологии и будущее

Русский искусственный интеллект: устройство языковых моделей

Один и тот же русский текст длиной 501 символ в примере Яндекс AI Studio распадается на 96 токенов YandexGPT Pro, 139 токенов Qwen3 235B и 109 токенов gpt-oss-120b.

Русский искусственный интеллект: устройство языковых моделей

Разница возникает ещё до генерации ответа: у моделей разные алгоритмы токенизации, то есть способы превратить строку символов в последовательность элементов, с которой работает нейросеть.

Поэтому выражение «русский искусственный интеллект» описывает не одну модель с фиксированным набором свойств. Под ним могут подразумеваться разные архитектуры, токенизаторы и этапы обучения. Одни модели специально разрабатывают для русского языка, другие адаптируют на основе мультиязычных систем. Чтобы понять, как работают русские ИИ-модели, полезно проследить путь от текста на входе до параметров, которые меняются в ходе обучения.

Русский ИИ: энкодеры, декодеры и смешанные архитектуры

Не все языковые модели устроены так, чтобы продолжать текст. Предсказание следующего токена прежде всего описывает авторегрессионные модели: они учитывают уже полученную последовательность и выбирают следующий элемент, а затем повторяют этот шаг. Именно такой принцип лежит в основе многих генеративных систем, которые пишут ответ по запросу.

Но есть и другие архитектуры. В материалах конференции LREC-COLING 2024 описано семейство из 13 русских трансформерных моделей. В него входят энкодерные ruBERT, ruRoBERTa и ruELECTRA, декодерная ruGPT-3, а также модели типа «энкодер-декодер» ruT5 и FRED-T5.

Эти названия обозначают разные способы обработки последовательности. Энкодер строит представление входного текста с учётом его контекста. Он может учитывать слова и слева, и справа от рассматриваемого фрагмента, поэтому такие модели применяют, например, для классификации и извлечения информации. ruBERT или ruELECTRA не обязательно предсказывают продолжение текста: их задача может состоять в том, чтобы определить тему фрагмента, найти в нём сущность или получить представление, пригодное для дальнейшей обработки.

Декодер в авторегрессионной модели формирует текст последовательно, предсказывая очередной токен на основе предыдущих. Поэтому эта архитектура подходит для генерации: модель может продолжать фразу, отвечать на вопрос или создавать текст по инструкции. В модели «энкодер-декодер» одна часть обрабатывает исходную последовательность, другая формирует результат. Такой формат используют для преобразования текста, когда выход должен зависеть от входа, например при переводе или переформулировании.

Общий принцип трансформера не отменяет различий в назначении и обучении. Модель для генерации связного продолжения и модель для классификации фрагмента могут быть построены на родственных вычислительных блоках, но решают разные задачи. Само слово «русский» тоже не задаёт архитектуру. Оно может указывать на состав обучающих данных, устройство словаря токенизатора, адаптацию мультиязычной модели или на то, что для русского языка отдельно оценивали качество.

Это различие важно при сравнении отечественных нейросетей. Название семейства или происхождение разработки не сообщает, как именно модель работает с конкретным текстом. Для такого вывода нужны сведения о задаче, данных, тестировании и условиях сравнения. Если эти условия различаются, результаты бенчмарков нельзя читать как единую таблицу, где первое место автоматически означает превосходство во всех сценариях.

«Русский ИИ» объединяет разные инженерные решения: архитектуру, словарь токенизатора, данные и процедуру обучения.

Как токенизатор делит русский текст

Нейросеть не принимает абзац как цельную строку. До основного вычисления токенизатор разбивает текст на элементы и сопоставляет им числовые идентификаторы. Токеном может быть отдельное слово, его часть, последовательность символов, знак пунктуации или пробел вместе с соседним фрагментом. Границы зависят от алгоритма и словаря конкретной модели.

Для русского языка разбиение особенно заметно на словоформах. Одно и то же слово меняет окончания в зависимости от падежа, числа и рода. В тексте встречаются приставки, суффиксы, сложные слова, аббревиатуры и имена собственные. Токенизатору нужно представить всё это конечным набором элементов. Если целая форма есть в словаре, она может соответствовать одному токену. Если нет, слово распадается на несколько частей.

Отсюда и разница между 96, 139 и 109 токенами в примере с текстом на 501 символ. Эти значения относятся только к указанной строке и трём названным моделям. Они не задают универсального коэффициента пересчёта символов в токены. Даже внутри одного языка результат зависит от состава текста: частотные слова, редкие термины, цифры и последовательности знаков могут сегментироваться по-разному.

Особенно наглядно это проявляется в запросах с названиями, формулами и числами. Два текста одинаковой длины могут получить разное число токенов, если в одном много привычных слов, а в другом встречаются редкие фамилии, аббревиатуры или смешение кириллицы с латиницей. Поэтому оценка длины на глаз бывает обманчива: для модели важна не длина строки в символах, а результат работы её токенизатора.

В документации GigaChat приведена средняя оценка в 3–4 символа на токен, включая пробелы и знаки препинания. Это ориентир для конкретного сервиса, а не свойство русского языка и не правило для остальных токенизаторов. При оценке расхода контекста или стоимости обработки текста среднее может оказаться неточным: короткая фраза и насыщенный терминами фрагмент одной длины способны дать разные последовательности токенов.

Что задаёт разницуКак это проявляется
Словарь токенизатораЧастотная форма может кодироваться одним элементом, редкая — несколькими
Алгоритм разбиенияРазные модели выбирают разные границы между частями слова
Состав текстаЧисла, знаки, имена и термины меняют длину последовательности
Ограничение контекстаОбычно оно задаётся числом токенов, а не символов

Число токенов имеет прямое техническое значение. Оно влияет на то, сколько исходного текста модель может обработать за один запрос, если лимит контекста задан именно в токенах. Например, опубликованные характеристики YandexGPT 5 Lite Pretrain указывают контекст в 32 тыс. токенов. Это не эквивалент фиксированному числу русских слов: длина входа в символах меняется в зависимости от токенизации.

Обучение русскоязычных нейросетей: данные и два этапа

Обучение языковой модели начинается с больших массивов текста, которые преобразуются в последовательности токенов. На первом этапе модель настраивает параметры так, чтобы решать заданную учебную задачу. Для авторегрессионной модели это, в частности, предсказание следующего токена по предыдущему контексту. Другие архитектуры могут обучаться по иным схемам, например восстанавливать пропущенные элементы или преобразовывать входную последовательность в выходную.

Параметры — числовые значения внутри вычислительной системы. В ходе оптимизации они меняются так, чтобы уменьшать ошибку на учебных примерах. Это не похоже на внесение в модель готовой энциклопедии с отдельной карточкой для каждого факта. Знания и языковые закономерности отражаются в изменениях параметров, но качество ответа зависит от того, какие данные и задачи использовались, а также от того, как систему проверяют.

По данным Яндекса, для YandexGPT 5 Lite Pretrain использовали два этапа: сначала обучение на данных объёмом 15 трлн токенов, затем на высококачественных данных объёмом 320 млрд токенов. Компания указывает размер модели в 8 млрд параметров и контекст в 32 тыс. токенов. Эти значения описывают заявленные характеристики конкретной модели. Объём токенов в обучении не равен числу уникальных слов или документов: один и тот же источник может содержать много последовательностей, а данные могут проходить предобработку.

Два этапа обучения позволяют разнести задачи по масштабу и составу данных. Большой массив даёт модели широкий статистический материал о языке и связях между фрагментами текста. Последующий этап на более качественной выборке может скорректировать поведение модели и увеличить вес примеров, которые разработчик считает полезными. Однако подробный состав обучающих наборов и все процедуры фильтрации из приведённых характеристик не следуют. По двум числам нельзя восстановить полный алгоритм подготовки данных.

Слова «высококачественные данные» тоже не раскрывают, какие именно материалы попали в выборку и по каким правилам их отбирали. Это обозначение этапа в описании разработчика, а не универсальная характеристика, которую можно напрямую сравнить между компаниями. Для понимания качества обучения важны не только объём, но и состав выборки, удаление повторов, фильтрация нежелательных материалов и соответствие примеров будущим задачам модели. Если эти сведения не опубликованы, границы доступного знания нужно признать.

Обучение также не заканчивается предсказанием следующего токена. Для чат-моделей применяют дополнительные процедуры, которые настраивают ответы под предпочтительный формат взаимодействия. В описании процесса обучения YandexGPT 5 Pro компания указывает DPO, PPO и собственную модификацию LogDPO. Эти названия относятся к методам оптимизации поведения модели. Они не означают, что модель после настройки независимо проверяет истинность каждого утверждения: качество ответа по-прежнему зависит от данных, запроса, архитектуры и выбранной процедуры оценки.

Количество параметров и токенов обучения полезно для описания масштаба вычислений, но само по себе не служит мерой качества. Модель с большим числом параметров может иметь более широкую вычислительную ёмкость, однако практический результат зависит также от данных, токенизатора, алгоритма обучения и конкретной задачи. Сравнивать две системы корректно только при сопоставимых условиях тестирования.

Адаптация мультиязычных моделей к русской морфологии

Русскоязычную систему можно строить с нуля или адаптировать модель, уже обученную на нескольких языках. В последнем случае часть языковых закономерностей и общих представлений уже присутствует, но устройство токенизатора и качество обработки русской морфологии могут требовать дополнительной настройки.

В отчётных материалах проекта РНФ за 2025 год описана методология Ruadapt. Она включает расширение словаря с учётом морфологии русского языка и многоэтапное обучение. В рамках проекта указаны модели RuadaptQwen3 размером 4B, 8B и 32B параметров. Такой подход позволяет менять представление русского текста на уровне токенизации и продолжать настройку самой модели. Расширение словаря может уменьшить дробление некоторых словоформ на мелкие части, но результат зависит от того, какие формы и частотные закономерности вошли в словарь.

Морфологическая адаптация затрагивает цепочку обработки целиком. Если слово кодируется неудобно для выбранной задачи, модель получает более длинную последовательность или менее подходящее представление его частей. После изменения словаря системе требуется обучение, чтобы новые элементы получили содержательные связи с контекстом. Само добавление токенов не создаёт знания автоматически.

Здесь важно различать словарь токенизатора и словарь в привычном смысле. Речь не о перечне определений, который модель открывает по запросу, а о наборе элементов, на которые разбиваются входные строки. Когда в него добавляют новые единицы, модель должна научиться использовать их в разных контекстах. Без такого обучения новый элемент остаётся лишь способом кодирования текста, а не готовым знанием о значении слова.

В материалах проекта также описан эксперимент, в котором модель уменьшили с 3 до 2,47 млрд параметров. Для этого результата заявлена потеря качества менее 10%. Это характеристика конкретного эксперимента и его условий. Она не задаёт универсальный предел сжатия и не позволяет заключить, что любую модель можно уменьшить на сопоставимую долю с тем же результатом.

Сжатие имеет инженерный смысл, когда важны вычислительные ресурсы и задержка ответа. Меньшая модель может требовать меньше памяти и вычислений при запуске. Но итоговая полезность зависит от того, какие задачи сохраняют качество после сокращения параметров. Для одной области снижение точности может быть приемлемым, для другой — критичным. Поэтому размер модели и потерю качества нужно рассматривать вместе с тестовой выборкой и целевым сценарием.

Токенизатор определяет форму входа, данные задают статистическую основу, а обучение связывает её с поведением модели. Ни один из этих этапов не заменяет остальные.

Параметры, контекст и границы сравнения моделей

Два технических показателя часто используют для описания языковой модели: число параметров и размер контекста. Первый отражает количество обучаемых числовых значений, второй задаёт предельную длину последовательности, которую система может учитывать при обработке. Эти характеристики отвечают на разные вопросы. Параметры связаны с устройством модели, контекст — с объёмом входа и истории, доступными ей при выполнении задачи.

В опубликованных характеристиках YandexGPT 5 Lite Pretrain указаны 8 млрд параметров и контекст 32 тыс. токенов. Для GigaChat в предоставленной документации приведены другие характеристики, включая среднюю оценку длины токена в 3–4 символа. Более поздние сведения о версиях моделей и их контекстных окнах требуют привязки к конкретной документации: характеристики меняются, а заявления разработчиков не являются независимым сравнением.

Даже широкий контекст не гарантирует одинаково точной обработки всех его частей. Ограничение показывает, сколько токенов система способна принять, но не описывает полноту извлечения деталей, устойчивость к длинным цепочкам рассуждений или точность фактов. Аналогично, большое число параметров не сообщает, на каких данных обучалась модель и насколько она пригодна для русского текста в конкретной задаче.

Для сравнения важно также понимать, что именно считается результатом. В одной проверке оценивают знание фактов, в другой — выполнение инструкции или генерацию связного текста. Модель может хорошо справляться с одним набором заданий и хуже с другим. Поэтому цифра из бенчмарка имеет смысл только рядом с описанием теста: какие примеры использовали, как оценивали ответы и можно ли сопоставить условия с проверкой другой системы.

При чтении описаний российских языковых моделей полезно разделять три уровня:

  • Представление текста. Как токенизатор разбивает русские слова, числа и знаки, сколько токенов расходуется на типичный для задачи материал.
  • Процедура обучения. Какие данные и этапы настройки описаны, какие методы использовались и какие сведения разработчик не раскрывает.
  • Результат на задаче. На каких тестах измеряли качество, кто проводил оценку и можно ли сопоставить условия с результатами другой модели.

Без этих сведений рейтинг превращается в сравнение несопоставимых чисел. Бенчмарк может измерять знания, генерацию кода, следование инструкции или работу с русским текстом, причём каждая задача предъявляет разные требования. Результаты, опубликованные разработчиком, нужно читать как характеристики, заявленные для его системы. Для вывода о преимуществе над конкурентом нужны независимые тесты с одинаковой методикой и доступными условиями воспроизведения.

Русский искусственный интеллект формируется на нескольких уровнях: архитектурном, языковом и вычислительном. Специализация на русском может включать собственный токенизатор, расширение словаря, адаптацию мультиязычной модели и настройку под целевые задачи. На практике качество определяется согласованностью этих компонентов, а не отдельным числом параметров или токенов обучения.

Масштабирование упирается в стоимость обучения и запуска, доступность данных, требования к памяти и точность, которую необходимо сохранить после адаптации или сжатия. Эти ограничения инженерны и измеримы. Пока опубликованных характеристик недостаточно, чтобы свести российские языковые модели к единому рейтингу. Устойчивый вывод скромнее: разные модели по-разному кодируют русский текст и обучаются под разные цели. Для оценки конкретной системы нужны конкретная задача и воспроизводимые условия сравнения.

Частые вопросы

Почему один и тот же русский текст занимает разное число токенов в разных моделях?
У моделей разные алгоритмы и словари токенизации, поэтому они могут по-разному делить слова, числа и знаки на элементы. Результат зависит и от состава текста: редкие термины, имена и последовательности символов могут сегментироваться иначе.
Что такое токен в языковой модели?
Токен — элемент, на который токенизатор разбивает текст и которому сопоставляет числовой идентификатор. Им может быть слово, часть слова, символ, знак пунктуации или пробел вместе с соседним фрагментом.
От чего зависит размер контекста языковой модели?
Ограничение контекста обычно задаётся числом токенов, а не символов или слов. Поэтому объём текста в символах, который поместится в контекст, зависит от токенизации.
Как адаптируют мультиязычную модель к русскому языку?
Адаптация может включать расширение словаря токенизатора с учётом русской морфологии и многоэтапное обучение. Новые элементы требуют обучения, чтобы модель научилась использовать их в контексте.
Почему число параметров не показывает качество языковой модели?
Практический результат зависит также от данных, токенизатора, алгоритма обучения и конкретной задачи. Сравнивать модели нужно на сопоставимых тестах и при одинаковых условиях оценки.