Эти цифры описывают разные способности, а вместе показывают главное: прогресс искусственного интеллекта нельзя свести к одному универсальному показателю.
Создание искусственного интеллекта сегодня — это не один алгоритм и не только обучение нейросети. Это цепочка решений: какую задачу поручить системе, на каких данных её обучать, как измерять результат и что считать допустимой ошибкой. Именно на этих этапах становится понятен разрыв между впечатляющим результатом в тесте и надёжной работой в реальной среде.
Что считать искусственным интеллектом
В обновлённом определении OECD ИИ-система получает входные данные и выводит из них, как формировать прогнозы, контент, рекомендации или решения, способные влиять на физическую либо виртуальную среду. Такая формулировка охватывает широкий диапазон систем: от модели, которая классифицирует изображения, до алгоритма, принимающего решения в цифровом сервисе.
Для инженерного описания важны две характеристики: автономность и адаптивность. Автономность показывает, насколько система может выполнять делегированную задачу без участия человека. Адаптивность описывает возможность менять поведение после разработки — например, на основе новых данных или взаимодействия со средой. Эти свойства не обязательно идут вместе. Система может действовать самостоятельно, но не обновлять свою модель поведения после внедрения.
Поэтому вопрос «создан ли искусственный интеллект» сам по себе мало что говорит о его возможностях. Нужно уточнить, какие входные данные он принимает, какой результат выдаёт, в какой среде работает и насколько его поведение меняется со временем. Классификатор медицинских снимков, текстовая модель и программный агент, управляющий компьютером, используют разные алгоритмы и требуют разных способов оценки.
OECD обновила определение ИИ-системы в ноябре 2023 года, а рекомендацию по ИИ пересмотрела в мае 2024-го. Определение помогает описывать технологии, но не задаёт единого закона для всех стран и не решает автоматически вопрос об ответственности за ошибку. Это задача отдельного регулирования и практик управления риском.
От данных к модели: из чего складывается обучение
Упрощённо нейросеть можно представить как систему параметров, значения которых постепенно меняются во время обучения. На вход подаются примеры. Модель строит прогноз. Алгоритм сравнивает его с требуемым ответом и вычисляет ошибку. Затем параметры корректируются так, чтобы на следующих примерах ошибка в среднем уменьшалась.
Это описание не означает, что модель усваивает смысл задачи так же, как человек. Обучение настраивает вычислительную систему под статистические закономерности в данных и критерий качества. Полученный результат зависит от состава примеров, архитектуры модели, процедуры обучения и того, как именно измеряется ошибка.
В практической разработке можно выделить несколько связанных этапов:
1. Постановка задачи. Формулируют, что система должна прогнозировать, создавать или классифицировать. Расплывчатая цель затрудняет оценку: нельзя надёжно измерить результат, если заранее не определено, что считать правильным ответом.
2. Подготовка данных. Собирают примеры, приводят их к подходящему формату и проверяют, соответствуют ли они задаче. Ошибки разметки и перекосы в выборке переходят в поведение модели.
3. Выбор модели и алгоритма обучения. Архитектуру подбирают под тип входа и требуемый результат. Один и тот же массив данных не гарантирует одинакового качества при разных алгоритмах и настройках.
4. Обучение и оценка. Параметры модели обновляют на обучающих примерах, а затем проверяют на данных, которые использовались для настройки не напрямую. Это позволяет оценить, насколько результат переносится за пределы знакомых примеров.
5. Внедрение и наблюдение. После запуска меняются сами условия работы: появляются новые запросы, данные и способы использования. Поэтому качество нужно измерять и после обучения, а ошибки учитывать в контексте реальной задачи.
Качество модели ограничено не только вычислительной мощностью. Его задают данные, критерий ошибки и условия, в которых систему будут применять.
С ростом модели увеличиваются требования к вычислениям. Но масса параметров сама по себе не является мерой надёжности. Дополнительные вычислительные ресурсы позволяют обучать более крупные системы и обрабатывать больше данных, однако не устраняют неверную постановку задачи, пробелы в обучающей выборке или неоднозначность теста.
Есть и вопрос прозрачности. По данным Stanford AI Index 2026, более 90% отмеченных в отчёте передовых моделей 2025 года создала индустрия. Одновременно сведения о коде обучения, размере наборов данных и количестве параметров наиболее мощных систем раскрываются всё реже. Это затрудняет независимое воспроизведение результатов: даже опубликованная оценка не всегда позволяет понять, какой именно алгоритм и на каких данных дал такой показатель.
Почему баллы в тестах не равны общему интеллекту
Бенчмарк измеряет результат на заданном наборе задач при определённых правилах. Он полезен для сравнения систем в конкретном режиме, но не превращается в универсальную шкалу способностей. Изменение формата задачи, доступных инструментов или условий запуска может изменить итог.
Разница особенно заметна при сравнении двух тестов, которые проверяют разные действия:
| Показатель | SWE-bench Verified | OSWorld |
|---|---|---|
| Что оценивается | Решение задач по программированию | Выполнение компьютерных задач в Ubuntu, Windows и macOS |
| Масштаб теста из фактуры | В сообщённых результатах сравниваются показатели за 2024 и 2025 годы | 369 задач |
| Результат ведущих моделей | Примерно 60% в 2024 году и почти 100% в 2025-м | 66,3% точности |
| Ориентир для сравнения | В приведённых данных человеческий показатель не указан | Человеческий результат — 72,35% |
Резкий рост в SWE-bench Verified показывает продвижение моделей в конкретной оценке программирования. Он не доказывает, что модель с той же точностью справится с произвольной инженерной задачей, проверит собственный код на безопасность или корректно выполнит последовательность действий в интерфейсе. Для каждого из этих выводов нужен отдельный тест.
OSWorld ближе к работе с компьютером как с последовательностью операций: система должна выполнять задачи в разных операционных средах. Результат 66,3% при человеческом ориентире 72,35% показывает, что даже сильная модель не безошибочна в этом формате. Здесь важна не только генерация ответа. Нужно корректно воспринимать состояние интерфейса, выбирать действие и учитывать его последствия.
Сопоставлять показатели напрямую можно лишь с оговорками. Бенчмарки различаются по содержанию, сложности и способу подсчёта. Поэтому рост результата в одном тесте сообщает о прогрессе в соответствующей области, но не позволяет заключить, что система стала надёжнее во всех остальных.
Надёжность: ошибки и инциденты
Генеративная модель может выдавать связный ответ, который не соответствует фактам. Для измерения такого поведения используют отдельные тесты, и их результаты также зависят от методики. В испытании AA-Omniscience частота галлюцинаций среди 26 ведущих моделей находилась в диапазоне от 22% до 94%. Это разброс результатов внутри конкретного теста, а не общая вероятность ошибки любого ИИ в любой задаче.
Разница между нижней и верхней границей показывает, насколько показатель зависит от модели и условий оценки. Переносить этот диапазон на медицинские консультации, поиск документов или техническую поддержку без отдельной проверки нельзя. Там отличаются запросы, цена ошибки и доступность подтверждающих данных.
Другой индикатор — зарегистрированные инциденты. В AI Incident Database за 2025 год было отмечено 362 случая, а за 2024-й — 233. Эти числа зависят от методики базы, её охвата и поступления сообщений. Они не дают полного подсчёта всех происшествий и сами по себе не показывают, насколько опасна отдельная система.
Для оценки риска недостаточно знать только частоту ошибки. Имеет значение, что именно может произойти после неверного ответа, кто проверяет результат и можно ли отменить действие. Ошибка в черновике письма и ошибка в процессе, который влияет на физическую систему, имеют разную цену. По этой причине один порог точности не подходит для всех сценариев.
Практическая надёжность складывается из нескольких слоёв: тестирования на профильных данных, ограничения полномочий системы, проверки результата человеком там, где цена ошибки высока, и наблюдения после внедрения. Если модель получает возможность самостоятельно выполнять действия, оценивать нужно не только текст ответа, но и траекторию действий: что она запросила, какие инструменты использовала и как отреагировала на неожиданный результат.
От лабораторной разработки к внедрению
ИИ уже вошёл в повседневные процессы компаний, хотя глубина внедрения различается. По данным Stanford AI Index 2026, 88% опрошенных организаций сообщили об использовании ИИ, а 70% применяли генеративный ИИ хотя бы в одной бизнес-функции. При этом использование ИИ-агентов в большинстве бизнес-функций оставалось на уровне однозначного процента.
Эти показатели описывают опрошенные организации и методику конкретного отчёта. Их нельзя автоматически переносить на каждую отрасль или страну. Кроме того, сам факт использования не показывает, насколько система влияет на решения: это может быть вспомогательная генерация текста или встроенный инструмент в критическом рабочем процессе.
Для управления рисками NIST предложил добровольную рамку AI RMF 1.0. Она предназначена для организаций, которые разрабатывают, внедряют или используют ИИ, и включает четыре функции:
- GOVERN задаёт распределение ответственности и правила управления;
- MAP описывает контекст применения, участников и возможные последствия;
- MEASURE предусматривает оценку характеристик и рисков системы;
- MANAGE связывает результаты оценки с действиями по снижению риска.
Эта рамка не является обязательным законом или универсальной сертификацией. Её инженерная ценность в структуре: риск рассматривается на протяжении всего жизненного цикла системы, а не только в момент запуска. Такой подход особенно важен, когда модель обновляется, подключается к новым инструментам или начинает работать с иной категорией данных.
Создание искусственного интеллекта поэтому не заканчивается обучением. Модель может пройти тесты и всё равно оказаться неподходящей для конкретной среды. Чтобы оценить её масштабируемость, нужно знать, какие функции она выполняет автономно, насколько меняется после внедрения, как измеряется погрешность и кто отвечает за последствия.
Сегодняшние результаты подтверждают быстрый технический прогресс, но не снимают ограничений измерения и надёжности. Почти 100% в одном бенчмарке сосуществуют с 66,3% в другом, а диапазон ошибок на отдельном тесте остаётся широким. Перспективы масштабирования определяются не одной метрикой и не размером модели. Их задаёт сочетание алгоритма, данных, вычислений, контроля и допустимой цены ошибки.