Это инженерная проблема с понятной причинной цепочкой: данные задают материал, на котором алгоритм настраивает свои параметры, а их состав и качество влияют на то, что система сможет распознавать при работе.
В разработке машинного обучения сосуществуют два фокуса. Первый направлен на модель: архитектуру, алгоритм обучения, параметры. Второй — на данные: их сбор, разметку, проверку и очистку. Эти подходы не исключают друг друга. Сравнивать их полезно, чтобы понимать, где именно возникает погрешность и какие меры способны её уменьшить.
Модель и данные: два инженерных фокуса
При модельно-ориентированном подходе разработчики меняют устройство нейросети или алгоритм оптимизации. Они могут пересматривать число и тип слоёв, способ обработки входа, функцию потерь, режим регуляризации. Задача состоит в том, чтобы повысить способность модели находить закономерности и переносить их на новые примеры.
Дата-ориентированный подход начинается с другого вопроса: какие наблюдения получила система и насколько они пригодны для обучения? Здесь работа касается состава выборки, пропусков, дубликатов, ошибок разметки, распределения примеров между классами. Иногда проблему нельзя устранить изменением архитектуры, потому что модель просто не получила надёжного сигнала о том, какой ответ считать правильным.
ОЭСР описывает разработку систем машинного обучения как последовательность из четырёх этапов: сбор данных, предварительная обработка, обучение и тонкая настройка модели. Решения о количестве, типе и источниках данных принимаются рано и влияют на выход системы. Это важно для сравнения: работа с данными не добавляется в конце как косметическая проверка. Она входит в проектирование системы с самого начала.
| Параметр | Фокус на модели | Фокус на данных |
|---|---|---|
| Основной объект изменений | Архитектура, алгоритм, параметры обучения | Состав, разметка и подготовка выборки |
| Типичный вопрос | Как модели эффективнее извлечь закономерность? | Какие закономерности фактически представлены в примерах? |
| Возможный источник сбоя | Недостаточная способность модели обобщать | Пропуски, шум, перекосы, неверные метки |
| Ограничение | Новая архитектура не исправляет автоматически дефекты выборки | Очистка не решает любую проблему алгоритма или постановки задачи |
| Место в разработке | Настройка и обучение, затем итеративная проверка | Сбор и подготовка данных, а затем контроль на каждом цикле |
Практический выбор зависит от симптома. Если обучение нестабильно при корректно подготовленной выборке, исследуют модель и алгоритм оптимизации. Если ошибки концентрируются на определённых группах примеров, стоит проверить, представлены ли они в данных и одинаково ли размечены. Если качество падает на новых условиях применения, проверяют соответствие тестовой выборки реальному сценарию.
Архитектура задаёт способ обработки информации. Данные задают, какую информацию модель вообще сможет усвоить.
От сбора до тонкой настройки
Обучающие данные — набор примеров, на котором система учится применять и уточнять используемые методы. Но разные части массива выполняют разные функции. Обучающая выборка используется для настройки параметров. Валидационная помогает итеративно оценивать промежуточные версии. Тестовая служит для итоговой проверки, в том числе готовности работать с данными реального мира.
Смешение этих ролей создаёт систематическую погрешность оценки. Если разработчик многократно подбирает модель по результатам на тестовой выборке, тест перестаёт быть независимой проверкой: решения начинают подстраиваться под неё. Итоговая метрика в таком случае может выглядеть убедительно, но хуже отражать работу системы на новых примерах.
Подготовка массивов включает несколько разных операций:
1. Сбор. Определяются источники и условия получения примеров. Уже здесь возникают ограничения: одни случаи могут быть представлены часто, другие почти отсутствовать. Для системы распознавания речи, например, важны условия записи и характеристики говорящих, а для медицинской модели — способ получения и описание наблюдений.
2. Предварительная обработка. Данные приводят к формату, который может использовать алгоритм. Удаление дублей, нормализация значений и обработка пропусков способны изменить статистическую структуру выборки. Поэтому операция должна быть документирована: иначе трудно понять, откуда возникло отличие в результатах.
3. Разметка. Пример связывают с целевой меткой: классом, текстовой расшифровкой, категорией или другим ответом. Ошибки на этом этапе сообщают модели неверный сигнал. Чем неоднозначнее критерий разметки, тем важнее фиксировать правила и разбирать разногласия.
4. Проверка и очистка. Ищут несогласованные записи, ошибочные метки, аномальные значения и дефекты структуры. Очистка не означает механическое удаление всего необычного. Редкий случай может быть ошибкой, но может быть и важным примером, который системе предстоит распознавать.
5. Интеграция. Объединяют данные из разных источников. Различия в форматах, единицах измерения и правилах регистрации могут выглядеть как закономерности в самих объектах. Модель усвоит их, если разработчик не отделит техническое расхождение от значимого признака.
Обработка больших данных нейросетями не отменяет необходимости этой работы. Больший объём может добавить разнообразие, но не гарантирует ни правильной разметки, ни баланса, ни соответствия будущему применению. Универсального порога качества или общего оптимального объёма данных для всех задач нет. Требования зависят от того, что система должна предсказывать и насколько дорого обходится ошибка.
Шумные метки и пределы обучения
Шумная метка возникает, когда примеру присвоен неправильный или непоследовательный ответ. Визуально это может быть обычная строка в таблице. Для алгоритма разница существенна: обучение подталкивает параметры к соответствию заданной метке, а не скрытой истине, которую разработчик хотел за ней обозначить.
Если шум распределён случайно и его мало, устойчивый алгоритм иногда способен частично компенсировать дефект. Но систематическая ошибка действует иначе. Например, если неоднозначные случаи постоянно размечают по одному и тому же неверному правилу, модель будет воспроизводить это правило и на новых данных. Увеличение выборки в такой ситуации может увеличить количество повторений ошибки.
Обзор методов обучения на шумных метках классифицирует 62 метода устойчивого обучения. Само число показывает разнообразие исследовательских решений, но не задаёт единственный универсальный алгоритм. Методы различаются предположениями о происхождении шума и структуре данных. Одни пытаются выявлять сомнительные метки, другие меняют процедуру обучения или функцию потерь. Их применимость зависит от задачи и свойств выборки.
В исследованиях качества данных для глубокого обучения рассматриваются сбор, разметка, проверка, очистка и интеграция, а также подходы к устойчивому обучению при шумных или отсутствующих признаках и метках. Это две стороны одной инженерной задачи. Сначала пытаются предупредить дефект на этапе подготовки. Затем оценивают, насколько алгоритм способен выдержать оставшиеся несовершенства.
Анализ информации алгоритмами ИИ поэтому нельзя оценивать только по итоговой точности. Средняя метрика может скрывать группы, где система ошибается чаще, или редкие условия, на которых она теряет устойчивость. При распознавании речи отдельный сценарий связан с особенностями голоса и записи. В контексте доступности это также касается того, какие пользователи и речевые данные включены в разработку. Например, программа обучения работе с нейросетями для людей с инвалидностью относится к практическому применению ИИ и поднимает вопрос о доступе к инструментам; сама по себе она не доказывает, какие данные использовались для обучения конкретной модели.
Каскады ошибок в проектах
Дефект данных редко остаётся изолированным. Ошибка сбора может перейти в разметку, затем закрепиться в обучении и проявиться только при внедрении. Если такие этапы проверяют раздельно, каждый участник процесса может видеть корректный локальный результат, хотя вся цепочка уже смещена.
В исследовании практик разработки ИИ высокого риска авторы сообщили о каскадах проблем данных в 92% рассмотренных случаев. Эта цифра получена на основе интервью с 53 специалистами из Индии, стран Восточной и Западной Африки и США. Она описывает именно рассмотренное исследование, а не долю всех проектов искусственного интеллекта. Переносить показатель на отрасль целиком нельзя.
Практический смысл вывода не в том, что ошибки неизбежны в каждом проекте, а в том, что дефекты способны усиливать друг друга. Например, неполный сбор ограничивает разнообразие примеров. Разметка по узкому набору правил закрепляет это ограничение. Проверка на выборке, сформированной тем же способом, может не обнаружить проблему. После внедрения меняются условия входа, и система получает данные, отличающиеся от тех, на которых её оценивали.
Поэтому важна прослеживаемость: откуда пришла запись, как она преобразовывалась, кто и по каким правилам её размечал, к какой версии выборки она относится. Без этих сведений сложно локализовать источник ошибки. Можно менять архитектуру, параметры и порог решения, но не понимать, что именно вызвало улучшение или ухудшение.
Сравнение датасетов для машинного обучения требует также смотреть на условия формирования выборок. Одинаковый размер не означает одинаковое содержание. В одной выборке может быть больше редких случаев, в другой — больше повторяющихся примеров. Для корректной оценки нужно сопоставлять назначение данных, их источники, правила разметки и связь с предполагаемым сценарием эксплуатации.
Смещение и контроль после внедрения
Смещение в данных может закрепляться в процессах или результатах системы. Исключение чувствительного признака, например сведений о принадлежности к определённой группе, не всегда устраняет дискриминационные закономерности. Другие признаки могут быть с ним связаны и косвенно передавать сходную информацию.
Это усложняет проверку справедливости. Алгоритм может не получать прямого поля с чувствительной характеристикой, но использовать набор коррелирующих признаков. Следовательно, контроль сводится не к поиску одного запрещённого столбца. Требуется анализировать результаты на релевантных группах, выяснять, как формировалась выборка и какие последствия имеют ошибки в конкретном применении.
NIST AI RMF 1.0 опубликован 26 января 2023 года. Это добровольная рамка управления рисками ИИ, а не обязательная юридическая норма. Её материалы предусматривают оценку и документирование справедливости и смещения, проверку системы до внедрения и регулярное тестирование во время эксплуатации. Такой цикл принципиален: характеристики входных данных могут меняться со временем, а первоначальная оценка не покрывает автоматически новые условия.
Для качества данных в искусственном интеллекте полезно разделять три уровня контроля:
- Происхождение и состав. Какие источники вошли в массив, какие случаи исключены, где находятся ограничения охвата.
- Целостность и разметка. Какие правила присвоения меток применялись, как выявлялись разногласия и что делали с пропусками.
- Работа системы. Как распределяются ошибки, на каких типах входа они возникают и сохраняется ли поведение после внедрения.
Единого числа, которое подтверждало бы надёжность всех данных, нет. Метрика должна соответствовать задаче. Для классификации можно оценивать разные виды ошибок, для системы рекомендаций — последствия выдачи, для распознавания — качество на разных условиях записи. При этом итоговая проверка должна оставаться отделённой от этапа, на котором подбирают модель.
Где проходит граница сравнения
Модельный и дата-ориентированный подходы отвечают на разные диагностические вопросы. Первый исследует способность алгоритма извлекать и переносить закономерности. Второй — качество сигнала, который ему предоставили. В реальном проекте оба фокуса связаны: удачная архитектура может снизить влияние части шума, а исправление выборки способно изменить требования к модели.
При выборе направления полезно исходить из наблюдаемого характера ошибки. Если система проваливается на примерах, которых почти нет в обучении, требуется пересмотреть сбор и покрытие данных. Если метки противоречат друг другу, нужна проверка правил разметки. Если оценка на тесте хорошая, а эксплуатация нестабильна, следует сопоставить тестовые данные с реальными условиями и проверить, не изменилась ли сама среда. Если же выборки согласованы и покрывают задачу, исследуют алгоритм и его ограничения.
Надёжность не возникает из одного крупного массива и не обеспечивается одной архитектурой. Её формируют проектирование данных, проверяемая разметка, корректное разделение выборок, анализ смещений и повторная оценка после внедрения. Масштабирование вычислений увеличивает скорость обработки. Оно не устраняет погрешность, заложенную в информации. Пока происхождение и ограничения данных остаются непрозрачными, рост модели увеличивает производительность системы, но не обязательно её надёжность.