Перейти к содержанию

MLOps, разметка данных и сопровождение ML-моделей

Модель, которая не деградирует через полгода после запуска

MLOps - это практика, которая доводит модель машинного обучения от ноутбука исследователя до стабильной работы в продакшене и держит её там. Без MLOps модель обучают один раз, а через несколько месяцев её точность падает, потому что данные изменились: поменялся свет в цехе, ассортимент на полке или формат документов. YAVVI выстраивает полный цикл: сбор и разметку данных, обучение, развёртывание, мониторинг и переобучение по расписанию.

Что мы внедряем

Сбор и подготовка датасета

Собираем данные с ваших источников и приводим их к виду, на котором можно учить модель.

Как это работает

  1. Определяем источники и объём
  2. Чистим и убираем дубли
  3. Делим на обучение и проверку

Что получаете

Датасет, на котором модель учится на ваших реальных условиях.

Экран с набором изображений датасета и статистикой по классам

Разметка данных

Размечаем изображения, видео, тексты и документы под задачу модели.

Как это работает

  1. Пишем инструкцию по разметке
  2. Размечаем и проверяем вторым проходом
  3. Сдаём с отчётом о качестве

Что получаете

Разметка с проверкой, а не разовый проход.

Экран разметки: кадр с рамками объектов и списком классов

Дообучение моделей

Дообучаем модель, когда изменились данные или условия съёмки.

Как это работает

  1. Собираем новые примеры
  2. Дообучаем и сравниваем с прежней версией
  3. Выкатываем лучшую

Что получаете

Точность не падает со временем.

Экран обучения модели: графики точности двух версий

Модель в продакшене

Развёртывание, мониторинг и переобучение по расписанию.

Как это работает

  1. Упаковываем модель и разворачиваем
  2. Следим за качеством на живых данных
  3. Запускаем переобучение по расписанию

Что получаете

Модель стабильно работает, а её качество видно в цифрах.

Экран мониторинга модели: метрики качества и нагрузка

Цикл работы с моделью

  1. 1

    Данные

    Записи с камер, сканы, тексты в реальных условиях

  2. 2

    Очистка

    Дубли, брак, баланс классов, выборки

  3. 3

    Разметка

    Рамки, маски, классы и поля

  4. 4

    Обучение

    Дообучаем готовую модель на ваших примерах

  5. 5

    Развёртывание

    Docker, Kubernetes, оптимизация под ваше железо

  6. 6

    Мониторинг

    Метрики, откат и переобучение по расписанию

Сбор и подготовка датасета

Сбор датасета начинается с вопроса, какие ситуации модель должна различать и сколько примеров каждой ситуации есть на самом деле. Для видеоаналитики это записи с ваших камер в разное время суток и в разные сезоны, для документов это реальные сканы с печатями и пометками. Сбор датасета по редким событиям, например нарушениям или дефектам, иногда требует постановочной съёмки или синтетических данных.

Подготовка датасета включает очистку от дублей и брака, балансировку классов и разбиение на обучающую, валидационную и отложенную выборки. Подготовка датасета занимает до половины срока проекта, и экономия на этом этапе почти всегда оборачивается переделкой модели.

Разметка данных

Разметка данных для ИИ превращает сырые кадры, тексты и звук в примеры с правильными ответами: рамки вокруг объектов, маски, классы, извлечённые поля. Разметка данных для нейросети компьютерного зрения у нас идёт в CVAT и Label Studio с двойной проверкой спорных кадров. Разметка данных для обучения ИИ по текстам и документам включает классификацию, выделение сущностей и пары «вопрос-ответ» для языковых моделей.

Специалист разметки данных для обучения нейросетей работает по инструкции, которую мы составляем вместе с вашим экспертом: что считается дефектом, где граница опасной зоны. Специалист по разметке данных нейросети проходит контрольную выборку до начала работы, а специалист по разметке данных для ИИ в спорных случаях эскалирует кадр техлиду. Так разметка данных для ИИ остаётся согласованной, даже если её делают несколько человек.

Что размечаем

Спорные примеры проверяются дважды.

  • Рамки
  • Маски
  • Классы
  • Поля документов
  • Пары вопрос-ответ

Дообучение моделей

Дообучение модели ИИ на ваших данных быстрее и дешевле обучения с нуля: берём модель, обученную на больших открытых датасетах, и доучиваем её на сотнях или тысячах ваших примеров. Дообучение языковой модели под термины и формат документов компании идёт методом LoRA и разворачивается на вашем сервере. Дообучение модели ИИ повторяем по расписанию или при падении метрик, и разметка данных для нейросети на новых примерах становится частью регулярного процесса.

Модель в продакшене

MLOps в продакшене - это версионирование данных и моделей, автоматические пайплайны обучения, мониторинг качества и откат на предыдущую версию, если новая работает хуже. Мы используем MLflow и DVC для версий, Docker и Kubernetes для развёртывания и оптимизируем инференс под ваше железо, чтобы модель работала в реальном времени. MLOps мы передаём вашей команде вместе с документацией или берём на сопровождение. Расскажите, какая модель у вас уже работает или какую задачу нужно решить, и мы предложим план от сбора данных до мониторинга.

Жизненный цикл модели: сбор данных, разметка, обучение, развёртывание, мониторинг

Стек

  • CVAT
  • Label Studio
  • MLflow
  • DVC
  • Docker
  • Kubernetes

Частые вопросы

  • Сколько нужно примеров?

    Для дообучения готовой модели обычно хватает сотен или тысяч ваших примеров. Точное число зависит от того, сколько ситуаций модель должна различать.

  • Кто размечает данные?

    Наши специалисты по инструкции, которую мы составляем вместе с вашим экспертом. Спорные примеры проверяет техлид.

  • Можно ли передать сопровождение своей команде?

    Да, передаём вместе с документацией или оставляем на сопровождении у нас.

Опыт наших клиентов

Мой проект - тематический сайт знакомств. Я оцениваю его как проект высокого уровня сложности: очень непросто найти разработчиков, которые могли бы его реализовать. Я работал с командой Глеба в течение более двух лет с перерывами, которые были связаны исключительно с моим финансовым состоянием. По итогу могу сказать, что вполне доволен проделанной работой. Ребята знают своё дело, с хорошей коммуникабельностью, и всегда помогут советом. В данный момент вся основная работа сделана, сайт находится в рабочем состоянии и набирает пользователей. Есть идеи по добавлению новых функций, и если я решусь на это, то буду реализовывать их и дальше с этой командой.

Роман
Владелец проекта,
проект под NDA

Команда Глеба была профессиональной, оперативно реагировали на любые возникающие вопросы и шли навстречу в рабочих моментах. В ходе работы с командой были реализованы части и компоненты масштабного сервиса AI LMS платформы.

ООО «ИОК «Интеллект+»
Заказчик,
AI LMS платформа

Мы разрабатывали несколько сервисов, часть из них запускалась в формате MVP: в частности, автоматизировали обработку запросов корпоративных заказчиков на аренду спортивных площадок. Команда проекта была на связи, и мы активно двигались по нашим требованиям. Достаточно оперативно реализовали и запустили продукт. Спасибо команде!

Александр Меркулов
Заказчик,
сервисы аренды спортивных площадок

Обращались в YAVVI за доработками нашего сайта pakpakych.ru. Стек у нас не самый простой: Django, GarpixCMS и React SPA. До этого несколько подрядчиков ограничивались общими рекомендациями «в вакууме». Ребята зашли иначе: сначала провели полноценный технический аудит, разобрали каждый из 26 пунктов нашего ТЗ и по каждому написали, что уже реализовано, чего нет и почему. Отдельно ценно, что не стали продавать нам лишние работы, а честно указали, где функционал в проекте уже есть и где два пункта дублируют друг друга. По ходу аудита нашли критичную проблему, о которой мы не подозревали, и одна эта находка окупила всю работу. По каждой задаче была вилка часов и тип работ, никаких «примерно месяц», всё проверялось руками и подтверждалось инструментами. Каждая доработка выведена в админку, это принципиально: мы получили не разовый результат, а инструмент, плюс обучение нашей команды. Рекомендую тем, у кого нетиповой стек и нужен подрядчик, который сначала разберётся, а потом делает. Продолжаем сотрудничество.

Никита
Заказчик,
pakpakych.ru

Обсудим вашузадачу

Вам необязательно иметь чёткую задачу. Оставьте контакты, и мы разберём ваши текущие бизнес-процессы и честно покажем, где внедрение технологий даст реальный финансовый результат.

Связаться с нами

  • Свяжемся в течение дня
  • Подпишем NDA до обсуждения данных
  • Удобнее в мессенджере? Напишите в Telegram