Перейти к содержанию

Тхэквондо · автоматический судья

Тхэквондо · автоматический судья: обложка кейса

Отслеживание ударов, зоны поражения и вращений в реальном времени

Клиент
Под NDA
Сфера
Спортивная аналитика
Что делали
  • Компьютерное зрение
  • Анализ позы и движений
  • Обработка видео в реальном времени

Суть. Дать судьям тхэквондо объективный инструмент: система по видео распознаёт удары, зоны поражения и вращения в реальном времени и сама собирает протокол поединка.

Введение

В тхэквондо оценка зависит от того, куда пришёлся удар и было ли в нём вращение. На полной скорости боя судья видит эпизод один раз и под одним углом, а спортсмены постоянно перекрывают друг друга. Спорные моменты неизбежны, а статистику поединка при этом считают вручную.

Мы сделали систему компьютерного зрения, которая работает с видео поединка в реальном времени: отслеживает позу и движения обоих спортсменов, выделяет удары, определяет зону поражения, фиксирует вращения и заносит всё в протокол. Каждое действие привязано ко времени записи, поэтому к спорному эпизоду можно вернуться и сопоставить его с оценкой судьи.


Боль - запрос

  • Удары и вращения сложно разглядеть в бою на полной скорости.

    Распознавание каждого действия по видео в реальном времени.

  • Оценка зависит от внимания и угла обзора конкретного судьи.

    Объективная фиксация действий, которая снижает влияние субъективности.

  • Протокол поединка ведётся вручную.

    Протокол, который собирается автоматически.

  • Спорный эпизод трудно восстановить после боя.

    Пересмотр по зафиксированным событиям.

  • Статистику поединков собирают вручную.

    Статистика по спортсменам и боям формируется сама.


Описание проекта

Система анализирует позу и движения спортсменов в каждом кадре и превращает поток движений в последовательность событий: удар, зона поражения, вращение. Из этих событий и складывается протокол.

  • Компьютерное зрение. Детекция спортсменов и оценка позы в каждом кадре.
  • Распознавание действий. Удары выделяются из потока движений, система определяет зону поражения и фиксирует вращения.
  • Реальное время. События появляются во время боя, а не после него.
  • Протокол. Все действия автоматически собираются в протокол поединка.
  • Пересмотр. Каждое действие привязано ко времени записи, спорный эпизод открывается с нужного момента.

Архитектура решения

Как система выглядит в работе. Ниже - откуда она берёт данные, где их обрабатывает и куда отдаёт результат.

Кадр тренировочного поединка тхэквондо: модель подписала удар рукой в голову и удар ногой в корпусКамера площадки на штативе
  • Камера площадки на штативе

Синий: удар ногой в корпусРаунд 2 · уверенность 94% · действие записано в протокол поединка

  1. Камеры площадки
  2. Поза обоих спортсменов
  3. Удар, зона, вращение
  4. Протокол и пересмотр

Действие распознаётся по последовательности поз, а не по одному кадру, и каждое привязано ко времени записи: к спорному эпизоду возвращаются за секунды.

Полная схема архитектуры и пример события

Источники

  • Камеры площадкиобзор татами, видео поединка
  • Разметка действийудары, зоны, вращения по правилам

Обработка

  • Детекция и трекинг спортсменовоба участника в каждом кадре(наша разработка)
  • Оценка позыключевые точки тела(наша разработка)

Распознавание

  • Классификация действийудар, зона поражения, вращение(наша разработка)
  • Протокол поединкадействия с меткой времени(наша разработка)

Кто и что получает

  • Судейская бригадапротокол и отметки спорных эпизодов
  • Пересмотр эпизодазапись с момента действия
  • Статистикапо спортсменам и поединкам

Так это выглядит в работе

WS/match/M-0412/events

event
action.detected
match_id
M-0412
round
2
athlete
синий
action
удар ногой с разворотом
target_zone
корпус
spin
да
confidence
video_ts
00:01:37.42
review_flag
нет
Пример события во время боя: действие попадает в протокол поединка, а по метке времени эпизод открывается для пересмотра. Данные обезличены.

Как проходит поединок

  1. Видео. Камеры площадки снимают поединок, система обрабатывает поток в реальном времени.
  2. Поза и движения. Модель находит обоих спортсменов и отслеживает ключевые точки тела в каждом кадре.
  3. Действия. По последовательности поз выделяются удары, зоны поражения и вращения, каждое со своей меткой времени.
  4. Протокол и пересмотр. Действия попадают в протокол поединка, спорный момент открывается на записи по метке времени.

Что было сложным

Тхэквондо - контактный вид с очень быстрыми движениями. Удар ногой длится доли секунды, спортсмены перекрывают друг друга, а по одному кадру не отличить удар от замаха. Поэтому действие распознаётся не по снимку, а по последовательности поз: модель видит, как пошла нога, куда пришла и был ли перед этим разворот корпуса.

Второе ограничение - реальное время. Протокол нужен во время боя, а не после, поэтому модели подобраны под железо площадки и укладываются в темп видео. Действия, в которых система не уверена, помечаются для пересмотра, а не уходят в протокол молча.


Результат проекта

  • Точность. 99.98% точность протокола матча.
  • Автоматический протокол. Протокол формируется без ручного подсчёта.
  • Спорные эпизоды. Их можно пересмотреть по зафиксированным действиям.
  • Меньше субъективности. Влияние субъективности на судейство снижается.
  • Статистика. Данные по поединку собираются автоматически.

Проект в цифрах

Длительность
Около 5 месяцев: сбор и разметка записей поединков, модели позы и действий, протокол и проверка на контрольных боях
Команда
  • 1 project manager
  • 1 тимлид data science
  • 2 ML-инженера (компьютерное зрение)
  • 1 back-end разработчик
  • 1 front-end разработчик
  • 99.98%точность протокола матча
  • Онлайндействия попадают в протокол во время боя
  • 0ручного подсчёта: протокол собирается автоматически

Технологии и интеграции

  • Оценка позы (pose estimation)
  • Детекция и трекинг спортсменов
  • Распознавание действий по последовательности поз
  • Обработка видео в реальном времени
  • Автоматический протокол поединка
  • Пересмотр эпизодов по метке времени

Частые вопросы

  • Система заменяет судью?

    Нет, это инструмент для судьи: она фиксирует действия, собирает протокол и помогает пересмотреть спорные эпизоды. Окончательное решение остаётся за судейской бригадой.

  • Что значит 99.98%?

    Это точность протокола матча в этом проекте. На новой площадке точность измеряется заново сверкой с протоколом бригады, потому что она зависит от камер, ракурса и освещения.

  • Что именно распознаёт система?

    Удары, зону поражения и вращения обоих спортсменов. Набор действий задаётся правилами вида спорта и размечается на записях поединков.

  • Подойдёт ли для других единоборств?

    Подход переносится, но действия размечаются заново под правила конкретного вида. Это основная часть работы на пилоте.

Проект под NDA: в публичном тексте только то, что согласовал клиент. Детали внедрения расскажем в переписке.

Обсудим вашузадачу

Вам необязательно иметь чёткую задачу. Оставьте контакты, и мы разберём ваши текущие бизнес-процессы и честно покажем, где внедрение технологий даст реальный финансовый результат.

Связаться с нами

  • Свяжемся в течение дня
  • Подпишем NDA до обсуждения данных
  • Удобнее в мессенджере? Напишите в Telegram