Тхэквондо · автоматический судья

Отслеживание ударов, зоны поражения и вращений в реальном времени
- Клиент
- Под NDA
- Сфера
- Спортивная аналитика
- Что делали
- Компьютерное зрение
- Анализ позы и движений
- Обработка видео в реальном времени
Суть. Дать судьям тхэквондо объективный инструмент: система по видео распознаёт удары, зоны поражения и вращения в реальном времени и сама собирает протокол поединка.
Введение
В тхэквондо оценка зависит от того, куда пришёлся удар и было ли в нём вращение. На полной скорости боя судья видит эпизод один раз и под одним углом, а спортсмены постоянно перекрывают друг друга. Спорные моменты неизбежны, а статистику поединка при этом считают вручную.
Мы сделали систему компьютерного зрения, которая работает с видео поединка в реальном времени: отслеживает позу и движения обоих спортсменов, выделяет удары, определяет зону поражения, фиксирует вращения и заносит всё в протокол. Каждое действие привязано ко времени записи, поэтому к спорному эпизоду можно вернуться и сопоставить его с оценкой судьи.
Боль - запрос
Удары и вращения сложно разглядеть в бою на полной скорости.
Распознавание каждого действия по видео в реальном времени.
Оценка зависит от внимания и угла обзора конкретного судьи.
Объективная фиксация действий, которая снижает влияние субъективности.
Протокол поединка ведётся вручную.
Протокол, который собирается автоматически.
Спорный эпизод трудно восстановить после боя.
Пересмотр по зафиксированным событиям.
Статистику поединков собирают вручную.
Статистика по спортсменам и боям формируется сама.
Описание проекта
Система анализирует позу и движения спортсменов в каждом кадре и превращает поток движений в последовательность событий: удар, зона поражения, вращение. Из этих событий и складывается протокол.
- Компьютерное зрение. Детекция спортсменов и оценка позы в каждом кадре.
- Распознавание действий. Удары выделяются из потока движений, система определяет зону поражения и фиксирует вращения.
- Реальное время. События появляются во время боя, а не после него.
- Протокол. Все действия автоматически собираются в протокол поединка.
- Пересмотр. Каждое действие привязано ко времени записи, спорный эпизод открывается с нужного момента.

Архитектура решения
Как система выглядит в работе. Ниже - откуда она берёт данные, где их обрабатывает и куда отдаёт результат.
Камера площадки на штативе- Камера площадки на штативе
Синий: удар ногой в корпусРаунд 2 · уверенность 94% · действие записано в протокол поединка
- Камеры площадки
- Поза обоих спортсменов
- Удар, зона, вращение
- Протокол и пересмотр
Действие распознаётся по последовательности поз, а не по одному кадру, и каждое привязано ко времени записи: к спорному эпизоду возвращаются за секунды.
Полная схема архитектуры и пример события
Источники
- Камеры площадкиобзор татами, видео поединка
- Разметка действийудары, зоны, вращения по правилам
Обработка
- Детекция и трекинг спортсменовоба участника в каждом кадре(наша разработка)
- Оценка позыключевые точки тела(наша разработка)
Распознавание
- Классификация действийудар, зона поражения, вращение(наша разработка)
- Протокол поединкадействия с меткой времени(наша разработка)
Кто и что получает
- Судейская бригадапротокол и отметки спорных эпизодов
- Пересмотр эпизодазапись с момента действия
- Статистикапо спортсменам и поединкам
Так это выглядит в работе
WS/match/M-0412/events
event- action.detected
match_id- M-0412
round- 2
athlete- синий
action- удар ногой с разворотом
target_zone- корпус
spin- да
confidence- 95%
video_ts- 00:01:37.42
review_flag- нет
Как проходит поединок
- Видео. Камеры площадки снимают поединок, система обрабатывает поток в реальном времени.
- Поза и движения. Модель находит обоих спортсменов и отслеживает ключевые точки тела в каждом кадре.
- Действия. По последовательности поз выделяются удары, зоны поражения и вращения, каждое со своей меткой времени.
- Протокол и пересмотр. Действия попадают в протокол поединка, спорный момент открывается на записи по метке времени.
Что было сложным
Тхэквондо - контактный вид с очень быстрыми движениями. Удар ногой длится доли секунды, спортсмены перекрывают друг друга, а по одному кадру не отличить удар от замаха. Поэтому действие распознаётся не по снимку, а по последовательности поз: модель видит, как пошла нога, куда пришла и был ли перед этим разворот корпуса.
Второе ограничение - реальное время. Протокол нужен во время боя, а не после, поэтому модели подобраны под железо площадки и укладываются в темп видео. Действия, в которых система не уверена, помечаются для пересмотра, а не уходят в протокол молча.
Результат проекта
- Точность. 99.98% точность протокола матча.
- Автоматический протокол. Протокол формируется без ручного подсчёта.
- Спорные эпизоды. Их можно пересмотреть по зафиксированным действиям.
- Меньше субъективности. Влияние субъективности на судейство снижается.
- Статистика. Данные по поединку собираются автоматически.
Проект в цифрах
- Длительность
- Около 5 месяцев: сбор и разметка записей поединков, модели позы и действий, протокол и проверка на контрольных боях
- Команда
- 1 project manager
- 1 тимлид data science
- 2 ML-инженера (компьютерное зрение)
- 1 back-end разработчик
- 1 front-end разработчик
- 99.98%точность протокола матча
- Онлайндействия попадают в протокол во время боя
- 0ручного подсчёта: протокол собирается автоматически
Технологии и интеграции
- Оценка позы (pose estimation)
- Детекция и трекинг спортсменов
- Распознавание действий по последовательности поз
- Обработка видео в реальном времени
- Автоматический протокол поединка
- Пересмотр эпизодов по метке времени
Частые вопросы
Система заменяет судью?
Нет, это инструмент для судьи: она фиксирует действия, собирает протокол и помогает пересмотреть спорные эпизоды. Окончательное решение остаётся за судейской бригадой.
Что значит 99.98%?
Это точность протокола матча в этом проекте. На новой площадке точность измеряется заново сверкой с протоколом бригады, потому что она зависит от камер, ракурса и освещения.
Что именно распознаёт система?
Удары, зону поражения и вращения обоих спортсменов. Набор действий задаётся правилами вида спорта и размечается на записях поединков.
Подойдёт ли для других единоборств?
Подход переносится, но действия размечаются заново под правила конкретного вида. Это основная часть работы на пилоте.
Проект под NDA: в публичном тексте только то, что согласовал клиент. Детали внедрения расскажем в переписке.






