Стажировка по проекту
Создание ИИ-системы по оценке и судейству каратэ-спаррингов и отдельных приемов в ката. Этап 2
Компания: ТOO Ассоциация шотокан карате-до «Гроза»
Суть проекта
задачи
для чего
вводные данные
Проект нацелен на разработку прототипа системы поддержки судейства при исполнении ката на тренировках и соревнованиях по шотокан карате-до.
В основу системы закладываются методы компьютерного зрениядля обработки и анализа видеозаписей исполнения ката с получением оценок по заданным критериям
В основу системы закладываются методы компьютерного зрениядля обработки и анализа видеозаписей исполнения ката с получением оценок по заданным критериям
Видео исполнения ката, в том числе полученное с нескольких видеокамер
- Предобработка видеозаписей исполнения ката
- Создание и разметка датасета из отдельных техник ката и их комбинаций на основе видеозаписей исполнения ката
- Использование сверточных нейронных сетей для классификации отдельных техник ката
- Использование нейросетевых моделей оценки позы тела человека для получения ключевых точек и угловых значений в отдельных техниках ката и формирование массива полученных данных с целью дальнейшей нейросетевой обработки
- Исследование возможностей использования трекеров для классификации и оценки отдельных техник ката
- Исследование специализированных фреймворков для захвата движений человека и формирования 3D-моделей
- Формирование требований к видеосъемке исполнения ката и выполнению калибровочных действий для применения в специализированных фреймворках, формирующих 3D-модели
- Синхронизация при видеосъемке на несколько видеокамер
- Калибровка (внутренняя и внешняя) видеокамер
- Формирование и визуализация 3D-моделей исполнения ката
- Исследование обработки RTMP-стриминга и формирование требований к вычислительным ресурсам для обработки видеопотоков в реальном времени
- Исследование влияния и коррекция дисторсии видеокамер
- Интеграция решений по проекту в веб-приложение и телеграмм-бот
выходные данные
- Создано приложение для синхронной разметки видеозаписей с нескольких видеокамер
- Сформирован датасет с разметкой по уровням: ката, комбинации техник, базовые элементы техник
- Разработан код для формирования наборов изображений из датасета и их предобработки с целью обучения сверточных нейронных сетей
- Разработана модель трекера для захвата и отслеживания процесса исполнения ката
- Созданы модели CNN для классификации техник ката
- Разработано решение по классификации и оценке исполнения ката на основе моделей MediaPipe и ResNet 50
- Разработано решение по классификации и оценке исполнения ката на основе моделей MoveNet и FastPose
- Разработано решение по обработке потокового видео с классификацией и оценкой техник ката на основе моделей MediaPipe и RandomForest
- Исследованы фреймворки EаsyMocap и Pose2Sim для захвата движений человека и формирования 3D-моделей исполнения ката
- Сформированы требования к видеосъёмке исполнения ката и выполнению калибровочных действий, необходимые для использования фреймворков EаsyMocap и Pose2Sim
- Создан Telegram-бот c интеграцией модели CNN для классификации техник ката и функциональностью планирования тренировок
- Создано Web-приложение для обработки и анализа видео с интеграцией наработок по трекеру и реализацией функционала по сбору данных с пользовательскими оценками и результатами обработки нейросетями, что позволяет формировать многоуровневый датасет для дальнейшей постобработки
Участники
1 команды проекта
1 команды проекта
- Гришаков РусланТимлид проекта
- Руководство командой разработчиков на всех этапах проекта
- Организация и планирование задач
- Контроль и соблюдение сроков
- Обеспечение эффективной коммуникации внутри команды и с заказчиком
- Шистеров владимирАналитик в транспортной компании
- Составление списка меток (аннотаций) для разметки видеоматериалов
- Осуществление покадровой разметки видеофайлов
- Создание программы для синхронной разметки видеофайлов с нескольких видеокамер
- Создание датасета с разметкой по уровням: ката, комбинации техник, базовые элементы техник
- Разработка кода для формирования наборов изображений из датасета для обучения сверточных нейронных сетей
- Разработка модели трекера для захвата и отслеживания процесса исполнения ката
- Создание Web-приложения на основе Django для обработки и анализа видео с интеграцией наработок по трекеру и реализацией функционала по сбору данных с пользовательскими оценками и результатами обработки нейросетями, что позволяет формировать многоуровневый датасет для дальнейшей постобработки
- семиврагов сергейвнутренний аудитор
- Исследование фреймворка Pose2Sim для захвата движений человека и формирования 3D-моделей
- Успешное осуществление калибровки (внутренней и внешней) видеокамер с использованием шахматного шаблона и дополнительных объектов для калибровки
- Решение задачи синхронизации при видеосъемке на несколько видеокамер по движению ключевых точек запястья с использованием перекрестной корреляции
- Исследование возможности использовать SEI Timecode в Larix Broadcaster для решения задачи синхронизации при видеосъемке на несколько видеокамер
- Реализация трекинга поз с использованием YOLOv8 и формирование массива данных по ключевым точкам исполнения ката с использованием MediaPipe
- Формирование и визуализация 3D-моделей исполнения ката
- Подготовка датасета и разработка модели классификации техник ката на основе RandomForest по координатам ключевых точек с добавлением угловых значений
- Настройка RTMP-стриминга с использованием Larix Broadcaster для трансляции с мобильных устройств, Node Media Server и OBS Studio для приема видеопотоков, FFmpeg для обработки и комбинирования видео
- Создание Web-приложения на основе Flask с интеграцией решений по обработке потокового видео и классификации техник ката
- Создание конвейера от съемки видео на несколько видеокамер до 3D-реконструкции и классификации техник ката
- Исследование влияния и коррекция дисторсии видеокамер
- Формирование требований к вычислительным ресурсам для решения задач по проекту
- Гуща Натальяк.э.н., Мировая экономика
- Участие в разметке видеоматериала
- Подготовка датасета и разработка моделей сверточных нейронных сетей для классификации техник ката
- Обучение и оптимизация моделей сверточных нейронных сетей для классификации техник ката
- Содействие в интеграции моделей сверточных нейронных сетей для классификации техник ката
- Создание презентации проекта
- Верещак ВалерияМенеджер по работе с клиентами в компании Т-Директ.
- Исследование фреймворка EasyMocap для захвата движений человека и формирования 3D-моделей
- Освоение процесса калибровки (внутренней и внешней) видеокамер с использованием шахматного шаблона и дополнительных объектов для калибровки
- Создание Telegram-бота c интеграцией модели CNN для классификации техник ката
- Добавление функциональности Telegram-бота с элементами персонализированного управления процессом тренировок
- Создание видеопрезентации
- Санакин АндрейIT-Connect (установка умных систем)
- Разработка решения по классификации и оценке исполнения ката на основе моделей MediaPipe и ResNet 50
- Степанов АндрейИнженер-программист, ООО Ардокс
- Участие в разметке видеоматериала
- Разработка решения по классификации и оценке исполнения ката на основе моделей MoveNet и FastPosе
- Пятницкий ВладимирИнженер-проектировщик электроснабжения
- Участие в разметке видеоматериала
- Разработка решения по классификации и оценке исполнения ката на основе моделей MoveNet и FastPosе
- Смирнов КонстантинПредставитель заказчика
- Консультирование по вопросам, касающихся судейства в карате
- Организация видеосъемки и предоставление видеозаписей исполнения ката
- Участие в разметке приемов ката
- Содействие по уточнению технического задания