Стажировка по проекту
Создание ИИ-системы
по оценке исполнения ката. Первый этап
по оценке исполнения ката. Первый этап
Компания: ТOO Ассоциация шотокан карате-до «Гроза»
Суть проекта
задача
для чего
вводные данные
- Предобработка видеозаписей исполнения ката
- Создание датасета из отдельных приемов ката на основе видеозаписей исполнения ката
- Использование нейросетевых моделей оценки позы тела человека для получения ключевых точек в отдельных приемах ката с целью их классификации и оценки
- Исследование специализированных фреймворков для захвата движений человека и формирования 3D-представлений ключевых точек тела человека
- Формирование требований к видеосъёмке исполнения ката и выполнению калибровочных действий для применения в специализированных фреймворках, формирующих 3D-представления
Проект нацелен на разработку прототипа системы поддержки судейства при исполнении ката на тренировках и соревнованиях по шотокан карате-до. В основу системы закладываются методы компьютерного зрения для обработки и анализа видеозаписей исполнения ката с получением оценок по заданным критериям
Заказчиком предоставлялись видеозаписи исполнения ката с четырёх видеокамер согласно формируемым требованиям
выходные данные
- Создано приложение для синхронной предобработки видеозаписей с четырёх видеокамер
- Выполнена разметка предоставленных видеозаписей по приемам ката
- Частично сформирован датасет из отдельных приемов ката
- Разработан код для формирования датасета из отдельных приемов ката
- Разработан код для распознавания и оценки отдельных приемов ката с использованием фреймворка MediaPipe
- Исследованы фреймворки EаsyMocap и Pose2Sim для захвата движений человека и формирования 3D-представлений ключевых точек тела человека
- Сформированы требования к видеосъёмке исполнения ката и выполнению калибровочных действий для применения в EаsyMocap и Pose2Sim
- Рассмотрен ряд других фреймворков, методов и примеров решения аналогичных задач проекта
Участники
1 команды проекта
1 команды проекта
- Гришаков РусланТимлид проекта
- Ткаченко ДмитрийПомощник тимлида
- Капустин ТимофейДефектоскопист
- Создание и реализация приложения для синхронной предобработки видеозаписей с четырёх видеокамер
- Исследование фреймворка EаsyMocap для захвата движений человека и формирования 3D-представлений ключевых точек тела человека
- Реализация кода для обработки синхронизированных видеозаписей с использованием фреймворка EasyMocap
- Реализация кода для визуализации 3D-представлений ключевых точек тела человека, получаемых с помощью фреймворка EasyMocap
- Работа над кодом по формированию и автокалибровке 3D-данных, распознаванию исполнения ката
- Активное участие в уточнении технического задания и обсуждении вопросов по развитию проекта
- Пятницкий ВладимирИнженер-проектировщик электроснабжения
- Разметка предоставленных видеозаписей по приемам ката
- Формирование датасета из отдельных приемов ката
- Разработка кода для формирования датасета
- Разработка кода для распознавания и оценки отдельных приемов ката с использованием фреймворка MediaPipe
- Исследование направления по созданию эмбеддингов и сравнению поз с эталоном
- Активное участие в уточнении технического задания и обсуждении вопросов по развитию проекта
- Маковецкая МаринаМоушн-дизайнер
- Исследование фреймворка Pose2Sim для захвата движений человека и формирования 3D-представлений ключевых точек тела человека
- Работа над кодом по формированию и автокалибровке 3D-данных, распознаванию исполнения ката
- Поиск и подготовка полезных материалов, документирование результатов
- Активное участие в уточнении технического задания и обсуждении вопросов по развитию проекта
- Гуща Натальяк.э.н., Мировая экономика
- Разметка предоставленных видеозаписей по приемам ката
- Формирование датасета из отдельных приемов ката
- Исследование фреймворка EаsyMocap для захвата движений человека и формирования 3D-представлений ключевых точек тела человека
- Работа над кодом по формированию и автокалибровке 3D-данных
- Поиск и подготовка полезных материалов, документирование результатов
- Активное участие в уточнении технического задания и обсуждении вопросов по развитию проекта
- Шамаев ОлегЗанимается внедрением AI в компании
- Исследование фреймворка EаsyMocap для захвата движений человека и формирования 3D-представлений ключевых точек тела человека
- Исследование возможности подключения к UnrealEngine
- Составление опросника для уточнения технического задания и выдвижение идей для дальнейшего развития проекта
- Смирнов КонстантинПредставитель заказчика
- Консультирование по вопросам, касающихся судейства в карате
- Организация видеосъемки и предоставление видеозаписей исполнения ката
- Участие в разметке приемов ката
- Содействие по уточнению технического задания
Участники
2 команды проекта
2 команды проекта
- Павел ХимякТимлид проекта
- Владислав КаргальцевПомощник тимлида
- Андрей СтепановРазрабатывает проект для расчета налогов с помощью telegram-бота и API системы GetCourse
- Тестирование моделей для получения ключевых точек тела человека
- Тестирование разных методов обработки видео и изображений с приемами
- Обучение нейросети на видео с разными приемами
- Тестирование автоматической разметки на основе библиотеки OpenCV, анализ способов фильтрации датасета с целью получения качественных обучающих данных для нейросети
- Обзор практических решений для оценки техники выполнения приемов (на примере задачи для оценки техники движения фигуристов)
- Владимир ШистеровАналитик в транспортной компании
- Анализ и подготовка материалов для обработки
- Разметка видеоматериалов и их постобработка
- Подготовка датасета с использованием YOLO, MediaPipe
- Написание решения для анализа разметки видео и создания видеодатасета для записей выполнения ката, выполненных с нескольких ракурсов
- Рамиль СиродеевСпециалист касс, соавтор нескольких патентов на изобретения
- Создание графических приложений, приспособленных для решения подзадач стажировки
- Выравнивание частоты кадров, полученных с разных камер
- Изучение возможности сравнения поз в оцениваемых кадрах по имеющимся шаблонам
- Сергей Семиврагов
- Тестирование модели MediaPipe в режиме 'видео'
- Эксперименты по синхронизации видео с 4-х камер по аудиоканалу
- Разворачивание на локальном компьютере библиотеки Pose2Sim и проведение триангуляции координат поз
- Исследование калибровки камер с помощью шахматной доски