Стажировка по проекту
Разработка модели для классификации ударов КАРАТЭ и типовых ошибок
при отработке серии ударов
при отработке серии ударов
Компания: Московская Федерация Кёкусинкай
Суть проекта
Задача
Для чего
Вводные данные
Разработка и создание автоматизированной системы для поддержки судейства на тренировках и соревнованиях по карате стилю Киокусинкай в дисциплине ката с использованием технологий компьютерного зрения и искусственного интеллекта
Проект необходим для улучшения объективности и точности судейских оценок на тренировках и соревнованиях по карате стилю Кекусинкай, предоставления участникам и их тренерам обратной связи для совершенствования техники исполнения, поддержки судейства на соревнованиях посредством автоматизированной системы анализа видеозаписей и предварительной оценки исполнения
Видеозаписи, снятые для нашей задачи, включают выступления спортсменов, записанные с четырёх камер, а также датасет видеозаписей с судейскими карточками и датасет спортивных выкриков для модели классификации кличей
1 команда: Приложение для помощи в судействе в дисциплине ката
2 команда: По итогам выполнения задач удалось достичь:Точность распознавания голосовых команд (accuracy) — 0.98Точность распознавания судейских карточек (mAP50) — до 0.96, с высокой точностью распознавания выставленных баллов
2 команда: По итогам выполнения задач удалось достичь:Точность распознавания голосовых команд (accuracy) — 0.98Точность распознавания судейских карточек (mAP50) — до 0.96, с высокой точностью распознавания выставленных баллов
Выходные данные
Участники
1 команды проекта
1 команды проекта
- Терещенко АлексейТимлид проектаАлексей - руководитель группы разработчиков, отвечал за полную разработку проекта
- Марарескул ДмитрийПомощник ТимлидаДмитрий помогал руководителю команды организовывать процесс разработки проекта
- Прохоренко ЕвгенийПомощник ТимлидаЕвгений помогал руководителю команды организовывать процесс разработки проекта
- Румянцева Светлана
- Извлечение фичей из аудиосигнала и корреляция звука с эталонным аудиосигналом Создание графиков корреляции по кадрам для хаджимэ, нуарэ, киа. Озвучка каты
- Разбивка аудиофайла на два языка: японский и русский. Транскрипция в текстовом формате
- Очерка распознавания аудио для каждого файла с использованием метрики WER
- Создание и обучение рекуррентной нейронной сети (RNN). Получение MFCC для входных данных. Создание выборок
- Анализ громкости дыхания с использованием бесшумного дыхания (ногарэ) и силового дыхания (ибуки). Визуализация данных
- Распознавание ритмики и синхронизация видео- и аудиофайлов
- Окуловский ВладимирВедущий инженер 2 линии поддержки в сотовой компании
- Разработка программы для разметки видео ката на элементы и выгрузки разметки в отдельный файл в формате OHE
- Создание датасета для обучения модели, обогащение данных за счет поворота 3D объекта
- Проведение экспериментов с различными моделями ИИ.
- Разработка программы для вывода изображений с 4 камер и отображения результатов работы ИИ-модели
- Аленникова ЕленаData science
- Поиск и анализ инструментов для разметки видео
- Обработка звука для синхронизации видео
- Эксперименты с нейросетями, подбор оптимальной архитектуры
- Эксперименты с датасетом (стандартизация, балансировка и т.д.)
- Обучение нейросети, анализ результатов обучения
Участники
2 команды проекта
2 команды проекта
- Бугров АлексейТимлид проекта
- Организация и планирование работ группы, координация работы группы по решению прикладных задач проекта
- Экспертная поддержка участников стажировки
- Разработка итоговых презентационных материалов по проекту
- Кравченко ДмитрийПомощник тимлида
- Подготовка ТЗ и организационных документов проекта
- Ведение документации и коммуникаций с участниками
- Проведение онлайн-встреч и координация вопросов группы
- Сведение общего датасета и разработка инструментов для работы с аудио
- Эксперименты с предобученной моделью YAMNet и фреймворком Librosa
- Балансировка классов и обучение модели
- Создание презентационных материалов проекта
- Визуализация предсказаний
- Рязанцев Егорпомощник тимлида
- Подготовка ТЗ и организационных документов проекта
- Ведение документации и коммуникаций с участниками
- Проведение онлайн-встреч и координация вопросов группы
- Нарезка видео FFMPEG, разметка в CVAT
- Сведение общего датасета в CVAT и разработка инструментов для работы с видео
- Обучение сетей YOLOv8 и применение механизмов трекинга
- Создание презентационных материалов проекта
- Горбиков Дмитрийзанимается контекстной рекламой (Яндекс) в агентстве
- Разметка изображений в CVAT
- Балансировка датасета
- Обучение нейросетей на датасетах разных форматов
- Обучение и тестирование YOLOv8 (n, s), работа с трекингом
- Реализация распознавания судейских оценок (OCR)
- Марценко ВиталийМатематик, системный программист
- Разметка датасета в CVAT
- Сведение общего датасета и разработка инструментов для работы с аудио
- Балансировка классов и обучение модели
- Эксперименты с предобученной моделью YAMNet и фреймворком Librosa
- Разработка архитектуры нейросети для предсказания голосовых команд
- Визуализация предсказаний
- Создание презентационных материалов проекта
- Рыжиков ВладимирВедущий инженер по организации строительства объектов метро//проектировал высокоскоростную железнодорожную магистраль Москва-Казань
- Разметка датасета в CVAT
- Исследования модели YOLOv8
- Ревин Сергей
- Разметка и нарезка датасета в CVAT
- Предобработка аудиофайлов для формирования датасета