Стажировка по проекту
Компания: ТРК Север
Система обнаружения сцен курения в кинематографе
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Требуется разработать систему обнаружения кадров со сценами курения на видеозаписях, предназначенную для последующего вещания по телевидению с созданием отчета, который включает в себя список временных меток начала и окончания кадров с обнаруженными на видеозаписи сценами курения
Текстовый лог файл, генерируемый разработанным приложением и содержащий последовательности пар временных меток начала и окончания сцен курения по каждому обработанному видеофайлу
Видеофрагменты со сценами курения из фильмов, предоставленные заказчиком и готовые релевантные датасеты
Система обнаружения кадров со сценами курения предназначена для заблаговременного автоматизированного обнаружения данных сцен с целью последующей их обработки в специализированном ПО для избежания их показа в эфире телеканала, что регулируется соответствующим законодательством
Участники
команды проекта
команды проекта
- Резер АртемТимлид проектаАртем - руководитель проекта, координация работы команды, постановка задач, контроль качества и сроков их выполнения.
- Ткачей ВикторПомощник Тимлида
- Выполнял функции помощника руководителя проекта
- Ерюкова ТатьянаПомощник Тимлида
- Выполняла функции помощника руководителя проекта
- Воронин АндрейУчитель
- Разработка графического приложения с удобным пользовательским интерфесом, позволяющего выполнять задачу обнаружения нейросетью yolov8 сцен курения на массиве видеофайлов, расположенных в структуре директорий. Реализация в приложении следующего функционала:
2. Возможность выбора различных нейросетей для выполнения детекции путем выбора весов, расположенных во внутренней папке приложения;
3. Регулировка промежуточного интервала между двумя детектируемыми сценами курения;
4. Регулировка порога детекции (порога уверенности нейросети) при обнаружении целевого объекта;
5. Вывод пользователю прогресса анализа текущего файла и всего массива видео файлов;
6. Индикация использования приложением графического ускорителя;
7. Сохранение приложением лог файла с интервалами сцен курения в соответствии с ТЗ заказчика;- Разработка алгоритма перевода результата предикта сети в кортежи временных меток начала и конца сцен курения;
- Разработка скрипта автоматической раскадровки видеофрагментов и пропорционального изменения размеров массива изображений;
- Разработка скрипта автоматической загрузки и установки виртуального окружения для работы созданного приложения и использования приложением GPU для обработки видеозаписей.
- Кобызев ЮрийНачальник отдела информационных систем ООО СТЭККОМ
- Написание скриптов для автоматической разметки изображений датасетов в формате yolov8 с помощью предобученной сети-трансформера Grounding Dino, непосредственная подготовка разметки;
- Обучение моделей детекции сигарет на видео архитектуры yolov8;
- Обучение моделей детекции сигарет на видео архитектуры yolov5, в том числе подготовка ансамблевого решения на базе сетей yolov5;
- Разработка алгоритма перевода результата предикта сети в кортежи временных меток начала и конца сцен курения;
- Подготовка решения с web-интерфейсом для детекции объектов на изображениях по заданному промпту с помощью grounding dino;
- Подготовка приложений в docker контейнерах для выполнения задач разметки датасета с применением предобученной модели grounding dino, детекции сигарет на видео с применением моделей yolov8, yolov5, в том числе ансамбля сетей
- Грищенко Вадимэлектромонтажник- высотник(промальп).
- Поиск и анализ датасетов со сценами курения;
- Корректировка разметки изображения датасетов после автоматической разметки скриптом, применяющим c Grounding Dino
- Логинов ОлегИнженер по специальности Вычислительных машины, комплексы, системы и сети.
- Поиск и анализ датасетов со сценами курения;
- Написание подробного руководства по эксплуатации разработанного приложения с детальным описанием установки приложения, функционала и эксплуатации приложения
Демонстрация проекта
Благодарность университетУ