Стажировка по проекту
Разработка модели детекции касок и средств индивидуальной защиты на производстве, курящих в неположенных местах людей
Компания:
АО «Автомобильный завод УРАЛ»
АО «Автомобильный завод УРАЛ»
Суть проекта
Задача
Для чего
Вводные данные
Разработка пилотного ПО на базе нейросетей для компютерного зрения для детекции нарушений техники безопасности на предприятии: использования средств индивидуальной защиты и употребления никотин-содержащих средств сотрудниками в производственных помещениях заказчика
Разрабатываемый пилотный проект призван произвести оценку возможности применения видеоданных с имеющейся у заказчика системы видеонаблюдения для целей требуемой видеоаналитики
Записи с системы видеонаблюдения заказчика
Фрагменты видео с фиксацией нарушений и лог с временными метками и видами нарушений по результатам постобработки видео с ВН заказчика
Выходные данные
Участники
1 команды проекта
1 команды проекта
- Резер АртёмТимлид проектаАртём — руководитель группы разработчиков — отвечал за полную разработку проекта
- Гришаков РусланПомощник Тимлида
- разработка двухрежимного парсера на базе модели Grounding DINO для автоматической разметки изображений датасета по заданным промптам для детекции искомых классов
- тестирование обученной модели Yolo NAS
- содействие тимлиду по общим вопросам
- Бойков СергейРазработчик ПО
- разработка фронтэндной части десктоп-приложения «Детектор нарушений ТБ завода УралАЗ» с применением библиотеки Tkinter, обеспечивающий удобный пользовательский интерфейс и необходимые настройки, такие как, выбор весов моделей детекторов, настройки опций детекций нейросетями, настройки логгирования
- разработка руководства пользователя для установки и эксплуатации разработанного в проекте приложения, с подробным описанием всех функциональных возможностей
- разработка скрипта для удаления лишних txt-файлов аннотаций
- разметка изображений датасетов проекта с использованием пакета Label Studio и ПО LabelImg
- Шалин АнтонРадиофизик
- разработка бэкэндной части десктоп-приложения «Детектор нарушений ТБ завода УралАЗ» обеспечивающей детекцию, логгирование и сохранение видефрагментов нарушений применения СИЗ и употребления никотин-содержащих средств вне отведенных зон с использованием нейросетей YOLOv8 и YOLO-NAS
- разработка многофакторного дедубликатора изображений для поиска и удаления повторяющихся/похожих/аугментированных кадров, алгоритм которого основан на кластеризации изображений по их размерам, построении KD дерева для каждого кластера, вычислении структурных и цветовых хэшей изображений с последующим вычислением Евклидовых расстояний и вычислений попаданий в Евклидов радиус
- разработка генератора датасета с изображениями в виде мозаик и аннотаций к ним формата YOLOv8 с гибким размещением на полотно случайно выбранных картинок разных размеров, позволяет задавать аугментацию разной глубины для train-набора, пропорции деления на train/val/test, автоматически поддерживает стратифицированный балланс классов, оформлен в виде библиотеки, адаптирован под использование в цикле обучения pytorch с формированием уникальных батчей обучения на каждой эпохе
- разработка утилиты деления суточных видеофайлов заказчика на короткие фрагменты по заданному числу фрагментов или заданной длительности каждого фрагмента с применением библиотеки ffmpeg
- разработка утилиты раскадровки видеофайла или потока с видеохостинга на кадры с заданным шагом, поиска на них объектов целевых классов по текстовому промту с помощью модели GroundigDino с последующим сохранением в датасет формата YOLOv8
- разработка утилиты первичную очистки публичных датасетов со сценами курения для сбора общего датасета проекта, выполнение первичной предобработки и очистки найденных сторонних публичных датасетов
- Рыбин ИгорьСпециалист по системам автоматического химического контроля водно-химического режима электростанций
- разработка парсера раскадровки видео и получения кадров на которых присутствуют целевые классы, детектируемые моделью yolov8, с последующей дедубликацией при помощи библиотеки FustDub
- разработка парсера автоматической разметки с применением модели GroundingDINO
- раскадровка видеозаписей заказчика с получением изображений для датасетов проекта, разметка раскадрованных изображений разработанными парсерами
- выполнение дедубликации изображений в датасетах проекта
- разработка утилиты с оконным интерфейсом на tkinter для работы с txt-файлами разметки формата yolo и изображениями датасета, обеспечивающей такой функционал, как переназначение и удаление строк аннотаций, удаление изображений не имеющих файлов аннотаций и файлов аннотаций без изображений, сбалансированное разделение датасета на train, val, test выборки
- разработка скрипта для ручного способа корректировки файлов разметки датасета участниками стажировки
- активное внедрение в процесс аннотирования изображений участниками проекта пакета Label-Studio, организация совместного онлайн доступа всем участникам стажировки к развернутым проектам разметки датасетов в среде Label-Studio с использованием внешних серверов
- разметка изображений датасетов проекта с использованием пакета Label Studio и ПО LabelImg
- обучение и тестирование моделей YOLOv8 (s, m, l) и YOLO NAS
- Цокоров СергейСпециалист в аналитическом управлении департамента инвестиционных финансовых посредников
- разработка скриптов для анализа и чистки датасетов: скрипт удаления файлов аннотаций без изображений, скрипт удаления файлов по списку их имен, скрипт анализа размеров изображений и поиска файлов с нулевым размером
- выполнение анализа и очистки данных для датасетов проекта;
- разметка изображений датасетов проекта с использованием пакета Label Studio и ПО LabelImg
- Кравченко ДмитрийТорговый представитель компании ООО «Южный берег»
- выполнение задач по поиску внешних датасетов с изображениями с требуемыми классами для расширения датасетов проекта
- организация распределения объемов работ среди участников по анализу и первичной очистке выборок из датасетов от нерелевантных изображений и дубликатов
- подготовка доклада о принципах аугментации mosaic в моделях YOLO
- выполнение анализа и очистки данных для составных датасетов проекта
- разметка изображений датасетов проекта с использованием пакета Label Studio и ПО LabelImg
- Куличенко ДмитрийГосслужащий
- выполнение задач по поиску внешних датасетов с изображениями с требуемыми классами для расширения датасетов проекта
- выполнение анализа и очистки данных для составных датасетов проекта
- разметка изображений датасетов проекта с использованием пакета Label Studio и ПО LabelImg
- подготовка подробной инструкции по установке и использованию пакета для автоматизации разметки Label Studio для участников проекта
- Малофеев АлександрСистемный аналитик
- выполнение задач, связанных с дедубликацией изображений
- выполнение анализа и очистки данных для датасетов проекта
- разметка изображений датасетов проекта с использованием пакета Label Studio и ПО LabelImg
- Лямина НатальяАналитик, биоинформатик
- выполнение анализа и очистки данных для датасетов проекта
- разметка изображений датасетов проекта с использованием пакета Label Studio и ПО LabelImg
- Амиров Сергей
- выполнение анализа и очистки данных для датасетов проекта
- разметка изображений датасетов проекта с использованием пакета Label Studio и ПО LabelImg
Участники
2 команды проекта
2 команды проекта
- Осокин ЮрийТимлид проектаЮрий — руководитель группы разработчиков — отвечал за полную разработку проекта
- Баймакишова Айданабухгалтер на нефтяном проекте Кашаган
- освоение основ программирования на Python
- изучение различных нейросетевых архитектур и их применение в задачах компьютерного зрения
- подготовка и разметка датасетов для обучения нейросетей
- тестирование и оценка различных нейросетевых моделей на практике
- ктивное изучение инструментов для разработки и тестирования нейросетей, таких как GitHub, CVAT, LabelImg и Roboflow
- Князева ВалерияИнженер-математик
- закрепление навыков работы с Git и Trello для организации проекта
- поиск и использование датасетов с касками
- разработка и тестирование моделей Unet
- успешная разметка и аугментация датасета
- попытка создания сверточных моделей для детекции объектов
- Бабинцев Григорий
- подбор датасетов в соответствии с техническим заданием проекта, с использованием ресурсов Roboflow
- изучение статей и материалов по YOLOv8
- проведение вебинара и прохождение экспресс-курса по Object Detection
- внедрение полученных знаний в практическую работу
- Бочкарев ДаниилСтудент МТИ по направлению Менеджмент
- успешное изучение и тестирование алгоритмов LabelImage и YOLOv8
- активное изучение вопросов трекинга объектов
- Гридасова Ирина
- подготовка датасета
- изучение и применение алгоритмов YOLOv9
- работа с GitHub
- Татаринцев ДмитрийЭкономист
- регистрация на GitHub и активное использование платформы для размещения проекта и его документации
- сбор и обработка данных для создания датасета
- глубокий анализ различных нейросетевых фреймворков и моделей
- разбиение датасетов заказчика на клипы для дальнейшей обработки
- исследование и анализ фреймворков парсинга кадров
- успешное создание скриптов парсинга, обучение модели и разработка демонстрационной версии приложения на основе полученных данных
- внесение финальных поправок в приложение и создание понятной документации для пользователя
- глубокий разбор итогового приложения
- Пирогов ИванРуководитель ИТ-проектов
- изучение и освоение различных моделей детекции объектов, включая YOLOv8, YOLOv9 и KerasCV
- активное участие в обработке данных и подготовке датасетов для обучения моделей
- создание ноутбуков с подробными описаниями кода и экспериментов по обучению и тестированию моделей
- работа над оптимизацией и улучшением процесса детекции объектов на изображениях и видео
- подготовка презентаций и отчетов для заказчика о проделанной работе
- активное изучение и использование новых инструментов и технологий в области машинного обучения и компьютерного зрения
- работа с API и интеграция различных библиотек для реализации функциональности детекции объектов
- Белозеров Кирилл
- подготовка и начало реализации плана проекта
- создание файла Read.me для проекта
- использование готовых решений на Hugging Face для поиска нейронных сетей
- начало разметки датасета
- Колбин ПавелСтудент-разработчик программного обеспечения
- выбор нейронной сети для использования в проекте
- регистрация в GitHub и активное изучение PyTorch
- поиск датасетов и решений для проекта
- тестирование модели YOLO и реализация сегментации на датасете заказчика
- разметка датасетов заказчика для использования в проекте
- Захаров СергейИнформатик-экономист, учредитель компании по разработке ПО
- освоение систем детекции объектов и распознавания объектов
- составление краткого плана реализации проекта и получение доступа к репозиторию проекта на GitHub
- тестирование систем Sam и Grounding Dino и выявление проблем в работе
- развертывание и освоение работы с моделями YOLOv8 и YOLOv9, а также инструмента labelimage
- разработка модуля предобработки для трекинга объектов и обучение нейронной сети
- подготовка датасета и получение значений ID для обучения модели трекинга объектов
- изучение инструментов реализации проекта SAM и Grounding DINO
- разметка датасета и написание кода системы для проекта
- завершение работы с кодом системы и подготовка итогового кода, включая создание скринкаста
- Крылов СергейРазработчик SAS
- разработка и реализация плана действий для проекта
- поиск и подготовка данных для обучения нейросетей
- успешная обработка видео и изображений, включая трекинг людей
- дообучение нейросети YOLOv8 на размеченных данных
- выгрузка нарезанных фреймов в облако
- координация работы подгруппы, создание гармоничного сотрудничества и контроль за сроками выполнения задач
- Волков ТихонФлорист
- создание публичного набора данных
- участие в обсуждениях и совместной работе
- разработка и тестирование моделей
- оптимизация процессов: разработка скриптов для автоматизации работы с данными и моделями
- Туманова ЕленаМенеджер по продажам
- разбор тестового кода для YOLO
- анализ проблем датасетов
Благодарность университетУ