Стажировка по проекту
Определение средств индивидуальной защиты на производстве и ИИ-мониторинг промышленных объектов
Компания: ООО "картика"
Суть проекта
Задача
Входные данные
Для чего проект и результаты стажировки
Разработка системы компьютерного зрения для детекции нарушений СИЗ (отсутствие касок и жилетов) на территории предприятия, обнаруженные нарушения должны приходить в виде оповещения в телеграм бот сотрудникам охраны
Разработано 3 решения для детекции нарушений использования СИЗ (каски и жилеты) с разными подходами и интерфейсами:
Решение позволяет детектировать нарушения СИЗ на предприятии с точностью до: precision 0.966, mAP 50–95 = 0.794, recall 0.794
- Использованы модели YOLO v8 и RT-DETR для детекции объектов, а также трекеры для отслеживания нарушителей
- Реализованы веб-интерфейсы и десктоп-приложение для управления системой, а также Telegram-бот для оповещений
- Решения адаптированы под разные требования по производительности и безопасности
Решение позволяет детектировать нарушения СИЗ на предприятии с точностью до: precision 0.966, mAP 50–95 = 0.794, recall 0.794
- Датасеты СИЗ из открытых источников для обучения моделей.
- Видеопотоки с открытых камер различных промышленных объектов (для пополнения датасета и в качестве тестовых материалов)
Выходные данные
- Повышение эффективности работы сотрудников охраны
- Своевременное обнаружение нарушений на территории предприятия и их профилактика
- Своевременное предотвращение внештатных и опасных ситуаций
Участники
команды проекта
команды проекта
- Елена ЕрошинаТимлид проекта
- Общее руководство проектом
- Организация и модерирация еженедельныех встреч
- Координация работы команд, взаимодействие с заказчиком по требованиям и результатам
- Елена МихноПомощник тимлида
- Помощь тимлиду с организацией работы на стажировке
- Андрей малицкийПомощник тимлида
- Помощь тимлиду с организацией работы на стажировке
- Александр азевичИнженер - физик
- Поиск готовых решений, фреймворков, платформ по тематике СИЗ
- Подготовка аналитического разбора по найденным готовым решения
- Исследование фреймворка Paddle Paddle
- Подготовка специализированного датсета и обучение модели детекции Paddle
- Подготовка статьи по результатам исследования Paddle
- Руслан бельтюговProject manager
- Поиск готовых решений, фреймворков, платформ по тематике СИЗ
- Подготовка аналитического разбора по найденным готовым решениям
- Обучение моделей семейства YOLO
- алексей беляковПредприниматель
- Поиск размеченных и не размеченных датасетов по СИЗ
- Фильтрация, разметка, аугментация и балансировка датасетов в Roboflow
- Создание набора для тестирования финальных моделей test_100 из собранных с объектов видео
- Обучение, тестирование моделей Yolov8s, Roboflow 3.0 Object Detection (Accurate), Rf-Detr
- александр воронинПредприниматель
- Исследование производительности моделей в продуктовых средах (pt, TensorRT, OpenVino)
- Исследование перспектив применения 3D симуляторов (Omniverse, Unity, Blender, ) для генерации обучающих данных.
- Изучение и обучение фреймворка Paddle
- Подготовка специализированного датсета и обучение моделей детекции PaddlePaddle и PaddleDetection
- Подготовка статьи по результатам исследования
- дмитрий гершгоринстарший инженер-программисто
- Поиск готовых решений, фреймворков, платформ по тематике СИЗ
- Исследование производительности моделей в продуктовых средах (pt, TensorRT, OpenVino)
- Разработка симулятора камер (симуляция rtsp потока из видеофайла)
- Разработка инфраструктуры проекта СИЗ (десктоп приложение, БД ORM PostgreSQL, система трекинга и суммирования отчетов )
- Разработка каскадной двухэтапной системы детекции нарушения с помощью двух моделей
- влада голдобинаSQA
- Руководство подгруппой аналитики
- Подготовка сводной таблицы с анализом найденных готовых решений
- Аналитика китайских версий и аналогов YOLO
- Подготовка сводной таблицы с анализом найденных готовых решений и моделей от разработчиков Китая
- Обучение модели Yolo8m и Yolo10m на различных датасетах
- Тестирование разных моделей YOLOv8m (с предобученными весами и без них)
- Разработка дополнительных метрик валидации моделей
- Валидация точности моделей на тестовых видео (отработка модели - на 100 детекций) и на различных выборках
- Аналитика результатов, выявление лучшей модели
- Составление отчета согласно всем проведенным экспериментам включая метрики и выводы
- алексей зверевПредприниматель, IT-аутсорсинг
- Руководство рабочей подгруппой по работе с данным
- Поиск размеченных и не размеченных датасетов по СИЗ
- Анализ, фильтрация, разметка, аугментация и балансировка датасетов в Roboflow
- Контроль за разметкой, коррекция. Отсеивание дубликатов.
- Обучение моделей YOLOv8s для автоматической разметки датасетов.
- Автоматическая доразметка с помощью обученных моделей
- александр козловлогист в транспортной компании
- Поиск размеченных и не размеченных датасетов по СИЗ
- Обработка отснятого на площадках видео (раскадровка, фильтрация, сборка кадров для тестирования)
- Анализ, фильтрация, разметка, аугментация и балансировка датасетов в Roboflow
- вячеслав косаревРуководитель проектов и AI-разработок
- Исследование работы различных CV-фреймворков при захвате видеопотоков rtsp с камер видеонаблюдения
- Тестирование и анализ работы библиотек Open-CV, VidGear, PyAV и прямого запуска процессов FFMPEG, выбор наиболее продуктивной
- Сбор тестового датасета на реальных строительных объектах с предобработкой и разметкой в RoboFlow
- Исследование по обучению и тестированию различных архитектур нейросетей для быстрой детекции людей и спецодежды на разных CPU с квантизацией int8: yolov8, yolo10, yolo12, RF-Detr
- Разработка и реализация модуля Телеграм-бота для финального решения с функционалом управления пользователями, диагностики, просмотра архива и автоматического оповещения о новых нарушениях
- олег мазетовначальник it отдела в НИЯУ МИФИ
- Изучение технологий и проведение экспериментов с использованием оборудования видеонаблюдения
- Разработка и тестирование аппаратно-программных решений CV
- Проектирование структуры и реализация базы данных
- Проектирование архитектуры и алгоритмов работы системы по обнаружению нарушений СИЗ
- Исследование современных технологий разработки десктопных и веб-интерфейсов
- анатолий мешковпредприниматель. Управленческий консалтинг
- Поиск готовых решений, фреймворков, платформ по тематике СИЗ
- Подготовка аналитического разбора по найденным готовым решениям
- Аналитика китайских версий и аналогов YOLO, составление отчета
- Подготовка презентационных материалов
- николай пономаревОператор типографского оборудования
- Обучение моделей yolo8n, s, m на 100 эпохах, экспорт в форматы onnx и openvino
- Тестирование и сравнение моделей на базе yolov8 с различными вариантами формата и квантизации
- Оценка скорости инференса на процессорах AMD Ryzen5 7600 и Intel Celeron 1000M
- Мануальная визуальная оценка инференса различных моделей на всех тестовых видео, оформление отчета по выводам
- владимир рыжиковинженер ПОС, проектирует метро
- Поиск размеченных и не размеченных датасетов по СИЗ
- Фильтрация, разметка, аугментация и балансировка датасетов в Roboflow
- нора сердюковаПреподаватель в университете по кафедре статистики
- Поиск размеченных и не размеченных датасетов по СИЗ
- Фильтрация, разметка, аугментация и балансировка датасетов в Roboflow
- александр сидоренкоГлавный инженер проектов
- Обучение и тестирование моделей YOLO, YOLOE, RT-DETR
- Исследования на предмет оптимизации инференса моделей
- Разработка кода комплексного решения с детекциями на потоковом видео, трекингом объектов, занесением нарушений в SQL-базу и отправкой фото и отчёта с данными о нарушителе в телеграм-бот
- Разработка кода для демонстрации работы модели в Streamlit
- андрей тишкинРуководитель ИТ-отдела
- Исследование производительности моделей в продуктовых средах (pt, TensorRT, OpenVino)
- Разработка инфраструктуры проекта СИЗ
- Подготовка решения для работы с 10 камерами и более одновременно
- Проработка теории с 2 объединенными классами нарушений
- Разработка модуля эмуляция rtsp потоков
- Проработка вопроса батчевой загрузки изображений на детекцию
- Разработка модуля трансляции видеопотоков в браузере с использованием многопоточного стриминга от Ultralitics
- маргарита ткачёваProject manager
- Поиск готовых решений, фреймворков, платформ по тематике СИЗ
- Подготовка аналитического разбора по найденным готовым решениям
- Обучение моделей Yolov8n, Yolov10m, Yolov10s
- Разработка скрипта для оценки сбалансированности итогового датасета
- Тестирование моделей на собранных тестовых фото и видео материалах
- елена ХамидуллинаРаботала инженером-конструктором, инженером АСУ ТП
- Разметка в Roboflow новых и предразмеченнных изображений, дополнение датасета личными фотографиями, сделанными на улице в течение стажировки
- Обучение ряда моделей yolov8m, YOLOv8m_clean, yoloworld на собранных датасетах
- Разработка дополнительных метрик валидации моделей
- Тестирование полученнных моделей: yolov8m_clean_exp60, yolov8m_fin, yolov8m_exp60, yolov8m_60 на тестовых выборках и тестовых видео автоматически, а также на отобранных 100 изображениях и видео в мануальном режиме
- Аналитика результатов, выявление лучшей модели
- Составление отчета согласно всем проведенным экспериментам, включая метрики и выводы
- Абдалла Шукейрсоздание сайтов и web-design
- Разработка архитектуры: проектирование модульной системы для обработки RTSP-потоков с камер в реальном времени
- Реализация многопоточности для одновременного анализа нескольких видеопотоков
- Интеграция в систему YOLOv8 для обнаружения людей без касок (No-Helmet) и без жилетов (No-Vest)
- Настройка фильтрации ложных срабатываний через NMS (Non-Maximum Suppression)
- Адаптация алгоритма DeepSORT для отслеживания объектов между кадрами.
- Разработка модуля проверки на резкие изменения размера/положения (фильтрация шумов)
- Создание SQLite-базы для записи нарушений (ID, тип, время)
- Реализация экспорта отчетов в Excel (XLSX) и архив с фотографиями (ZIP)