Стажировка по проекту
Компания: АО «КВАНТ-ТЕЛЕКОМ»
Разработка системы для детекции определенных сцен и объектов на улицах города, в рамках проекта «Безопасный город от Квант-Телеком»
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Разработка и интеграция программного обеспечения для мониторинга и обеспечения безопасности в городских условиях с использованием технологий компьютерного зрения
Цель проекта заключается в создании системы автоматизированного видеонаблюдения и оповещения о целевых ситуациях, происходящих на улицах города
Записи с камер видеонаблюдения заказчика и записи из открытых источников
1 команда: Web-приложение для мониторинга сценариев в реальном времени, получения уведомлений о безопасности и визуализации данных и статистики
2 команда: Нейросетевая модель, которая анализируя серию последовательных кадров видеопотока из которых при помощи предобученной модели YOLO-pose предварительно извлечены цифровые слепки поз обнаруженных на них людей, обнаруживает искомое событие
2 команда: Нейросетевая модель, которая анализируя серию последовательных кадров видеопотока из которых при помощи предобученной модели YOLO-pose предварительно извлечены цифровые слепки поз обнаруженных на них людей, обнаруживает искомое событие
Участники
1 команды проекта
1 команды проекта
- Терещенко АлексейТимлид проектаАлексей — руководитель группы разработчиков, отвечал за полную разработку проекта
- Лещинский ИгорьПомощник тимлидаИгорь помогал руководителю команды организовывать процесс разработки проекта
- Малицкий АндрейПомощник тимлидаАндрей помогал руководителю команды организовывать процесс разработки проекта
- Шалин АнтонРадиофизик / анализ данных / нейронные сети
- Создание датасета: Выбор класса «падения людей» из общего перечня классов проекта. Запись видео катания на коньках с падениями, разбивка на кадры с помощью инструмента с заданной частотой. Аннотация кадров с помощью Grounding Dino и сохранение в формате yolo;
- Обучение модели: Обучение модели YOLO 8M на датасете падений людей с полученными метриками точности;
- Участие при создании проекта по разработке утилитов для детекции падений: Написание утилиты для детекции падений на видео с помощью кастомной модели YOLO 8M. Инференс на CPU и GPU с соответствующими временными показателями;
- Формирование универсальных датасетов: Разработка утилиты для подготовки универсальных датасетов для мультаклассовых моделей. Включает обработку изображений и аннотаций, подгонку под требуемый размер и распределение по train/val/test наборам;
- Дедубликация датасетов: Написание инструмента для поиска и удаления дубликатов и похожих изображений из датасетов, ускоренного с помощью многопоточной обработки и алгоритмов KD-деревьев;
- Участие в написании формирователя датасетов для обучения модели YOLO, включающего более богатую аугментацию и стратифицирующий сплиттер для сохранения пропорций классов в тестовой, валидационной и тренировочной выборках. Публикация кода на GitHub
- Горюнов ГеннадийИнженер-схемотехник, работал в проектах по разработке радиоэлектронных систем / Бренд менеджер, работал в проектах по продвижению электронных компонентов
- Сбор данных: выбор двух классов для разметки - обычные собаки и собаки, осуществляющие дефекацию. Для этого использовались как готовые датасеты, найденные на сайте Roboflow, так и видеофайлы с собаками;
- Разметка данных: процесс разметки включал в себя пометку объектов на фотографиях и видеофайлах с использованием инструментов для разметки, таких как Roboflow. Результатом этого этапа работы стал размеченный датасет, содержащий более 2000 фотографий собак в различных позах и действиях, включая дефекацию;
- Обучение модели: обучение модели YOLO8M на полученном размеченном датасете с использованием выбранных гиперпараметров и алгоритмов оптимизации. В процессе обучения были получены веса модели, которые были сохранены в рабочей папке в облаке;
- Распространение результатов: файл с весами обученной модели был загружен в рабочую папку в облаке для последующего использования в проекте. Важно отметить, что выбор облачного хранилища обусловлен ограничениями на размер файлов, что делает использование GitHub невозможным в данном случае
- Ерюкова ТатьянаИнженер-конструктор медицинской техники / Научный сотрудник / Переводчик
- Найдены и обработаны датасеты по сосулькам, наледи и снегу на крышах. Написан скрипт для объединения датасетов и приведения файлов с разметкой к единообразному виду с переименованием классов;
- Найдены и обработаны датасеты с заснеженными дорогами. Размечены полигонами снимки с камер. Написан скрипт для формирования json для работы с преаннотированными файлами в формате yolo 8 для Label Studio;
- Подготовлена презентация проекта, которая была в дальнейшем доработана остальными стажерами;
- Смонтирован видеоролик для презентации заказчику результатов работы модели детектирования
- Козлов Алексейинженер-программист в ООО «ТАиП»
- Сбор датасетов на roboflow.com, kaggle.com, youtube.com, запись видео на телефон;
- Разработал python-скрипты подготовки датасетов и обучения в YOLO v8;
- Подготовил датасеты fire-огонь, accident-ДТП, рассчитал по ним веса;
- Написал python-скрипты для детектирования разных событий
- Организовал работу системы на сервере kvant_server.py с использованием Fast API.
- Для просмотра детектируемых событий написал клиент на PyQt6
- Строкова АнастасияИнженер группы предпроектного анализа и внедрения систем WFM CC
- Поиск и разметка датасета (класс 07 fall - падающие люди);
- Проведение экспериментов с нейронными сетями YOLO v8, сравнение подходов nano, small, medium (как на первоначально собранном датасете, так и после удаления дублей), составление сравнительной таблицы;
- Предоставление весов nano и small по классам;
- Разбор и апробация алгоритмов (модуль по предобработке и дедубликатор)
- Красиков Виталийдоцент кафедры информатики в Российском экономическом университете им. Г.В. Плеханова.
- Разметка сложного датасета по детекции мусора;
- Дообучение модели Yolo V8 на размеченных данных;
- Карзработка скриптов, удаляющего файлы с лишней разметкой (для которых нет изображений)
- Кирюшин Артемстудент МАИ факультета «Системы управления, информатика и электроэнергетика»
- Работа над сборкой и чисткой ДС (дал комментарии по собранным ДС и выявил непригодные ДС);
- Активное создание алгоритмов для проекта;
- Рассчет нагрузку на сервер и выдвижение предложения сборки сервера;
- Обучение нейронной сети;
- Работа над интеграцией (оконным приложением и web)
- Середина МаринаАналитик данных
- Поиск релевантных изображений и видео;
- Использование grounding dino для автоматической разметки релевантных изображений и видео;
- Использование roboflow для поиска готовых датасетов;
- Использование roboflow для разметки полигонами, bounding box, сегментации;
- Обучение модели YOLO v8 для задач детектирования объектов и сегментации; 6.Тестирование обученных моделей на видео
- Таранов Анатолий
- Сбор и подготовка базы изображений. Разметка и обработка;
- Обучение и эксперименты с моделями НС;
- Изучение и сборка модуля интеграции с выводом на сервер сообщений о детекции события
Участники
2 команды проекта
2 команды проекта
- Бойцов Антонтимлид проектаАнтон — руководитель группы разработчиков, отвечал за полную разработку проекта
- Докучаева Светланапомощник тимлидаСветлана помогала руководителю команды организовывать процесс разработки проекта
- Нечаев ДмитрийПредприниматель
- Сбор и нарезка видео-записей для датасета (OpenCV)
- Извлечение цифровых слепков поз людей из видеоданных (Ultralytics YOLO8-pose, NumPy, pandas, time)
- Сбор датасета из извлеченных поз, алгоритм фильтрации и обработки собранных данных (NumPy, pandas)
- Фильтрация данных, генератор данных по ключевым точкам позы человека (random, NumPy, pandas)
- Подбор архитектуры и обучение нейросети (AutoKeras, TensorFlow, KerasTuner, Matplotlib)
- Алгоритм для распознавания драк на видео и визуализация результатов для проверки обученной нейросети (Ultralytics YOLO8-pose, NumPy, pandas, time)
- Воронина Натальялидер по клиническим исследованиям в международной фарм. компании
- Просмотр записей видеонаблюдения заказчика и извлечение фрагментов и искомыми событиями (ПО для видеомонтажа DaVinci Resolve)
- Сбор видео для дополнения датасета
- куринной александр
- Алгоритмы обработки видео-файлов в среде Google Colab (ffmpeg, os, sys, re)
- Сбор и распознавание видео для дополнения датасета (OpenCV, Ultralytics YOLO8-pose, NumPy, pandas, time)
Благодарность университетУ