Стажировка
Создание CV-модуля распознавания воздушных дронов
• Повышение безопасности городской и промышленной инфраструктуры — раннее обнаружение БПЛА, потенциально угрожающих людям и объектам;
• Автоматическое оповещение служб безопасности в режиме реального времени без постоянного участия оператора;
• Лёгкая интеграция в существующие системы видеонаблюдения (IP-камеры, CCTV) через REST/WebSocket API;
• Масштабируемое решение — поддержка до 10 параллельных видеопотоков, децентрализованная архитектура «Нода + Пульт управления»;
• Защита жизни граждан и снижение рисков для промышленных объектов;
• Коммерческое применение технологии в сегментах городской безопасности, охраны периметра и мониторинга воздушного пространства.
• Автоматическое оповещение служб безопасности в режиме реального времени без постоянного участия оператора;
• Лёгкая интеграция в существующие системы видеонаблюдения (IP-камеры, CCTV) через REST/WebSocket API;
• Масштабируемое решение — поддержка до 10 параллельных видеопотоков, децентрализованная архитектура «Нода + Пульт управления»;
• Защита жизни граждан и снижение рисков для промышленных объектов;
• Коммерческое применение технологии в сегментах городской безопасности, охраны периметра и мониторинга воздушного пространства.
результаты стажировки
• Обученная модель Object Detection (YOLOv11n / YOLO26n) с оптимизированными гиперпараметрами (mAP50-95 до 0.656 на мультиклассовом датасете);
• Модуль трекинга дронов с прогнозом траектории и уверенностью предсказания;
• REST/WebSocket API и распределённая система мониторинга — «Нода» (подключение к видеопотоку) + «Пульт управления» (объединение нескольких нод в сеть, логирование, алерты в Telegram);
• Веб-интерфейс и Dashboard с визуализацией потока, разметкой и журналом событий;
• Генератор синтетических датасетов с поддержкой YOLO / COCO / Pascal VOC форматов разметки;
• Технические рекомендации по внедрению и масштабированию системы.
• Модуль трекинга дронов с прогнозом траектории и уверенностью предсказания;
• REST/WebSocket API и распределённая система мониторинга — «Нода» (подключение к видеопотоку) + «Пульт управления» (объединение нескольких нод в сеть, логирование, алерты в Telegram);
• Веб-интерфейс и Dashboard с визуализацией потока, разметкой и журналом событий;
• Генератор синтетических датасетов с поддержкой YOLO / COCO / Pascal VOC форматов разметки;
• Технические рекомендации по внедрению и масштабированию системы.
вводные данные
• Видеопоток с IP-камер и CCTV-систем, локальные видеофайлы;
• Открытые датасеты БПЛА (изображения и видео, включая LRDDv2, SERAPHIM и др.);
• Синтетически сгенерированные данные — фотореалистичные сцены с БПЛА в различных условиях (город, промзона, ландшафт, ночь, дождь), более 1300 изображений с авторазметкой в формате YOLO.
• Открытые датасеты БПЛА (изображения и видео, включая LRDDv2, SERAPHIM и др.);
• Синтетически сгенерированные данные — фотореалистичные сцены с БПЛА в различных условиях (город, промзона, ландшафт, ночь, дождь), более 1300 изображений с авторазметкой в формате YOLO.
Для чего
Detection:
• mAP50 ≥ 0.95
• mAP50-95 ≥ 0.90
• Recall ≥ 0.85
• Precision ≥ 0.90
Tracking:
• MOTA ≥ 0.80
• ID switches < 3%
• FPS ≥ 25 на CPU/GPU
Real-time:
• Инференс ≤ 25–40 мс на кадр
• Задержка API ≤ 150 мс
• mAP50 ≥ 0.95
• mAP50-95 ≥ 0.90
• Recall ≥ 0.85
• Precision ≥ 0.90
Tracking:
• MOTA ≥ 0.80
• ID switches < 3%
• FPS ≥ 25 на CPU/GPU
Real-time:
• Инференс ≤ 25–40 мс на кадр
• Задержка API ≤ 150 мс
метрики
Разработать прототип системы компьютерного зрения, способной в реальном времени обнаруживать, классифицировать, отслеживать и прогнозировать движение беспилотных летательных аппаратов (БПЛА), включая малые дроны, в условиях сложного фона, разных погодных условий и освещения, с возможностью интеграции в систему оповещения городской и промышленной инфраструктуры.
ЦЕЛЬ проекта
Участники
команды проекта
команды проекта
- Дмитрий КравченкоТимлид проекта
- Общее руководство проектом;
- Подготовка и проведение теоретических лекций по компьютерному зрению и CV-pipeline;
- Организация и модерация еженедельных встреч;
- Координация работы команд, взаимодействие с заказчиком по требованиям и результатам.
- Николай Чертковпомощник тимлида
- Помощь тимлиду с организацией работы на стажировке.
- Михно Елена Игоревнапомощник тимлида
- Помощь тимлиду с организацией работы на стажировке;
- Координация работы команд в спринтах, взаимодействие с заказчиком по требованиям и результатам.
- Козлов Алексей Сергеевичучастник стажировки
- Сбор и анализ первичных датасетов из открытых источников;
- Разработка распределённой MVP-системы мониторинга на Gradio: «Нода» (подключение к видеопотоку RTSP/RTMP/HLS/веб-камера, детекция БПЛА через YOLO в реальном времени, алерты в Telegram) + «Пульт управления» (объединение нескольких Нод в сеть, REST/WebSocket API, логирование, скачивание размеченного видео);
- Прогноз положения дрона через 1 сек с отображением уверенности предсказания;
- Обучение нейросетей YOLOv11n / YOLO26n / YOLO26s на трёх датасетах, подготовленных командой;
- Разработка скрипта первичной разметки видеофайлов в формат YOLO, EDA-анализатора датасета, анализатора неудачных случаев обнаружения;
- Создание видеопрезентации MVP.
- Плужников Михаилучастник стажировки
- Критический анализ ТЗ, формирование перечня уточняющих вопросов к заказчику;
- Паспортизация 16 открытых датасетов с БПЛА (Google Colab, автоматизированный скрипт);
- Разработка универсального конвейера генерации синтетических данных: фотореалистичные сцены (город, промзона, ландшафт, сложные погодные условия), 1300 изображений с автоматической разметкой (YOLO Auto-Labeling), расширенная номенклатура классов (дрон, птица, вертолёт, самолёт, воздушный шар и др.);
- Внедрение системы подбора гиперпараметров с Optuna: пайплайн контрольных точек, SQLite на Google Drive, дублирование отчётов CSV/JSON;
- Серия экспериментов YOLO11n и YOLO26n на датасетах с 2 и 4 классами; достигнуто mAP50-95 до 0.656;
- Подготовка итоговой презентации с единым стилем и аналитикой результатов.
- Верещак Валерияучастник стажировки
- Разработка системы генерации синтетических датасетов с автоматическими (круговые, овальные) и кастомными траекториями, композитингом объектов с учётом перспективы и масштабирования, системой аугментаций (gaussian noise, motion blur, brightness);
- Пайплайн рендеринга 3D-моделей дронов через Blender (GLB/FBX/OBJ) с 16 ракурсами и системой обрезки прозрачных областей;
- Генерация аннотаций в форматах YOLO, COCO JSON, Pascal VOC XML с поддержкой множественных классов;
- Разработка полнофункционального веб-интерфейса (Vue 3 + FastAPI, 5000+ строк): интерактивный canvas, визуализация аннотаций, управление фонами и моделями, авторизация;
- Интеграция YandexART для генерации реалистичных фонов через API;
- Обучение модели YOLOv11 и интеграция в генератор синтетики для авторазметки.
- Азевич Александручастник стажировки
- Построение базового baseline: одно-классовая детекция дрона с высокой точностью на простом датасете;
- Дообучение моделей на сложных датасетах с малыми объектами (LRDDv2) для приближения к реальным условиям;
- Формирование сбалансированного subset SERAPHIM по типоразмерам БПЛА и подготовка независимого тест-сета с размер-специфичными метриками;
- Постановка сценария «drone vs background» с hard-negative (птицы, самолёты, вертолёты и пр.), очистка фонового пула, настройка компромисса precision/recall;
- Отбор YOLO-датасетов по классам (drone/bird/plane/helicopter), очистка и стандартизация;
- Серия экспериментов YOLO26 на бинарном и 4-классовом датасетах, фиксация baseline-метрик и скорости на GPU T4;
- Оформление паспортов датасетов и подтверждение воспроизводимости результатов.
- Кобызев Юрий Дмитриевичучастник стажировки
- Создание бенчмарка детекторов и каунтеров: YOLO11, YOLOv8, RT-DETR, RF-DETR (Ultralitics)
- Написание фреймворка подсчёта цыплят средствами (Ultralytics, OpenCV)
- Анализ ошибок трекинга и подсчёта с помощью ByteTrack, ведение JSON-логов (BoxMOT, ByteTrack, OpenCV, JSON)
- Сравнение моделей по метрикам и ошибке подсчёта
- Интеграция мультимодальных LLM Gemini для аудита ошибок (Google DeepMind)
- Подготовка воспроизводимого baseline-пайплайна подсчёта: YOLO → Tracker → Counter (Ultratytics, ByteTrack, BoT-SORT)
- Запуск авторазметки и конвертация сегментации в bbox средствами SAM2 (Ultratytics)
- Волощук Олег Игоревичучастник стажировки
- Разметка и верификация датасетов, работа с YOLO-форматом, ручная проверка (VGG Image Annotator)
- Контроль качества аннотаций — первая и вторая рука, сложные кейсы
- Подготовка пайплайна предобработки данных средствами Python (OpenCV, Google Colab)
- Колотий Вячеслав Витальевичучастник стажировки
- Ручной подсчёт эталонных значений (OpenCV, Python, CSV)
- Независимая верификация результатов трекинга сравнение трекеров, видеоанализ
- Анализ HSV-фильтрации и гистограмм распределения объектов по параметрам (OpenCV, NumPy, Matplotlib)
- Подсчёт объектов на видео с трекингом YOLOv8 и ByteTrack (Ultratytics, BoxMOT)
- Костенко Артём Сергеевичучастник стажировки
- Предобработка и валидация датасетов в формате YOLO (OpenCV)
- Обучение и переобучение моделей детекции объектов с помощью (Ultralytics YOLOv8n, PyTorch, Jupyter)
- Анализ и исправление разметки в JSON средствами Python и самописных на вайб-кодинге скриптов (Cursor AI)
- Построение пайплайна подсчёта объектов средствами YOLO, ByteTrack, LineCounter (Ultratytics, BoxMOT, OpenCV)
- Оптимизация логики счётчика и фильтров: debounce, cooldown, направление движения
- Документирование и проверка воспроизводимости экспериментов
- Михайлов Илья Сергеевичучастник стажировки
- Организазия работы подгруппы сегментации в Roboflow с использованием SAM 2 для автоматизации аннотации и ускорения подготовки данных. Проверка и корректировка разметки вручную (Roboflow, SAM 2, VGG Image Annotator)
- Разработка пайплайна анализа и валидации YOLO полигонов, реализация алгоритмов стратифицированного разбиения данных по количеству и размерам объектов для повышения стабильности обучения (NumPy, Pandas, Ultralytics)
- Создание единого исследовательского инструмента для команды с полным циклом включающим: обучение YOLOv8/v11 для сегментации и детекции, тестирование метрик и настройку трекинга для обеих камер (Jupyter Notebook, Ultralytics)
- Развертывание и оптимизация процесса обучения моделей на локальных GPU, настройка CUDA окружения для ускорения итераций (CUDA, PyTorch)
- Реализация системы трекинга ByteTrack и подсчёта объектов для устойчивого отслеживания по уникальным ID и разработки логики Line Counter - пересечения виртуальных линий сегментированными масками (BoxMOT, ByteTrack, OpenCV, Python, NumPy)
- Создание интерактивных прототипов для демонстрации алгоритмов трекинга и интерфейсов настройки зон интереса, порогов фильтрации и визуализации траекторий и масок объектов в видеопотоке (Streamlit, OpenCV, Python)
- Проектирование и реализация модульной архитектуры системы: бэкенд на FastAPI с независимыми пайплайнами обработки для каждой камеры, фронтенд на React + Vite с многопользовательским интерфейсом, включающим роли оператора и инженера, и база данных SQLite. Система поддерживает одновременную обработку нескольких видеопотоков и готова к промышленному внедрению (FastAPI, React, Vite, SQLite, Python, TypeScript)
- Реализация логики сохранения сессий и экспорта данных для отслеживания производительности конвейера в исторической перспективе (FastAPI, SQLite, Python)
- Орлов Максим Витальевичучастник стажировки
- Корректировка и верификация разметки датасетов (VGG Image Annotator, RoboFlow)
- Сегментация объектов на изображениях для обучения YOLOv8-seg (VGG Image Annotator, RoboFlow)
- Обучение базовой сегментационной модели YOLO-seg (Ultralytics)
- Анализ качества масок и метрик - mAP, Precision, Recall
- Осипенко Дмитрий Александровичучастник стажировки
- Разметка изображений в первую руку средствами (VGG Image Annotator, RoboFlow)
- Верификация и корректировка разметки в (VGG Image Annotator, RoboFlow)
- Подготовка и передача датасетов в репозиторий GitHub
- Подсчёт объектов на видео с трекингом YOLOv8, ByteTrack (Ultratytics, BoxMOT, OpenCV)
- Радькович Михаил Владимировичучастник стажировки
- Подготовка и очистка датасетов для обнаружения объектов (OpenCV, Пщщпду Colab)
- Верификация и нормализация разметки YOLO-формата (RoboFlow)
- Обучение модели детекции объектов YOLOv8n (Ultralytics)
- Анализ ошибок инференса на сложных кадрах (OpevCV, Matplotlib)
- Подсчёт объектов на видео с трекингом YOLOv8, ByteTrack (Ultratytics, BoxMOT, OpenCV)
- Соловьёва Ольга Евгеньевнаучастник стажировки
- Разметка и верификация датасетов с помощью (VGG Image Annotator, RoboFlow)
- Нормализация изображений по размеру и цвету (OpenCV)
- Отбор сложных кейсов для камеры конвейера - визуальный анализ (OpenCV)
- Базовый эксперимент с детекцией и трекингом цыплят YOLOv8, ByteTrack (Ultratytics, BoxMOT, OpenCV)
- Прототипирование интерфейса подсчёта с линиями пересечения (Streamlit)
- Степанов Вячеслав Григорьевичучастник стажировки
- Интеграция авторазметки сегментации (SAM2, SAM-Lite, Docker)
- Настройка и запуск сред разметки (CVAT, Label Studio)
- Исследование качества масок и полигонов, визуальный анализ (SAM2, FiftyOne)
- Формирование эталонных сегментационных датасетов
- Обучение и дообучение моделей сегментации YOLOv8-Seg (Ultralytics)
- Организация пайплайна подсчёта цыплят YOLOv8, ByteTrack (Ultratytics, BoxMOT, OpenCV)
- Достижение высокой точности счёта на видео (Ultratytics, BoxMOT, OpenCV)
- Шмонов Дмитрий Михайловичучастник стажировки
- Верификация и очистка датасетов (OpenCV, Google Colab)
- Нормализация и подготовка данных для YOLO (NumPy, OpenCV)
- Создание инструментов анализа аномалий разметки с помощью (CSV, Pandas)
- Бенчмаркинг моделей детекции на камере 1 (Ultratytics, PyTorch, Colab)
- Сборка прикладного пайплайна подсчёта цыплят в реальном времени средствами (Ultratytics, BoxMOT, OpenCV)
- Шульдишов Игорь Николаевичучастник стажировки
- Верификация и корректировка разметки датасетов (VGG Image Annotator, RoboFlow)
- Сегментация сложных сцен с авторазметкой (SAM-2, SAM-3, HQ-SAM, RoboFlow)
- Формирование эталонных масок и гайдлайнов (RoboFlow, OpenCV)
- Эксперименты с обучением моделей сегментации YOLOv5/YOLO-seg (Google Colab, Ultratytics)