Стажировка
Создание CV-модуля распознавания воздушных дронов
• Повышение безопасности городской и промышленной инфраструктуры — раннее обнаружение БПЛА, потенциально угрожающих людям и объектам;
• Автоматическое оповещение служб безопасности в режиме реального времени без постоянного участия оператора;
• Лёгкая интеграция в существующие системы видеонаблюдения (IP-камеры, CCTV) через REST/WebSocket API;
• Масштабируемое решение — поддержка до 10 параллельных видеопотоков, децентрализованная архитектура «Нода + Пульт управления»;
• Защита жизни граждан и снижение рисков для промышленных объектов;
• Коммерческое применение технологии в сегментах городской безопасности, охраны периметра и мониторинга воздушного пространства.
• Автоматическое оповещение служб безопасности в режиме реального времени без постоянного участия оператора;
• Лёгкая интеграция в существующие системы видеонаблюдения (IP-камеры, CCTV) через REST/WebSocket API;
• Масштабируемое решение — поддержка до 10 параллельных видеопотоков, децентрализованная архитектура «Нода + Пульт управления»;
• Защита жизни граждан и снижение рисков для промышленных объектов;
• Коммерческое применение технологии в сегментах городской безопасности, охраны периметра и мониторинга воздушного пространства.
результаты стажировки
• Обученная модель Object Detection (YOLOv11n / YOLO26n) с оптимизированными гиперпараметрами (mAP50-95 до 0.656 на мультиклассовом датасете);
• Модуль трекинга дронов с прогнозом траектории и уверенностью предсказания;
• REST/WebSocket API и распределённая система мониторинга — «Нода» (подключение к видеопотоку) + «Пульт управления» (объединение нескольких нод в сеть, логирование, алерты в Telegram);
• Веб-интерфейс и Dashboard с визуализацией потока, разметкой и журналом событий;
• Генератор синтетических датасетов с поддержкой YOLO / COCO / Pascal VOC форматов разметки;
• Технические рекомендации по внедрению и масштабированию системы.
• Модуль трекинга дронов с прогнозом траектории и уверенностью предсказания;
• REST/WebSocket API и распределённая система мониторинга — «Нода» (подключение к видеопотоку) + «Пульт управления» (объединение нескольких нод в сеть, логирование, алерты в Telegram);
• Веб-интерфейс и Dashboard с визуализацией потока, разметкой и журналом событий;
• Генератор синтетических датасетов с поддержкой YOLO / COCO / Pascal VOC форматов разметки;
• Технические рекомендации по внедрению и масштабированию системы.
вводные данные
• Видеопоток с IP-камер и CCTV-систем, локальные видеофайлы;
• Открытые датасеты БПЛА (изображения и видео, включая LRDDv2, SERAPHIM и др.);
• Синтетически сгенерированные данные — фотореалистичные сцены с БПЛА в различных условиях (город, промзона, ландшафт, ночь, дождь), более 1300 изображений с авторазметкой в формате YOLO.
• Открытые датасеты БПЛА (изображения и видео, включая LRDDv2, SERAPHIM и др.);
• Синтетически сгенерированные данные — фотореалистичные сцены с БПЛА в различных условиях (город, промзона, ландшафт, ночь, дождь), более 1300 изображений с авторазметкой в формате YOLO.
Для чего
Detection:
• mAP50 ≥ 0.95
• mAP50-95 ≥ 0.90
• Recall ≥ 0.85
• Precision ≥ 0.90
Tracking:
• MOTA ≥ 0.80
• ID switches < 3%
• FPS ≥ 25 на CPU/GPU
Real-time:
• Инференс ≤ 25–40 мс на кадр
• Задержка API ≤ 150 мс
• mAP50 ≥ 0.95
• mAP50-95 ≥ 0.90
• Recall ≥ 0.85
• Precision ≥ 0.90
Tracking:
• MOTA ≥ 0.80
• ID switches < 3%
• FPS ≥ 25 на CPU/GPU
Real-time:
• Инференс ≤ 25–40 мс на кадр
• Задержка API ≤ 150 мс
метрики
Разработать прототип системы компьютерного зрения, способной в реальном времени обнаруживать, классифицировать, отслеживать и прогнозировать движение беспилотных летательных аппаратов (БПЛА), включая малые дроны, в условиях сложного фона, разных погодных условий и освещения, с возможностью интеграции в систему оповещения городской и промышленной инфраструктуры.
ЦЕЛЬ проекта
Участники
команды проекта
команды проекта
- Дмитрий КравченкоТимлид проекта
- Общее руководство проектом;
- Подготовка и проведение теоретических лекций по компьютерному зрению и CV-pipeline;
- Организация и модерация еженедельных встреч;
- Координация работы команд, взаимодействие с заказчиком по требованиям и результатам.
- Николай Чертковпомощник тимлида
- Помощь тимлиду с организацией работы на стажировке.
- Михно Елена Игоревнапомощник тимлида
- Помощь тимлиду с организацией работы на стажировке;
- Координация работы команд в спринтах, взаимодействие с заказчиком по требованиям и результатам.
- Козлов Алексей Сергеевичучастник стажировки
- Сбор и анализ первичных датасетов из открытых источников;
- Разработка распределённой MVP-системы мониторинга на Gradio: «Нода» (подключение к видеопотоку RTSP/RTMP/HLS/веб-камера, детекция БПЛА через YOLO в реальном времени, алерты в Telegram) + «Пульт управления» (объединение нескольких Нод в сеть, REST/WebSocket API, логирование, скачивание размеченного видео);
- Прогноз положения дрона через 1 сек с отображением уверенности предсказания;
- Обучение нейросетей YOLOv11n / YOLO26n / YOLO26s на трёх датасетах, подготовленных командой;
- Разработка скрипта первичной разметки видеофайлов в формат YOLO, EDA-анализатора датасета, анализатора неудачных случаев обнаружения;
- Создание видеопрезентации MVP.
- Плужников Михаилучастник стажировки
- Критический анализ ТЗ, формирование перечня уточняющих вопросов к заказчику;
- Паспортизация 16 открытых датасетов с БПЛА (Google Colab, автоматизированный скрипт);
- Разработка универсального конвейера генерации синтетических данных: фотореалистичные сцены (город, промзона, ландшафт, сложные погодные условия), 1300 изображений с автоматической разметкой (YOLO Auto-Labeling), расширенная номенклатура классов (дрон, птица, вертолёт, самолёт, воздушный шар и др.);
- Внедрение системы подбора гиперпараметров с Optuna: пайплайн контрольных точек, SQLite на Google Drive, дублирование отчётов CSV/JSON;
- Серия экспериментов YOLO11n и YOLO26n на датасетах с 2 и 4 классами; достигнуто mAP50-95 до 0.656;
- Подготовка итоговой презентации с единым стилем и аналитикой результатов.
- Верещак Валерияучастник стажировки
- Разработка системы генерации синтетических датасетов с автоматическими (круговые, овальные) и кастомными траекториями, композитингом объектов с учётом перспективы и масштабирования, системой аугментаций (gaussian noise, motion blur, brightness);
- Пайплайн рендеринга 3D-моделей дронов через Blender (GLB/FBX/OBJ) с 16 ракурсами и системой обрезки прозрачных областей;
- Генерация аннотаций в форматах YOLO, COCO JSON, Pascal VOC XML с поддержкой множественных классов;
- Разработка полнофункционального веб-интерфейса (Vue 3 + FastAPI, 5000+ строк): интерактивный canvas, визуализация аннотаций, управление фонами и моделями, авторизация;
- Интеграция YandexART для генерации реалистичных фонов через API;
- Обучение модели YOLOv11 и интеграция в генератор синтетики для авторазметки.
- Азевич Александручастник стажировки
- Построение базового baseline: одно-классовая детекция дрона с высокой точностью на простом датасете;
- Дообучение моделей на сложных датасетах с малыми объектами (LRDDv2) для приближения к реальным условиям;
- Формирование сбалансированного subset SERAPHIM по типоразмерам БПЛА и подготовка независимого тест-сета с размер-специфичными метриками;
- Постановка сценария «drone vs background» с hard-negative (птицы, самолёты, вертолёты и пр.), очистка фонового пула, настройка компромисса precision/recall;
- Отбор YOLO-датасетов по классам (drone/bird/plane/helicopter), очистка и стандартизация;
- Серия экспериментов YOLO26 на бинарном и 4-классовом датасетах, фиксация baseline-метрик и скорости на GPU T4;
- Оформление паспортов датасетов и подтверждение воспроизводимости результатов.
- Гинтарас Димаучастник стажировки
- Организация и координация команды разметчиков на платформе Roboflow;
- Формирование правил разметки и чистки датасета;
- Разметка и чистка датасета: порядка 10 000 изображений на Roboflow;
- Формирование и объединение датасетов на Roboflow по необходимым классам;
- Выгрузка готовых датасетов в форматах, необходимых для обучения моделей.
- Савченко Даниилучастник стажировки
- Организация и координация команды разметчиков на платформе CVAT;
- Формирование правил разметки и чистки датасета;
- Разметка и чистка датасета: порядка 10 000 изображений на CVAТ;
- Выгрузка готовых датасетов в форматах, необходимых для обучения моделей.
- Москалев Сергейучастник стажировки
- Проверка датасетов из общей таблицы команды;
- Подготовка технического задания на Dashboard;
- Создание тестовой базы данных и заполнение тестовыми данными;
- Разработка и отладка Dashboard для визуализации метрик и событий обнаружения.
- Харитонова Юлияучастник стажировки
- Участие в сборе, очистке и аннотации около 1000 изображений с дронами (квадрокоптеры, самолётные, FPV) с использованием CVAT и Roboflow;
- Контроль качества датасета: проверка 847 изображений, 110 исправлений в разметке;
- Освоение специализированных инструментов: CVAT, Roboflow, работа с различными типами датасетов.
- Гридасова Иринаучастник стажировки
- Изучение документации и материалов проекта: ТЗ, описание стажировки, материалы по GitHub и анализу датасетов;
- Практическая работа в CVAT: проверка и дополнительная разметка 1877 изображений.
- Мартынова Марияучастник стажировки
- Разработка скрипта парсинга изображений с сайта и генерации синтетики по классам с минималистичным фоном;
- Разработка скрипта анализа датасета и подготовки его паспорта;
- Участие в разметке датасета;
- Тестирование распределённой системы мониторинга;
- Подготовка итоговой презентации проекта.
- Пономарев Николайучастник стажировки
- Поиск и отбор открытых датасетов с БПЛА;
- Тестирование и обучение моделей YOLO (YOLOv8, YOLOv11, YOLO26).
- Мазетов Олегучастник стажировки
- Разработка системы генерации дополненной реальности видеопотока в реальном времени (постановка случайных помех, дополнительных объектов, видео фрагментов итд);
- Проведение тестирования различных видеопотоков на моделях YOLO8 с ипользованием одноплатного компьютера Raspberry Pi5 + Hailo8L (NPU 13TOPS);
- Разработка технического решения для использования Raspberry Pi5 + Hailo8L и PoE модуля для компактной работы автономного модуля с устанокой на периферийных участках;
- Проведение работ по обучению модели YOLO 8n на высокопроизводительных ресурсах HPC-Центра Университета;
- Разработка системы получения синтетических данных в пакетном режиме для дополнения датасета.
- Выговская Натальяучастник стажировки
- Участие в проверке и разметке датасета;
- Обучение моделей Yolo11 на датасете с 4 классами;
- Разработка веб-интерфейса на Flask для тестирования моделей в 2 режимах: веб-камера компьютера и загруженное изображение (видео).