Стажировка по проекту
Компания: Сибирский государственный университет геосистем и технологий https://sgugit.ru/
Определение с дрона вредителей на листьях овощных культур
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Разработка системы определения с дрона насекомых-вредителей на листьях овощных культур
В результате проекта получился размеченный набор кадров, на котором были разработаны и обучены модели определения и сегментирования вредителей и пораженных участков поля. Модели, созданные для пилотного проекта, способны обнаруживать и классифицировать отдельных насекомых с точностью до 92%, пораженные объекты на поле с точностью до 95%, пораженные сегменты поля с точностью до 0.9 по коэффициенту Дайса
Проект использует пробные видеоматериалы, снятые дроном заказчика над полем капусты. В качестве данных использовались отобранные отрезки видео и отдельные кадры с направлением объектива камеры дрона в надир. Съемка велась с высоты 20-40 метров, размер кадра на местности от 15 см х 15 см до 200 м х 200 м

Цель проекта заключается в создании алгоритма автоматизации борьбы с вредителями и в создании моделей нейронных сетей для обнаружения и сегментации участков на поле, поражённых вредителями
Участники
1 команды проекта
  • Рубцов Антон
    Тимлид проекта
    Антон - руководитель группы разработчиков, отвечал за полную разработку проекта
  • Аникеев Артем
    Предприниматель / Основатель ИТ проектов в сфере E-commerce и ИИ
    • Анализ задачи и обработка данных с помощью OpenCV, shutil, os;
    • Разметка данных для задачи object detection с помощью сервисов CVAT и Roboflow;
    • Обучение и подбор гиперпараметров моделей ultralytics YOLOv8 для обнаружения пораженных листьев капусты;
    • Использование Roboflow для разметки кадров для задачи семантической сегментации;
    • Обучение модели YOLOv8 для сегментирования поврежденных объектов на поле – листьев, кочанов, рядов кочанов;
    • Создание telegram-бота с интегрированной моделью обнаружения объектов (python-telegram-bot)
  • Светозаров Андрей
    Руководитель IT-проектов в АльфаБанк
    • Анализ задачи и создание поэтапного алгоритма её решения;
    • Практика работы с OpenCV. Аугментация и работа с кадрами, выведение видео в проигрыватель (IPython);
    • Выполнение разметки для задачи обнаружения объектов с помощью онлайн сервиса CVAT, координация разметки группой;
    • Разработка скрипта для объединения размеченных датасетов в один;
    • Обучение и подбор гиперпараметров моделей ultralytics YOLOv8;
    • Разработка и применение алгоритма, объединяющего bounding box’ы соседних объектов в процессе уменьшения масштаба съемки
  • Ромашенков Леонид
    • Анализ задач и создание поэтапного алгоритма их решения;
    • Разметка данных для задач обнаружения объектов и сегментации с помощью сервиса Roboflow;
    • Использование сочетания фреймворков RoboFlow + YOLOv5 для решения задачи обнаружения и классификации объектов на видео;
    • Построение и обучение моделей семантической сегментации на архитектурах U-Net и PSPNet, применение Callbacks;
    • Работа с изображениями и визуализация предсказания модели, треккинг: OpenCV, Moviepy, IPython
  • Иванов Александр
    Инженер-проектировщик отдела «Отопление и вентиляция»
    • Анализ задачи и выделение ключевых кадров в видео данных;
    • Разметка фотографий с помощью платформы CVAT;
    • Работа с файлами с помощью библиотек os и shutil;
    • Обработка изображений и вывод результатов обучения с помощью OpenCV и Matplotlib;
    • Обучение и подбор гиперпараметров моделей ultralytics YOLOv8 для обнаружения поражённых объектов
  • Косенков Александр
    Студент 3 курса прикладной информатики в КамчатГТУ
    • Работа с видео и выделение ключевых кадров – os, OpenCV, requests;
    • Обработка изображений и их аугментация с помощью библиотек IPython, и PIL, OpenCV;
    • Разметка изображений для задачи обнаружения объектов с помощью онлайн сервиса CVAT;
    • Обучение и подбор гиперпараметров моделей ultralytics YOLOv8 для обнаружения поражённых листьев капусты;
    • Визуализация предсказания (треккинга) объектов в среде Google Colab – Moviepy, IPython/HTML
  • Симахина Евгения
    старший научный сотрудник научно-исследовательского института
    • Анализ задачи и выделение ключевых кадров в видео данных;
    • Разметка данных для задачи object detection с помощью сервисов CVAT и Roboflow;
    • Работа с файлами с помощью библиотек os и shutil, с изображениями – OpenCV;
    • Обучение и подбор гиперпараметров моделей ultralytics YOLOv8 для обнаружения и классификации насекомых;
    • Использование сервисов и фреймворков для разметки кадров для задачи семантической сегментации, Roboflow;
    • Разработка и обучение модели YOLOv8 для сегментирования поврежденных участков поля