Стажировка по проекту
Компания: Сибирский государственный университет геосистем и технологий https://sgugit.ru/
Определение с дрона вредителей на листьях овощных культур
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Разработка системы определения с дрона насекомых-вредителей на листьях овощных культур
1 команда: В результате проекта получился размеченный набор кадров, на котором были разработаны и обучены модели определения и сегментирования вредителей и пораженных участков поля. Модели, созданные для пилотного проекта, способны обнаруживать и классифицировать отдельных насекомых с точностью до 92%, пораженные объекты на поле с точностью до 95%, пораженные сегменты поля с точностью до 0.9 по коэффициенту Дайса
2 команда: Визуализация результатов классификации на видео с помощью разметки или подсветки объектов. Вывод результатов классификации в JSON формате.
2 команда: Визуализация результатов классификации на видео с помощью разметки или подсветки объектов. Вывод результатов классификации в JSON формате.
Проект использует пробные видеоматериалы, снятые дроном заказчика над полем капусты. В качестве данных использовались отобранные отрезки видео и отдельные кадры с направлением объектива камеры дрона в надир. Съемка велась с высоты 20-40 метров, размер кадра на местности от 15 см х 15 см до 200 м х 200 м
Цель проекта заключается в создании алгоритма автоматизации борьбы с вредителями и в создании моделей нейронных сетей для обнаружения и сегментации участков на поле, поражённых вредителями
Участники
1 команды проекта
1 команды проекта
- Рубцов АнтонТимлид проектаАнтон - руководитель группы разработчиков, отвечал за полную разработку проекта
- Аникеев АртемПредприниматель / Основатель ИТ проектов в сфере E-commerce и ИИ
- Анализ задачи и обработка данных с помощью OpenCV, shutil, os;
- Разметка данных для задачи object detection с помощью сервисов CVAT и Roboflow;
- Обучение и подбор гиперпараметров моделей ultralytics YOLOv8 для обнаружения пораженных листьев капусты;
- Использование Roboflow для разметки кадров для задачи семантической сегментации;
- Обучение модели YOLOv8 для сегментирования поврежденных объектов на поле – листьев, кочанов, рядов кочанов;
- Создание telegram-бота с интегрированной моделью обнаружения объектов (python-telegram-bot)
- Светозаров АндрейРуководитель IT-проектов в АльфаБанк
- Анализ задачи и создание поэтапного алгоритма её решения;
- Практика работы с OpenCV. Аугментация и работа с кадрами, выведение видео в проигрыватель (IPython);
- Выполнение разметки для задачи обнаружения объектов с помощью онлайн сервиса CVAT, координация разметки группой;
- Разработка скрипта для объединения размеченных датасетов в один;
- Обучение и подбор гиперпараметров моделей ultralytics YOLOv8;
- Разработка и применение алгоритма, объединяющего bounding box’ы соседних объектов в процессе уменьшения масштаба съемки
- Ромашенков Леонид
- Анализ задач и создание поэтапного алгоритма их решения;
- Разметка данных для задач обнаружения объектов и сегментации с помощью сервиса Roboflow;
- Использование сочетания фреймворков RoboFlow + YOLOv5 для решения задачи обнаружения и классификации объектов на видео;
- Построение и обучение моделей семантической сегментации на архитектурах U-Net и PSPNet, применение Callbacks;
- Работа с изображениями и визуализация предсказания модели, треккинг: OpenCV, Moviepy, IPython
- Иванов АлександрИнженер-проектировщик отдела «Отопление и вентиляция»
- Анализ задачи и выделение ключевых кадров в видео данных;
- Разметка фотографий с помощью платформы CVAT;
- Работа с файлами с помощью библиотек os и shutil;
- Обработка изображений и вывод результатов обучения с помощью OpenCV и Matplotlib;
- Обучение и подбор гиперпараметров моделей ultralytics YOLOv8 для обнаружения поражённых объектов
- Косенков АлександрСтудент 3 курса прикладной информатики в КамчатГТУ
- Работа с видео и выделение ключевых кадров – os, OpenCV, requests;
- Обработка изображений и их аугментация с помощью библиотек IPython, и PIL, OpenCV;
- Разметка изображений для задачи обнаружения объектов с помощью онлайн сервиса CVAT;
- Обучение и подбор гиперпараметров моделей ultralytics YOLOv8 для обнаружения поражённых листьев капусты;
- Визуализация предсказания (треккинга) объектов в среде Google Colab – Moviepy, IPython/HTML
- Симахина Евгениястарший научный сотрудник научно-исследовательского института
- Анализ задачи и выделение ключевых кадров в видео данных;
- Разметка данных для задачи object detection с помощью сервисов CVAT и Roboflow;
- Работа с файлами с помощью библиотек os и shutil, с изображениями – OpenCV;
- Обучение и подбор гиперпараметров моделей ultralytics YOLOv8 для обнаружения и классификации насекомых;
- Использование сервисов и фреймворков для разметки кадров для задачи семантической сегментации, Roboflow;
- Разработка и обучение модели YOLOv8 для сегментирования поврежденных участков поля
Участники
2 команды проекта
2 команды проекта
- Белоус ПавелТимлид проектаПавел - руководитель группы разработчиков, отвечал за полную разработку проекта.
- Определение направлений разработки;
- Постановка гипотез по решению стоящих задач;
- Проведение еженедельных;
- Организация работы и контроль задач
- Харламов МихаилПомощник Тимлида
- Определение направлений разработки,
- Постановка гипотез по решению стоящих задач,
- Организация работы группы, помощь тимлиду в администрировании и управлении, формализация и описание задач;
- Контроль выполнения задач стажерами;
- Проведение промежуточных встреч для ответов на вопросы стажеров,
- Компиляция скриптов и результатов работ стажеров
- Курочкин ВладимирИнженер-программист АСУТП
- Подготовка и разметка данных;
- Обучение моделей Yolov8;
- Написание скриптов по предобработке данных;
- Написание скриптов по постобоработке данных;
- Тестирование и проработка гипотез по повышению точности модели;
- Обогащение базы данных из сторонних источников
- Соловьев Аркадий
- Подготовка и разметка данных;
- Обучение моделей Yolov8;
- Написание скриптов по предобработке данных;
- Написание скриптов по постобоработке данных;
- Тестирование и проработка гипотез по повышению точности модели;
- Обогащение базы данных из сторонних источников
- Краснова МаринаБухучет, анализ и аудит
- Подготовка и разметка данных;
- Обучение моделей Yolov8;
- Написание скриптов по предобработке данных;
- Обогащение базы данных из сторонних источников;
- Тестирование и проработка гипотез по повышению точности модели
- Карпов СергейПрограммист C#, Python. Документовод, разработчик офисной автоматизации
- Подготовка и разметка данных;
- Обучение моделей Yolov8;
- Использовал инструменты треккера для улучшения работы модели;
- Написание скриптов по предобработке данных;
- Написание скриптов по постобоработке данных;
- Тестирование и проработка гипотез по повышению точности модели
- Таранов Анатолий
- Подготовка и разметка данных;
- Обучение моделей Yolov8;
- Написание скриптов по предобработке данных
- Нарышкин КонстантинСпециальность: Защита информации
- Написание скриптов по предобработке данных;
- Написание скриптов по постобоработке данных;
- Обучение моделей Yolov8
- Кирпиков АлексейОператор дронов
- Написание скриптов по предобработке данных;
- Обучение моделей Yolov8