Стажировка по проекту
Компания: ООО «дрон солюшнс»
обнаружение людей, акул и нефтяных пятен с квадрокоптера
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Требуется разработать систему распознавания объектов на воде (при помощи беспилотных летательных аппаратов), которая работает в режиме онлайн и реализует следующие задачи:
- Детекция нефтяных пятен;
- Детекция людей;
- Детекция водных заграждений (буйков);
- Детекция плавательных средств (лодки, корабли и прочая водная техника);
- Детекция акул
Для обеспечения безопасности на пляжах, озерах или реках. Сеть может определять, есть ли люди в воде, нуждаются ли они в спасательных жилетах или подвергаются ли опасности от акул
Список данных от заказчика:
- 100 тыс. синтетических изображений (люди, лодки);
- 3800 изображений снятых с дрона (люди, лодки);
- не менее 250 изображений с разливом нефтяных пятен;
- не менее 20 изображений снятых с дрона (акулы);
- синтетические снимки с буйками (объём обсуждаемый);
- синтетические снимки с разливами нефти (объём обсуждаемый)
1 этап: Так как система работает в режиме онлайн, то выходными данными являются координаты распознанных объектов на каждом кадре в формате YOLO
2 этап: Определение классов в виде ограничивающих рамок с подписями классов
2 этап: Определение классов в виде ограничивающих рамок с подписями классов
Участники команды проекта
1 этап
1 этап
- Хабаров ИванТимлид проектаИван - руководитель группы разработчиков, отвечал за полную разработку проекта
- Варфоломеева ОльгаМенеджер по работе с клиентами
- Очистка данных;
- Корректировка разметки;
- Оценка скорости работы разных моделей yolo;
- Эксперименты с детекцией маленьких объектов;
- Поиск дополнительных данных для класса «буйки»
- Павлов РоманРуководитель направления ИТ-бюджетирования в государственной компании
- Очистка данных;
- Корректировка разметки;
- Оценка скорости работы разных моделей yolo;
- Эксперименты с детекцией маленьких объектов
- Носова СветланаСотрудник банка по работе с юридическими лицами
- Очистка данных;
- Корректировка разметки;
- Обучение модели классификации нефти;
- Инференс модели классификации нефти
- Аликберов АндрейОказывает услуги управления ИТ-подразделениями и ИТ-проектами в области кинопоказа, фитнес-индустрии, строительства и др.
- Очистка данных;
- Корректировка разметки;
- Оценка скорости работы разных моделей yolo;
- Эксперименты с детекцией маленьких объектов
- Лисин РоманСистемный администратор вычислительного кластера HPC
- Очистка данных;
- Корректировка разметки;
- Оценка скорости работы разных моделей yolo;
- Эксперименты с детекцией маленьких объектов;
- Эксперименты с добавлением нефти отдельным классом в yolo;
- Обучение модели yolo на всех данных;
- Конвертация моделей в формат engine и onnx
- Кобызев ЮрийНачальник отдела информационных систем ООО СТЭККОМ
(специалист по биллинговым системам операторов связи)- Очистка данных;
- Корректировка разметки;
- Интеграция моделей yolo на jetson nano;
- Запуск разных моделей на jetson nano;
- Модуль инференса для запуска моделей из коробки
- Шахлин ВиталийПрограммист, более 10+ лет опыта в коммерческой разработке, в основном занимается Enterprice решениями на java и C#
- Очистка данных;
- Корректировка разметки;
- Оценка скорости работы разных моделей yolo;
- Эксперименты с детекцией маленьких объектов;
- Генерация дополнительной выборки нефти
Участники команды проекта
2 этап
2 этап
- Титов МихаилТимлид проектаМихаил координировал работу команды, контролировал сроки и качество выполнения задач
- Афанасенко СергейСпециальность - автоматизированные системы обработки информации. Последнее место работы - руководитель отдела ИТ в дистрибуторской компании
- Выполнение различных задач по разметке и проверке датасетов для обучения моделей обнаружения объектов;
- Аугментирование, фильтрование и обработка изображения из разных источников;
- Парсинг данных из интернета;
- Индивидуально под задачу написал и произвел кросс-валидацию и анализ предиктов, формировал датасеты для обучения и валидации модели, проверял и исправлял аннотации, делал выводы о зависимости моделей от цветовой гаммы и размера объектов
- Маевский АндрейРуководитель отдела морской робототехники Санкт-петербургского Государственного Морского Технического Университета: занимается разработками систем и алгоритмов для управления морскими робототехническими комплеками
- Выполнение различных задач по разметке и проверке датасетов для обучения моделей обнаружения объектов;
- Проведение экспериментов с моделями yolov5m и yolov8n на отдельно подготовленных базах;
- Парсинг данных по недостающим классам из интернета и формирование выборки;
- Разметка данных;
- Эксперименты по обучению моделей
- Талипова ОльгаПрограммист SQL/PLSQL
- Выполнение различных задач по разметке и проверке датасетов для обучения моделей обнаружения объектов yolo;
- Создание виртуальной среды с нужными зависимостями, проведение неоднократных экспериментов в ней по обучению моделей;
- Доразметка отсутствующих объектов, проверка и корректировка аннотации, подборка максимально возможных размеров батча и проведение обучения на трех датасетах с заранее подготовленной кросс-валидацией
- Кобызев ЮрийНачальник отдела информационных систем ООО СТЭККОМ
(специалист по биллинговым системам операторов связи)- Задачи по обучению и тестированию моделей обнаружения объектов на видео с использованием алгоритма yolov8 и разных наборов данных;
- Измерения производительности моделей на устройствах jetson/nano с разными библиотеками и проверка эффективности ансамблей моделей
- Нгуен Суан ТхайЭкономист в нефтегазовой компании в Москве
- Выполнение различных задач по разметке изображений для обучения моделей обнаружения объектов;
- Разметка датасетов с акулами и другими объектами, пропуская похожие кадры из видео;
- Корректировка и проверка смещения классов в старой базе и проверка, исправление неточностей в разметке других датасетов
- Модзелевский ВалерийГлавный экономист проектов комплексного обеспечения промышленной химией и управления логистикой поставок
- Выполнение различных задач по разметке и проверке датасетов для обучения моделей обнаружения объектов;
- Разметка базы, определение количества классов, распаковка и формирование новых датасетов;
- Подготовка формы журнала экспериментов и описание структуры каталогов в таблице;
- Проведение эксперементов по обучению моделей
- Клищенко РоманИнженер-лаборант на производстве сельскохозяйственной техники
- Выполнение различных задач по подготовке, разметке и обучению датасетов для модели обнаружения объектов yolov5;
- Подготовка кода для выделения объектов и сохранения их в отдельные файлы;
- Разделение датасетов на части, разметка изображения с акулами и другими объектами, проверка и корректировка разметки;
- Запуск обучения модели
- Кабанов ДмитрийIT специалист или php программист
- Выполнение различных задач по разметке и проверке датасетов для обучения моделей обнаружения объектов;
- Разметка людей на лодках, в воде и на серфингах, удаление лишних и неподходящих изображений, проверка и исправление метки, закрашивание лого на картинках;
- Изучение информации по вопросу
- Резер АртемРаботал в сфере поставок маталлообрабатывающих станков с ЧПУ, инструмента и оснастки для машиностроения, проектирования технологических процессов на станках с ЧПУ
- Разметка данных;
- Создание парсера для датасета. Парсер учитывает баланс количества объектов по классам и пороговое значение объектов по каждому классу, выводит статистику полученной выборки, тем самым позволяет проводить глубокий анализ выборки
- Павлов ИванSEO специалист, продвижение международных сайтов IT компании
- Работа по подготовке и проверке датасета;
- Анализ и чистка данных
- Маркин Владимир
- Выполнение различных задач по разметке и проверке датасетов для обучения моделей обнаружения объектов
Демонстрация проекта 1 этапа
Тестовое видео классификации нефти
Тестовое видео детекции объектов
Демонстрация проекта 2 этапа
Благодарность университетУ
