Стажировка по проекту
Компания: Федеральный исследовательский центр информационных и вычислительных технологий - Российская академия наук
Разработка нейронной сети для обработки данных горного эндоскопа
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Автоматическое распознавание и трассировка трещин в горных массивах с использованием нейронных сетей для улучшения геомеханических анализов
Видеофайл с сегментацией искомых объектов и запись координат в файл
Видеофайл с погружением эндоскопа в шахту
Автоматизация анализа трещин и трассировка в горных массивах для улучшения геомеханических исследований
Участники
команды проекта
команды проекта
- Терещенко АлексейТимлид проектаАлексей - руководитель группы разработчиков, отвечал за полную разработку проекта
- Поляков ВладимирРуководитель группы системных администраторов предприятия химической промышленности
- Подготовка датасета из видеофайла (разделение видео на кадры, разметка на блоке кадров трещин полигонами);
- Обучение модели yolov8x-seg с обучением на нескольких блоках датасета, с изменением гипер параметров для получения наилучшей точности;
- Получение относительно приемлемого для заказчика результата работы модели по сегментации;
- Экспериментальные выводы о необходимости повышения качества датасета;
- Проработан вариант трекинга сегментированных объектов-трещин;
- Проработан вариант покадрового сегментирования трещин с табличной пост - обработкой полигонов, обнаруженных моделью трещин, с учетом глубины погружения эндоскопа;
- Проверка вариантов работы модели, обученной на датасете в градациях серого цвета
- Драгинда ЮлияНаучный сотрудник (CIRMMT, Монреаль, Канада)
- Разметка части базы данных в соответствии с рекомендациями заказчика;
- Обучена тестовая модель сегментации трещин на этой части данных (на основе yolo v8;
- Создан набор данных и обучена отдельная модель по распознаванию глубины на снимке эндоскопа (yolo v5, CTC loss);
- Разметка набора данных и обучение модели по определению центра отверстия (на основе yolo v8);
- Предложен итоговый вариант статической сборки моделей проекта и классификации трещин
- Никандров ИльяИнженер-программист АСУТП. Учредитель / Руководитель компании
- Сформирован документ с уточненным перечнем требований заказчика;
- Участие в обсуждениях общих алгоритмов для решения поставленной задачи;
- Разметка части кадров из общего сформированного на группу датасета;
- Обучение нейросети на различных моделях YOLO v8(s, n, m, x) на общем датасете
- Горина Анастасияинженер-проектировщик
- Разработка модели UNET на пилотном датасете от заказчика;
- Обучение YOLO v8 на пилотном датасете от заказчика;
- Разметка части датасета в Roboflow;
- Применение встроенных в YOLOv8 трекеров для обученной модели
- Фадеев ЕвгенийИнженер-конструктор в филиале АО «ГКНПЦ им. М.В. Хруничева»
- Сегментация кадров датасета;
- Обучение модели с помощью Yolo V8 на размеченном датасета;
- Определение трещин на проверочном датасете с помощью обученной модели
- Лабзин ВячеславглавнЫЙ специалист по снабжению на комбайновом заводе «Ростсельмаш»
- Разметка датасета заказчика;
- Обучение YOLO 8 (частично)
- Еремин СергейСистемный администратор, ООО «Деревенское молочко»
- Работа с датасетом заказчика фильтрование некорректной разметки;
- Обучение U-Net на размеченном датасете заказчика;
- Подготовка датасета для YOLO;
- Разметка в RoboFlow;
- Обучение YOLO v8 на размеченном датасете;
- Обучение на большем датасете, включающий в себя размеченные изображения всех участников команды
- Шинин АндрейИП, фриланс, развитие собственных проектов / Создал мобильное приложение о танцевальных мероприятиях в русскоязычном пространстве
- Формирование кадров для разметки из исходного видео;
- Разметка в RoboFlow;
- Обучение YOLO v8 на размеченном датасете;
- Формирование YOLO v8 с выходом в виде видео, работа с трекингом;
- Подготовка сравнительного видео результатов работ YOLO v8;
- Разработка модели для определения глубины отпускания эндоскопа
- Михайлов Павелинженер слаботочных систем/консультации и монтаж слаботочных систем и ПО. Обслуживание ПК, СКС, СКУД и СВН
- Проработка вариантов подготовки данных для обучения нейронной сети;
- Подготовка и разметка вариантов датасетов в Roboflow;
- Проведение исследования работы различных нейросетей на разных наборах данных;
- Подготовка вариантов распознавания в YOLO v8;
- Проработка вариантов распознавания технической информации(глубины скважины) и сохранения данных из видео горного эндоскопа в файл с данными;
- Систематизауия данных по возможности распознавания видов дефектов в зависимости от их расположения. Добавление описания вариантов распознавания с учетом развертки изображения по глубине и окружности. (Создание карты скважины на плоскости по глубине)
- Лоенко ИринаИнженер садово-паркового и ландшафтного строительства, дизайнер
- Изучение инструмента Github и Roboflow для эффективной работой над проектом;
- Разметка изображений в датасете для подготовки данных к обучению;
- Предпроцессинг данных, включая аугментацию изображений, стандартизацию классов и выравнивание изображений;
- Реализация сегментации по маске на небольшом датасете для первоначальной проверки подхода;
- Применение нейросетей YOLO v8 n и YOLO v8s для сегментации с использованием размеченного датасета
- Гиллер Александринженер/3D-моделлер в проектном институте
- Ознакомление с теорией по сегментации изображений, а именно с различными моделями;
- Фильтрование датасета от заказчика для проведения тестирования ноутбука по сегментации изображений;
- Разметка датасета в roboflow;
- Обучение модели YOLO v8;
- Применение нейросетей YOLO v8 n и YOLO v8s для сегментации с использованием размеченного датасета
Демонстрация проекта
Благодарность университетУ