Стажировка по проекту
Компания: ООО «Айтион»
СОЗДАНИЕ СИСТЕМЫ
по поиску повреждений на кузовной части автомобиля и
нарушения геометрии
по поиску повреждений на кузовной части автомобиля и
нарушения геометрии
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Разработка системы на основе каскада нейросетей и алгоритмов компьютерного зрения для анализа и определения нарушений на кузове автомобилей
- Обработанные снимки с сегментацией повреждений и письменным описанием
- Выполненная разметка набора данных на целевые классы сегментации
- Разработанные скрипты и модели нейронных сетей семантической сегментации частей кузова отдельных марок автомобилей от производителей Lada, Volkswagen, Toyota, Renault, Hyundai со средней точностью 90%
Датасеты из открытых источников
Применение в приложении для подбора автомобиля
Участники
1 команды проекта
1 команды проекта
- Терещенко АлексейТимлид проектаАлексей — руководитель группы разработчиков, отвечал за проект
- Прохоренко ЕвгенийПомощник тимлидаЕвгений помогал руководителю команды организовывать процесс разработки проекта
- Маевский АндрейРуководитель отдела морской робототехники СПбГМТУ
- Сборка и разметка датасета с сегментацией автомобильных элементов
- Обработка датасета с использованием библиотеки OpenCV для соответствия заказчика
- Подбор и обучение моделей YOLO с настройкой параметров
- Обучение нейронной сети для классификации автомобильных сегментов
- Создание единого скрипта, объединяющего предобработку изображения, модель обнаружения повреждений и сегментации автомобиля
- Представление проекта заказчику
- Каргальцев ВладиславТоп-менеджер в сфере инвестиций и консалтинга
- Поиск и анализ подходящих датасетов в открытых источниках
- Работа с инструментами Roboflow и CVAT для корректировки датасетов, включая эксперименты с количеством классов повреждений и деталей автомобиля и аннотацией повреждений
- Обучение моделей YOLOv8 на подготовленных датасетах
- Анализ последних новшеств в области компьютерного зрения и обнаружения объектов, включая применение GPT-4 Vision, YOLO, SAM и LangSam
- Исследования в области автоматической сегментации и дообучения на базе предобученных моделей SAM и LangSam
- Широкова ЭлинаСпециалист по поддержке Scala ERP
- Исследование автоматической разметки частей автомобиля и видов повреждений с использованием методов YOLO+SAM и LangSAM
- Обработка датасета DNT, включая реклассификацию, чистку и обучение модели
- Решение задачи объединения полигонов: части дверей в датасете с частями автомобиля с использованием библиотеки OpenCV
- Сбор датасета с повреждениями из общедоступных наборов на Roboflow, включая реклассификацию под список классов заказчика и разметку/доразметку, хотя результаты обучения модели были неудачными
- Обработка набора изображений с частями автомобиля от заказчика, включая реклассификацию под список классов заказчика и разметку/доразметку
- Создание скрипта для оценки качества изображений
- Создание скрипта для итоговой обработки изображений, включая оценку качества, сегментацию повреждений, сегментацию частей автомобиля и определение частей автомобиля с повреждениями
- Комляков Денис
ИТ-рекрутер- Сбор датасета по повреждениям, и очистка датасета повреждений
- Обучение модели по поиску повреждений
- Создание финального скрипта для обработки фото и получения данных о повреждениях на частях автомобиля
- Участие в разработке архитектуры решения.
- Обучение модели на поиск повреждений.
- Подготовка финального приложения для демонстрации заказчику
- Старкова Натальяинженер-сметчик
- Подготовка датасета, включая разметку повреждений автомобиля и корректировку разметки
- Обучение сети YOLOv8 на различных неочищенных датасетах с разным количеством классов для оценки предварительной точности распознавания
- Проведение эксперимента по разметке частей автомобиля с использованием весов предварительно обученной сети, хотя результаты могли быть неудачными
- Губанов ВадимСотрудник подразделения транспортной безопасности
- Ознакомление с программами Tensorflow.Keras, Ultralytics Yolo и SAM, а также установка Python версии 3.12
- Анализ и обработка изображений с названием «dnt» в инструментах Roboflow и YOLOv8
- Изучение процесса FineTuning с использованием модели SAM и работа с инструментом CVAT для разметки данных.
Участники
2 команды проекта
2 команды проекта
- Шукейр АбдаллаIT-специалист
- Анализ задачи, поиск современных путей решения
- Предварительная обработка изображений с помощью OpenCV
- Разметка датасета для детекции объектов, использование CVAT и Roboflow
- Тренировка и настройка модели YOLOv8 от Ultralytics для распознавания частей кузова автомобиля
- Применение Roboflow для разметки изображений и подготовки к семантической сегментации
- Обучение модели YOLOv8 на сегментацию кузова автомобиля, интеграция с сервисами AutoDistill и Grounded SAM
- Монтаж видеодемонстрации о стажировке
- Кочергин ИванСистемный администратор
- Анализ задачи и поиск путей решения, работа с данными
- Сбор и аннотация фотографий автомобиля через Roboflow
- Разработка и тестирование CNN для классификации ракурсов
- Создание и обучение моделей U-Net и Resnet для семантической сегментации частей кузова
- Подбор гиперпараметров нейронной сети для повышения точности
- Оформление итогового отчета по результатам стажировки
- Крестников ДмитрийЮрист
- Сбор и подготовка датасета для сегментации
- Предварительная обработка изображений с помощью OpenCV
- Аннотация датасета в Roboflow
- Тренировка и настройка модели YOLOv8 от Ultralytics для решения задачи обнаруения
- Обучение модели YOLOv8-seg на сегментацию кузова автомобиля, использование AutoDistill и Grounded SAM
- Отчётность о работе в видео презентации
- Брянский НикитаСпециалист в сфере охраны объектов культурного и природного наследия
- Анализ данных и сбор датасета;
- Практика работы с OpenCV, аугментация изображений;
- Аннотация через Roboflow: классификация и разметка;
- Обучение и подбор гиперпараметров моделей CNN (U-net);
- Визуализация результатов обучения с помощью Matplotlib
- Лузихин МихаилНачальник IT-департамента
- Установка пакетов Autodistill, YOLOv8 для обучения моделей;
- Создание онтологий для авторазметки датасета - GroundedSAM, Autodistill;
- Аннотация и подготовка данных с помощью Roboflow;
- Обучение целевой модели сегментации YOLOv8 на дистиллированном датасете;
- Оценка и анализ результатов обучения модели с помощью Matplotlib, IPython
- Шляхтенко МарияЗаместитель генерального директора по экономике и финансам
- Сбор и аннотация датасета через сервис Roboflow;
- Обучение модели сегментации yolov8s-seg;
- Подбор гиперпараметров обучения для Ultralytics yolov8s-seg;
- Анализ результатов на валидационной и тестовых выборках;
- Визуализация сегментации и вероятностей классов с помощью Matplotlib, CV2;
- Предложения по улучшению точности модели: расширение датасета, эксперименты с ракурсами и модификациями авто
- Аладина ЕленаТехнолог
- Чтение и редактирование кода на Python;
- Сбор датасета и разметка через Roboflow;
- Обучение модели сегментации Ultralytics YOLOv8s-seg;
- Тестирование модели на загруженных фото, проверка эффективности обучения;
- Анализ результатов обучения с помощью Matplotlib и Confusion Matrix
- Якубовский СвятославФрезеровщик
- Сбор и подготовка датасета из общедоступных источников;
- Разметка и аугментация данных с помощью Roboflow;
- Обучение модели YOLOv8 для сегментации, использование Ultralytics HUB для предобучения;
- Проверка модели на валидационной и тестовой выборках;
- Анализ результатов обучения с помощью Matplotlib, Confusion Matrix
Демонстрация проекта 1 команды
Демонстрация проекта 2 команды
Благодарность университетУ