Стажировка по проекту
Компания: ООО «Айтион»
СОЗДАНИЕ СИСТЕМЫ
по поиску повреждений на кузовной части автомобиля и
нарушения геометрии
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Разработка системы на основе каскада нейросетей и алгоритмов компьютерного зрения для анализа и определения нарушений на кузове автомобилей
Обработанные снимки с сегментацией повреждений и письменным описанием
Датасеты из открытых источников
Применение в приложении для подбора автомобиля
Участники
команды проекта
  • Терещенко Алексей
    Тимлид проекта
    Алексей — руководитель группы разработчиков, отвечал за проект
  • Прохоренко Евгений
    Помощник тимлида
    Евгений помогал руководителю команды организовывать процесс разработки проекта
  • Маевский Андрей
    Руководитель отдела морской робототехники СПбГМТУ
    • Сборка и разметка датасета с сегментацией автомобильных элементов
    • Обработка датасета с использованием библиотеки OpenCV для соответствия заказчика
    • Подбор и обучение моделей YOLO с настройкой параметров
    • Обучение нейронной сети для классификации автомобильных сегментов
    • Создание единого скрипта, объединяющего предобработку изображения, модель обнаружения повреждений и сегментации автомобиля
    • Представление проекта заказчику
  • Каргальцев Владислав
    Топ-менеджер в сфере инвестиций и консалтинга
    • Поиск и анализ подходящих датасетов в открытых источниках
    • Работа с инструментами Roboflow и CVAT для корректировки датасетов, включая эксперименты с количеством классов повреждений и деталей автомобиля и аннотацией повреждений
    • Обучение моделей YOLOv8 на подготовленных датасетах
    • Анализ последних новшеств в области компьютерного зрения и обнаружения объектов, включая применение GPT-4 Vision, YOLO, SAM и LangSam
    • Исследования в области автоматической сегментации и дообучения на базе предобученных моделей SAM и LangSam
  • Широкова Элина
    Специалист по поддержке Scala ERP
    • Исследование автоматической разметки частей автомобиля и видов повреждений с использованием методов YOLO+SAM и LangSAM
    • Обработка датасета DNT, включая реклассификацию, чистку и обучение модели
    • Решение задачи объединения полигонов: части дверей в датасете с частями автомобиля с использованием библиотеки OpenCV
    • Сбор датасета с повреждениями из общедоступных наборов на Roboflow, включая реклассификацию под список классов заказчика и разметку/доразметку, хотя результаты обучения модели были неудачными
    • Обработка набора изображений с частями автомобиля от заказчика, включая реклассификацию под список классов заказчика и разметку/доразметку
    • Создание скрипта для оценки качества изображений
    • Создание скрипта для итоговой обработки изображений, включая оценку качества, сегментацию повреждений, сегментацию частей автомобиля и определение частей автомобиля с повреждениями
  • Комляков Денис
    ИТ-рекрутер
    • Сбор датасета по повреждениям, и очистка датасета повреждений
    • Обучение модели по поиску повреждений
    • Создание финального скрипта для обработки фото и получения данных о повреждениях на частях автомобиля
    • Участие в разработке архитектуры решения.
    • Обучение модели на поиск повреждений.
    • Подготовка финального приложения для демонстрации заказчику
  • Старкова Наталья
    инженер-сметчик
    • Подготовка датасета, включая разметку повреждений автомобиля и корректировку разметки
    • Обучение сети YOLOv8 на различных неочищенных датасетах с разным количеством классов для оценки предварительной точности распознавания
    • Проведение эксперимента по разметке частей автомобиля с использованием весов предварительно обученной сети, хотя результаты могли быть неудачными
  • Губанов Вадим
    Сотрудник подразделения транспортной безопасности
    • Ознакомление с программами Tensorflow.Keras, Ultralytics Yolo и SAM, а также установка Python версии 3.12
    • Анализ и обработка изображений с названием «‎dnt» в инструментах Roboflow и YOLOv8
    • Изучение процесса FineTuning с использованием модели SAM и работа с инструментом CVAT для разметки данных.
Демонстрация проекта команды