Стажировка по проекту
Создание ИИ-системы для диагностики и оценки технического состояния мостовых конструкций
Компания: ООО «Бридж-ит»
Суть проекта
Задача
Для чего
Вводные данные
Разработка системы для обнаружения и классификации дефектов мостовых конструкций с помощью методов машинного обучения и компьютерного зрения, а также в оценке технического состояния мостовых сооружений на основе выявленных неисправностей
Система сможет автоматически обнаруживать различные дефекты на мостовых конструкциях, классифицировать их, определять их положение и оценивать общее техническое состояние моста, используя анализ видеоряда и соответствующие датасеты
  • Использование предоставленного заказчиком датасета для обучения модели
  • Датасет содержит изображения конструкций мостов и дефектов мостов, а также соответствующие им классы
  • Проведена интеграция с бэкенд и фронтенд-сервисами, такими как телеграм-боты и десктопные приложения, предлагающими различные формы отчетов
  • Важным результатом стало применение нейро дефектолога, который с помощью ChatGPT-4 генерирует подробные отчеты о техническом состоянии мостовых конструкций и дает рекомендации по их обслуживанию
Выходные данные
Участники
1 команды проекта
  • Терещенко Алексей
    Тимлид проекта
    Алексей - руководитель группы разработчиков, отвечал за полную разработку проекта
  • Малицкий Андрей
    Помощник Тимлида
    • Как помощник тимлида оказывал поддержку в координации проектных задач и управлении командой, обеспечивая связь между тимлидом и стажерами;
    • Разработан скрипт раскадровки видео. Использованы библиотеки: OpenCV, MoviePy;
    • Разработан промпт для анализа изображений - каждый кадр отправляется через API в LMM ChatGpt 4o для получения текстовой справки о конкретных дефектах конструкций и общем состоянии моста;
    • Разработан скрипт генерации PDF отчетов, включающий общий вывод о состоянии моста. Используемые библиотеки: ReportLab, PyPDF2;
    • Разработан telegram-бот, который позволяет пользователям отправлять видео, получать анализ и итоговый отчет о состоянии моста в сообщении бота и в формате ссылки на PDF файл
  • Аленникова Елена
    Помощник Тимлида
    Елена помогала руководителю команды организовывать процесс разработки проекта
  • Готова Наталья
    Исполнительный директор Ассоциации содействия производителям интеллектуальных систем в электроэнергетике и ЖКХ «ИНСИСТ ЭНЕРГО», также сотрудничаю с Ассоциацией НП ТСО
    • Обучение нейросетей для получения весов при детекции конструкций и детекции дефектов на YOLOv10 и на YOLOv8;
    • Разработка бэкенд-фронтенд на фреймворке Flask, YOLO-скрипт, выполняющий разметку видео в ограничивающих рамках детекции, сокращение тяжелого файла до разметки только дефектов, декодирование для проигрывания в браузерном плеере склеенный файлов, подготовку отчета о классах, локации и количестве дефектов, Index.html, отвечающий за действия на клиентском сервере (передача действий пользователя, прием файлов от бэкенда, кнопки загрузить видео, смотреть дефекты, загрузить отчет в формате текст);
    • Подготовка презентации проекта стажировки
  • Юмангулов Руслан
    Аналитик
    • Разметка данных при помощи инструмента Label Studio - выявление на фото определённых классы дефектов;
    • Обучение модели НС на базе Ultralytics YOLOv8s по наиболее объёмным размеченным классам дефектов;
    • Реализация интеграционного в Телеграм-боте, который принимает от пользователя фото или видео мостовой конструкции с предполагаемыми дефектами, и получает обратно фото или видео с детектированными классами дефектов и их текстовым перечислением
  • Михеев Дмитрий
    Врач-рентгенолог в СПб ГБУЗ городской клинический онкологический диспансер
    • Разметка датасета на классы: Выбоины в покрытии, Выщелачивание, Деградационное разрушение бетона поверхностное, Коррозия арматуры, Недостаточный защитный слой арматуры), Конструкции моста. Суммарно более 2000 изображений;
    • Обучение модели Ultralytics YOLOv8s
  • Корнеев Олег
    Консультант-аналитик
    • Разметка данных (повреждения ковра мощения, конструкция2-промежуточная опора) инструментом Label Studio посредством Bounding Boxes;
    • Обучение модели Ultralytics YOLOv8;
    • Создание модели обнаружения на фото классов (выделение цветом): Опора промежуточная, Пролетное строение (металлическое), Пролетное строение (сталежелезобетонное), Узел опирания
  • Румянцева Светлана
    • Разметка данных - сегментация, 561 изображение;
    • Обучение нескольких моделей Ultralytics YOLOv8
Участники
2 команды проекта
  • Николай Кус
    Тимлид проекта
  • Вологдин Станислав
    Инженер разработчик ПО
    • Разработал и обучил модели для обнаружения дефектов мостов с использованием YOLOv8, интегрировав эти решения в веб-приложение
    • Оптимизировал процесс классификации дефектов и повысил точность моделей через тщательную настройку гиперпараметров и использование аугментаций
    •  Успешно реализовал решения для обработки видео с детекцией дефектов мостовых конструкций
    • Создал веб-приложение для визуализации и анализа результатов, которое позволяет загружать видео, обрабатывать его с помощью обученных моделей, а затем скачивать результаты анализа
    • Разработал и внедрил серверную инфраструктуру для развертывания моделей на основе FastAPI и Ngrok, обеспечив удобный доступ к результатам обработки данных
  • Догановский Иван
    Авиатехник салонного и кабинного оборудования в ООО «С7 инжиниринг»
    • Разметил датасет, предоставленный заказчиком.
    • Подготовил и обучил тестовые модели на базе Yolov8, для предварительно размеченных классов
    • Модифицировал датасет заказчика путём его аугментации
    • Подготовил скрипт конвертирующий видеофайл в пакет данных на основе результатов работы нейронной сети, в соответствии с техническим заданием заказчика
  • Санакин Андрей
    Строитель
    • Разметил датасет, предоставленный заказчиком
    • Участвовал в подготовке датасета
    • Оптимизировал процесс классификации дефектов и повысил точность моделей через тщательную настройку гиперпараметров и использование аугментаций
    • Успешно реализовал решения для обработки видео с детекцией дефектов мостовых конструкций
  • Свечников Александр
    К. с.-х.н., н.с. отд. технологий возделывания с.-х. культур
    • Разметил датасет, предоставленный заказчиком
    • Участвовал в подготовке датасета
    • Подготовил и обучил тестовые модели на базе Yolov8, для предварительно размеченных классов с использованием видеодетекции и трекинга
  • Дохова Диана
    Юрист
    • Разметила датасет, предоставленный заказчиком.
    • Участвовала в подготовке датасета
    • Подготовила и обучила тестовые модели на базе Yolov8, для предварительно размеченных классов
    • Провела серию экспериментов по обучению моделей на датасетах с различными стилями разметки данных, при этом использовалась одна и та же архитектура. Был выполнен сравнительный анализ результатов обучения моделей. В результате этого анализа был выявлен наиболее эффективный тип разметки для определенных классов, что позволило существенно повысить точность и эффективность обучения моделей
  • Воронин Максим
    Специалист отдела методологии и сопровождения цифрового проектирования и конструирования АО ЦПТИ «Росатом»
    • Разметил датасет, предоставленный заказчиком.
    • Участвовал в подготовке датасета
    • Разработал и обучил модели на классах с использованием YOLOv8
    • Оптимизировал процесс классификации дефектов и повысил точность моделей через тщательную настройку гиперпараметров и использование аугментаций
    • Реализовывал решения для обработки видео с детекцией дефектов мостовых конструкций и записи их формат, соответствующий ТЗ заказчика
  • Гринина Елена
    Мастер ногтевого сервиса
    • Разметила датасет, предоставленный заказчиком
    • Участвовала в подготовке датасета
    • Разработала и обучила модели с использованием YOLOv8. Провела ряд экспериментов по обучению моделей с выявлением наилучших результатов и проверкой детекции на видеопотоке, с использованием аугментацию датасета и настройку гиперпараметров для повышения точности моделей
  • Пономарев Николай
    Оператор постпечатного оборудования
    • Разметил датасет, предоставленный заказчиком.
    • Участвовал в подготовке датасета
    • Разработал скрипт для объединения датасетов, содержащих различные классы
    • Разработал скрипт для аугментации и балансировки датасетов
    • Подготовил и обучил тестовые модели на базе Yolov8, для предварительно размеченных классов
  • Ильичев Владимир
    Коммерческий директор Главпечьторг
    • Разметил датасет, предоставленный заказчиком
    • Участвовал в подготовке датасета
    • Подготовил и обучил тестовые модели на базе Yolov8 и Yolov5, для предварительно размеченных классов
    • Провел ряд экспериментов на этих классах с использованием аугументации и настройками гипрепараметров для получения большей точности моделей
  • Березин Николай
    Преподаватель программирования\геймдизайна для детей
    • Разметил датасет, предоставленный заказчиком
    • Участвовал в подготовке датасета
    • Подготовил и обучил тестовые модели на базе Yolov8 для предварительно размеченных классов
    • Провел ряд экспериментов на этих классах с использованием аугументации и настройками гипрепараметров для получения большей точности моделей
  • Игнатьев Павел
    Директор по развитию - управляющий партнер
    • Разметил датасет, предоставленный заказчиком.
    • Участвовал в подготовке датасета
    • Подготовил и обучил тестовые модели на базе Yolov8 для предварительно размеченных классов
    • Провел ряд экспериментов на этих классах с использованием аугументации и настройками гипрепараметров для получения большей точности моделей
  • Гридасова Ирина
    Учитель математики в средней школе
    • Разметила датасет, предоставленный заказчиком
    • Участвовала в подготовке датасета
  • Привалов Александр
    Самозанятый по ремонту, настройке и обслуживанию ПК и софта
    • Разметил датасет, предоставленный заказчиком.
    • Участвовал в подготовке датасета
    • Подготовил и обучил тестовые модели на базе Yolov8 для предварительно размеченных классов
Благодарность университетУ