Стажировка по проекту
Нейропомощник при диагностике и определении оценки технического состояния дорожных конструкций
Компания: ООО «Бридж-ит»
Суть проекта
Задача
Для чего
Вводные данные
Разработка системы для обнаружения и классификации дефектов мостовых конструкций с помощью методов машинного обучения и компьютерного зрения, а также в оценке технического состояния мостовых сооружений на основе выявленных неисправностей
Система сможет автоматически обнаруживать различные дефекты на мостовых конструкциях, классифицировать их, определять их положение и оценивать общее техническое состояние моста, используя анализ видеоряда и соответствующие датасеты
  • Использование предоставленного заказчиком датасета для обучения модели
  • Датасет содержит изображения конструкций мостов и дефектов мостов, а также соответствующие им классы
  • Проведена интеграция с бэкенд и фронтенд-сервисами, такими как телеграм-боты и десктопные приложения, предлагающими различные формы отчетов
  • Важным результатом стало применение нейро дефектолога, который с помощью ChatGPT-4 генерирует подробные отчеты о техническом состоянии мостовых конструкций и дает рекомендации по их обслуживанию
Выходные данные
Участники
1 команды проекта
  • Терещенко Алексей
    Тимлид проекта
    Алексей - руководитель группы разработчиков, отвечал за полную разработку проекта
  • Малицкий Андрей
    Помощник Тимлида
    • Как помощник тимлида оказывал поддержку в координации проектных задач и управлении командой, обеспечивая связь между тимлидом и стажерами;
    • Разработан скрипт раскадровки видео. Использованы библиотеки: OpenCV, MoviePy;
    • Разработан промпт для анализа изображений - каждый кадр отправляется через API в LMM ChatGpt 4o для получения текстовой справки о конкретных дефектах конструкций и общем состоянии моста;
    • Разработан скрипт генерации PDF отчетов, включающий общий вывод о состоянии моста. Используемые библиотеки: ReportLab, PyPDF2;
    • Разработан telegram-бот, который позволяет пользователям отправлять видео, получать анализ и итоговый отчет о состоянии моста в сообщении бота и в формате ссылки на PDF файл
  • Аленникова Елена
    Помощник Тимлида
    Елена помогала руководителю команды организовывать процесс разработки проекта
  • Готова Наталья
    Исполнительный директор Ассоциации содействия производителям интеллектуальных систем в электроэнергетике и ЖКХ «ИНСИСТ ЭНЕРГО», также сотрудничаю с Ассоциацией НП ТСО
    • Обучение нейросетей для получения весов при детекции конструкций и детекции дефектов на YOLOv10 и на YOLOv8;
    • Разработка бэкенд-фронтенд на фреймворке Flask, YOLO-скрипт, выполняющий разметку видео в ограничивающих рамках детекции, сокращение тяжелого файла до разметки только дефектов, декодирование для проигрывания в браузерном плеере склеенный файлов, подготовку отчета о классах, локации и количестве дефектов, Index.html, отвечающий за действия на клиентском сервере (передача действий пользователя, прием файлов от бэкенда, кнопки загрузить видео, смотреть дефекты, загрузить отчет в формате текст);
    • Подготовка презентации проекта стажировки
  • Юмангулов Руслан
    Аналитик
    • Разметка данных при помощи инструмента Label Studio - выявление на фото определённых классы дефектов;
    • Обучение модели НС на базе Ultralytics YOLOv8s по наиболее объёмным размеченным классам дефектов;
    • Реализация интеграционного в Телеграм-боте, который принимает от пользователя фото или видео мостовой конструкции с предполагаемыми дефектами, и получает обратно фото или видео с детектированными классами дефектов и их текстовым перечислением
  • Михеев Дмитрий
    Врач-рентгенолог в СПб ГБУЗ городской клинический онкологический диспансер
    • Разметка датасета на классы: Выбоины в покрытии, Выщелачивание, Деградационное разрушение бетона поверхностное, Коррозия арматуры, Недостаточный защитный слой арматуры), Конструкции моста. Суммарно более 2000 изображений;
    • Обучение модели Ultralytics YOLOv8s
  • Корнеев Олег
    Консультант-аналитик
    • Разметка данных (повреждения ковра мощения, конструкция2-промежуточная опора) инструментом Label Studio посредством Bounding Boxes;
    • Обучение модели Ultralytics YOLOv8;
    • Создание модели обнаружения на фото классов (выделение цветом): Опора промежуточная, Пролетное строение (металлическое), Пролетное строение (сталежелезобетонное), Узел опирания
  • Румянцева Светлана
    • Разметка данных - сегментация, 561 изображение;
    • Обучение нескольких моделей Ultralytics YOLOv8
Благодарность университетУ