Стажировка по проекту
Нейропомощник при диагностике и определении оценки технического состояния дорожных конструкций
Компания: ООО «Бридж-ит»
Суть проекта
Задача
Для чего
Вводные данные
Разработка системы для обнаружения и классификации дефектов мостовых конструкций с помощью методов машинного обучения и компьютерного зрения, а также в оценке технического состояния мостовых сооружений на основе выявленных неисправностей
Система сможет автоматически обнаруживать различные дефекты на мостовых конструкциях, классифицировать их, определять их положение и оценивать общее техническое состояние моста, используя анализ видеоряда и соответствующие датасеты
- Использование предоставленного заказчиком датасета для обучения модели
- Датасет содержит изображения конструкций мостов и дефектов мостов, а также соответствующие им классы
- Проведена интеграция с бэкенд и фронтенд-сервисами, такими как телеграм-боты и десктопные приложения, предлагающими различные формы отчетов
- Важным результатом стало применение нейро дефектолога, который с помощью ChatGPT-4 генерирует подробные отчеты о техническом состоянии мостовых конструкций и дает рекомендации по их обслуживанию
Выходные данные
Участники
1 команды проекта
1 команды проекта
- Терещенко АлексейТимлид проектаАлексей - руководитель группы разработчиков, отвечал за полную разработку проекта
- Малицкий АндрейПомощник Тимлида
- Как помощник тимлида оказывал поддержку в координации проектных задач и управлении командой, обеспечивая связь между тимлидом и стажерами;
- Разработан скрипт раскадровки видео. Использованы библиотеки: OpenCV, MoviePy;
- Разработан промпт для анализа изображений - каждый кадр отправляется через API в LMM ChatGpt 4o для получения текстовой справки о конкретных дефектах конструкций и общем состоянии моста;
- Разработан скрипт генерации PDF отчетов, включающий общий вывод о состоянии моста. Используемые библиотеки: ReportLab, PyPDF2;
- Разработан telegram-бот, который позволяет пользователям отправлять видео, получать анализ и итоговый отчет о состоянии моста в сообщении бота и в формате ссылки на PDF файл
- Аленникова ЕленаПомощник ТимлидаЕлена помогала руководителю команды организовывать процесс разработки проекта
- Готова НатальяИсполнительный директор Ассоциации содействия производителям интеллектуальных систем в электроэнергетике и ЖКХ «ИНСИСТ ЭНЕРГО», также сотрудничаю с Ассоциацией НП ТСО
- Обучение нейросетей для получения весов при детекции конструкций и детекции дефектов на YOLOv10 и на YOLOv8;
- Разработка бэкенд-фронтенд на фреймворке Flask, YOLO-скрипт, выполняющий разметку видео в ограничивающих рамках детекции, сокращение тяжелого файла до разметки только дефектов, декодирование для проигрывания в браузерном плеере склеенный файлов, подготовку отчета о классах, локации и количестве дефектов, Index.html, отвечающий за действия на клиентском сервере (передача действий пользователя, прием файлов от бэкенда, кнопки загрузить видео, смотреть дефекты, загрузить отчет в формате текст);
- Подготовка презентации проекта стажировки
- Юмангулов РусланАналитик
- Разметка данных при помощи инструмента Label Studio - выявление на фото определённых классы дефектов;
- Обучение модели НС на базе Ultralytics YOLOv8s по наиболее объёмным размеченным классам дефектов;
- Реализация интеграционного в Телеграм-боте, который принимает от пользователя фото или видео мостовой конструкции с предполагаемыми дефектами, и получает обратно фото или видео с детектированными классами дефектов и их текстовым перечислением
- Михеев ДмитрийВрач-рентгенолог в СПб ГБУЗ городской клинический онкологический диспансер
- Разметка датасета на классы: Выбоины в покрытии, Выщелачивание, Деградационное разрушение бетона поверхностное, Коррозия арматуры, Недостаточный защитный слой арматуры), Конструкции моста. Суммарно более 2000 изображений;
- Обучение модели Ultralytics YOLOv8s
- Корнеев ОлегКонсультант-аналитик
- Разметка данных (повреждения ковра мощения, конструкция2-промежуточная опора) инструментом Label Studio посредством Bounding Boxes;
- Обучение модели Ultralytics YOLOv8;
- Создание модели обнаружения на фото классов (выделение цветом): Опора промежуточная, Пролетное строение (металлическое), Пролетное строение (сталежелезобетонное), Узел опирания
- Румянцева Светлана
- Разметка данных - сегментация, 561 изображение;
- Обучение нескольких моделей Ultralytics YOLOv8
Благодарность университетУ