Стажировка по проекту
Создание ИИ-системы для диагностики и оценки технического состояния мостовых конструкций
Компания: ООО «Бридж-ит»
Суть проекта
Задача
Для чего
Вводные данные
Разработка системы для обнаружения и классификации дефектов мостовых конструкций с помощью методов машинного обучения и компьютерного зрения, а также в оценке технического состояния мостовых сооружений на основе выявленных неисправностей
Система сможет автоматически обнаруживать различные дефекты на мостовых конструкциях, классифицировать их, определять их положение и оценивать общее техническое состояние моста, используя анализ видеоряда и соответствующие датасеты
- Использование предоставленного заказчиком датасета для обучения модели
- Датасет содержит изображения конструкций мостов и дефектов мостов, а также соответствующие им классы
- Проведена интеграция с бэкенд и фронтенд-сервисами, такими как телеграм-боты и десктопные приложения, предлагающими различные формы отчетов
- Важным результатом стало применение нейро дефектолога, который с помощью ChatGPT-4 генерирует подробные отчеты о техническом состоянии мостовых конструкций и дает рекомендации по их обслуживанию
Выходные данные
Участники
1 команды проекта
1 команды проекта
- Терещенко АлексейТимлид проектаАлексей - руководитель группы разработчиков, отвечал за полную разработку проекта
- Малицкий АндрейПомощник Тимлида
- Как помощник тимлида оказывал поддержку в координации проектных задач и управлении командой, обеспечивая связь между тимлидом и стажерами;
- Разработан скрипт раскадровки видео. Использованы библиотеки: OpenCV, MoviePy;
- Разработан промпт для анализа изображений - каждый кадр отправляется через API в LMM ChatGpt 4o для получения текстовой справки о конкретных дефектах конструкций и общем состоянии моста;
- Разработан скрипт генерации PDF отчетов, включающий общий вывод о состоянии моста. Используемые библиотеки: ReportLab, PyPDF2;
- Разработан telegram-бот, который позволяет пользователям отправлять видео, получать анализ и итоговый отчет о состоянии моста в сообщении бота и в формате ссылки на PDF файл
- Аленникова ЕленаПомощник ТимлидаЕлена помогала руководителю команды организовывать процесс разработки проекта
- Готова НатальяИсполнительный директор Ассоциации содействия производителям интеллектуальных систем в электроэнергетике и ЖКХ «ИНСИСТ ЭНЕРГО», также сотрудничаю с Ассоциацией НП ТСО
- Обучение нейросетей для получения весов при детекции конструкций и детекции дефектов на YOLOv10 и на YOLOv8;
- Разработка бэкенд-фронтенд на фреймворке Flask, YOLO-скрипт, выполняющий разметку видео в ограничивающих рамках детекции, сокращение тяжелого файла до разметки только дефектов, декодирование для проигрывания в браузерном плеере склеенный файлов, подготовку отчета о классах, локации и количестве дефектов, Index.html, отвечающий за действия на клиентском сервере (передача действий пользователя, прием файлов от бэкенда, кнопки загрузить видео, смотреть дефекты, загрузить отчет в формате текст);
- Подготовка презентации проекта стажировки
- Юмангулов РусланАналитик
- Разметка данных при помощи инструмента Label Studio - выявление на фото определённых классы дефектов;
- Обучение модели НС на базе Ultralytics YOLOv8s по наиболее объёмным размеченным классам дефектов;
- Реализация интеграционного в Телеграм-боте, который принимает от пользователя фото или видео мостовой конструкции с предполагаемыми дефектами, и получает обратно фото или видео с детектированными классами дефектов и их текстовым перечислением
- Михеев ДмитрийВрач-рентгенолог в СПб ГБУЗ городской клинический онкологический диспансер
- Разметка датасета на классы: Выбоины в покрытии, Выщелачивание, Деградационное разрушение бетона поверхностное, Коррозия арматуры, Недостаточный защитный слой арматуры), Конструкции моста. Суммарно более 2000 изображений;
- Обучение модели Ultralytics YOLOv8s
- Корнеев ОлегКонсультант-аналитик
- Разметка данных (повреждения ковра мощения, конструкция2-промежуточная опора) инструментом Label Studio посредством Bounding Boxes;
- Обучение модели Ultralytics YOLOv8;
- Создание модели обнаружения на фото классов (выделение цветом): Опора промежуточная, Пролетное строение (металлическое), Пролетное строение (сталежелезобетонное), Узел опирания
- Румянцева Светлана
- Разметка данных - сегментация, 561 изображение;
- Обучение нескольких моделей Ultralytics YOLOv8
Участники
2 команды проекта
2 команды проекта
- Николай КусТимлид проекта
- Вологдин СтаниславИнженер разработчик ПО
- Разработал и обучил модели для обнаружения дефектов мостов с использованием YOLOv8, интегрировав эти решения в веб-приложение
- Оптимизировал процесс классификации дефектов и повысил точность моделей через тщательную настройку гиперпараметров и использование аугментаций
- Успешно реализовал решения для обработки видео с детекцией дефектов мостовых конструкций
- Создал веб-приложение для визуализации и анализа результатов, которое позволяет загружать видео, обрабатывать его с помощью обученных моделей, а затем скачивать результаты анализа
- Разработал и внедрил серверную инфраструктуру для развертывания моделей на основе FastAPI и Ngrok, обеспечив удобный доступ к результатам обработки данных
- Догановский ИванАвиатехник салонного и кабинного оборудования в ООО «С7 инжиниринг»
- Разметил датасет, предоставленный заказчиком.
- Подготовил и обучил тестовые модели на базе Yolov8, для предварительно размеченных классов
- Модифицировал датасет заказчика путём его аугментации
- Подготовил скрипт конвертирующий видеофайл в пакет данных на основе результатов работы нейронной сети, в соответствии с техническим заданием заказчика
- Санакин АндрейСтроитель
- Разметил датасет, предоставленный заказчиком
- Участвовал в подготовке датасета
- Оптимизировал процесс классификации дефектов и повысил точность моделей через тщательную настройку гиперпараметров и использование аугментаций
- Успешно реализовал решения для обработки видео с детекцией дефектов мостовых конструкций
- Свечников АлександрК. с.-х.н., н.с. отд. технологий возделывания с.-х. культур
- Разметил датасет, предоставленный заказчиком
- Участвовал в подготовке датасета
- Подготовил и обучил тестовые модели на базе Yolov8, для предварительно размеченных классов с использованием видеодетекции и трекинга
- Дохова ДианаЮрист
- Разметила датасет, предоставленный заказчиком.
- Участвовала в подготовке датасета
- Подготовила и обучила тестовые модели на базе Yolov8, для предварительно размеченных классов
- Провела серию экспериментов по обучению моделей на датасетах с различными стилями разметки данных, при этом использовалась одна и та же архитектура. Был выполнен сравнительный анализ результатов обучения моделей. В результате этого анализа был выявлен наиболее эффективный тип разметки для определенных классов, что позволило существенно повысить точность и эффективность обучения моделей
- Воронин МаксимСпециалист отдела методологии и сопровождения цифрового проектирования и конструирования АО ЦПТИ «Росатом»
- Разметил датасет, предоставленный заказчиком.
- Участвовал в подготовке датасета
- Разработал и обучил модели на классах с использованием YOLOv8
- Оптимизировал процесс классификации дефектов и повысил точность моделей через тщательную настройку гиперпараметров и использование аугментаций
- Реализовывал решения для обработки видео с детекцией дефектов мостовых конструкций и записи их формат, соответствующий ТЗ заказчика
- Гринина ЕленаМастер ногтевого сервиса
- Разметила датасет, предоставленный заказчиком
- Участвовала в подготовке датасета
- Разработала и обучила модели с использованием YOLOv8. Провела ряд экспериментов по обучению моделей с выявлением наилучших результатов и проверкой детекции на видеопотоке, с использованием аугментацию датасета и настройку гиперпараметров для повышения точности моделей
- Пономарев НиколайОператор постпечатного оборудования
- Разметил датасет, предоставленный заказчиком.
- Участвовал в подготовке датасета
- Разработал скрипт для объединения датасетов, содержащих различные классы
- Разработал скрипт для аугментации и балансировки датасетов
- Подготовил и обучил тестовые модели на базе Yolov8, для предварительно размеченных классов
- Ильичев ВладимирКоммерческий директор Главпечьторг
- Разметил датасет, предоставленный заказчиком
- Участвовал в подготовке датасета
- Подготовил и обучил тестовые модели на базе Yolov8 и Yolov5, для предварительно размеченных классов
- Провел ряд экспериментов на этих классах с использованием аугументации и настройками гипрепараметров для получения большей точности моделей
- Березин НиколайПреподаватель программирования\геймдизайна для детей
- Разметил датасет, предоставленный заказчиком
- Участвовал в подготовке датасета
- Подготовил и обучил тестовые модели на базе Yolov8 для предварительно размеченных классов
- Провел ряд экспериментов на этих классах с использованием аугументации и настройками гипрепараметров для получения большей точности моделей
- Игнатьев ПавелДиректор по развитию - управляющий партнер
- Разметил датасет, предоставленный заказчиком.
- Участвовал в подготовке датасета
- Подготовил и обучил тестовые модели на базе Yolov8 для предварительно размеченных классов
- Провел ряд экспериментов на этих классах с использованием аугументации и настройками гипрепараметров для получения большей точности моделей
- Гридасова ИринаУчитель математики в средней школе
- Разметила датасет, предоставленный заказчиком
- Участвовала в подготовке датасета
- Привалов АлександрСамозанятый по ремонту, настройке и обслуживанию ПК и софта
- Разметил датасет, предоставленный заказчиком.
- Участвовал в подготовке датасета
- Подготовил и обучил тестовые модели на базе Yolov8 для предварительно размеченных классов
Благодарность университетУ