Стажировка по проекту
Компания: ООО «СибАкадемСкан» производитель сканеров рентгеновского досмотра СРК «СибСкан-М1»
Система обнаружения запрещенных предметов на рентгеновских снимках
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Разработать систему рентгеновского контроля, используя установку «Сибскан-М1», с интеграцией нейронной сети для обнаружения запрещенных предметов и материалов на сканированных изображениях людей
Проект предоставляет два варианта интеграции и использования системы:
1 Разработано десктопное приложение с использованием библиотеки PyQt5;
2 Разработан API (интерфейс программирования приложений), который позволяет интегрировать систему рентгеновского контроля в другие десктопные приложения
1 Разработано десктопное приложение с использованием библиотеки PyQt5;
2 Разработан API (интерфейс программирования приложений), который позволяет интегрировать систему рентгеновского контроля в другие десктопные приложения
Файлы рентгена с установки «Сибскан-М1»
Безопасность: система создается для обеспечения безопасности на публичных местах, таможенных постах, аэропортах и других объектах, где необходим контроль за наличием запрещенных вещей и материалов.
Обнаружение угроз: система позволяет автоматически выявлять предметы, которые могут представлять угрозу для безопасности, такие как оружие, взрывчатые вещества и наркотики.
Эффективность: использование нейронной сети повышает точность обнаружения и снижает вероятность ложных срабатываний, связанных с человеческим фактором.
Автоматизация: система автоматизирует процесс анализа сканированных изображений, что обеспечивает более быстрый и эффективный контроль.
Расширяемость: при наличии соответствующего датасета система может быть дополнительно развита для обнаружения конкретных классов запрещенных предметов, повышая общий уровень безопасности
Обнаружение угроз: система позволяет автоматически выявлять предметы, которые могут представлять угрозу для безопасности, такие как оружие, взрывчатые вещества и наркотики.
Эффективность: использование нейронной сети повышает точность обнаружения и снижает вероятность ложных срабатываний, связанных с человеческим фактором.
Автоматизация: система автоматизирует процесс анализа сканированных изображений, что обеспечивает более быстрый и эффективный контроль.
Расширяемость: при наличии соответствующего датасета система может быть дополнительно развита для обнаружения конкретных классов запрещенных предметов, повышая общий уровень безопасности
Участники
1 команды проекта
1 команды проекта
- Терещенко АлексейТимлид проектаАлексей - руководитель группы разработчиков, отвечал за полную разработку проекта
- Алексеев ПавелUnity Developer / участвовал в разработке цифровой платформы музея РЖД
- Работа с датасетом: изменение исходных картинок, переформатирование для объединения с датасетом Roboflow;
- Применение фильтров для выявления скрытых признаков на изображении (фильтры Гаусса, Лапласа-Гаусса, Собеля, Гаусса-Фурье);
- Разметка датасета в программе Make Sense (разметка одного класса объектов);
- Обучение сети Yolo на размеченном датасете из jpg картинок;
- Создание десктопного приложения с интеграцией в него обученной нейросети Yolo и Sam;
- Обучение сети Yolo на уже размеченном втором датасете (с разметкой двух классов объектов);
- Интеграция нескольких вариантов нейросетей в приложение
- Резер АртемРаботал в сфере поставок маталлообрабатывающих станков с ЧПУ, инструмента и оснастки для машиностроения, проектирования технологических процессов на станках с ЧПУ
- Обучение на локальной GPU моделей Yolov8 на датасетах с одним и двумя классами объектов;
- Подготовка весов для встраивания в разрабатываемое в проекте десктопное приложение;
- Подбор гипер параметров, тестирование моделей;
- Анализ датасетов с применением специального парсера;
- Предобработка данных с использованием библиотеки Opencv;
- Разметка датасета с применением labelIng, CVAT
- Панфилов ДмитрийИнженер, Специалист больших данных / Работал в ЮАР старшим инженером-программистом
- Обучение YOLOv8s на DataSet-2 (от 300 до 500 эпох) через Anaconda Jupyter Notebook в Docker с GPU;
- Проектирование архитектуры интеграционного решения на FastAPI в Docker для тестирования работы на CPU, GPU и на Jetson Nano;
- Конфигурирование серверной части Системы с использованием GPU NVIDIA;
- GeForce RTX 3090 Ti под Linux, создание Docker-контейнеров разработанных решений;
- Создание прототипов клиентских приложений: Telegram-бот (AIOGram), WEB - сервис (JavaScript), настольные приложение (под Linux/Windows);
- Интеграция нейросетевых решений с CUDA в клиент-серверной архитектуре
- Кобызев ЮрийНачальник отдела информационных систем ООО СТЭККОМ (специалист по биллинговым системам операторов связи)
- Предобработка данных с использованием библиотеки OpenCV;
- Разметка датасета в программе Make Sense (разметка одного класса объектов);
- Обучение сеть Yolov8s для детекции, а также ее интеграции с блоком сегментации hq-sam;
- Подготовка весов для встраивания в разрабатываемое в проекте десктопное приложение
- Смирнов Даниилгеодезист: Занимается инженерно-геодезическими изысканими под строительство
- Разметка датасета в программе Make Sense;
- Применение фильтров для выявления скрытых признаков изображении;
- Подготовка данных для DETR модели;
- Обучение сети DETR на острове трансформеров
- Ткаченко романИнженер в лаборатории МИРЭА
- Применение фильтров для выявления скрытых признаков изображении;
- Разметка датасета в программе Make Sense;
- Обучение сети Yolo на размеченном датасете
- Максименко ДмитрийРаботает в ИТ: Эксперт по телекоммуникациям
- Применение фильтров для выявления скрытых признаков изображении;
- Разметка датасета в программе Make Sense;
- Обучение сети YOLO на размеченном датасете
- Зотова АнастасияData Science , Разработчик C++ / Python
- Разметка датасета с применением labelIng, CVAT;
- Применение фильтров для выявления скрытых признаков изображении;
- Подбор архитектуры и пайплайна, обучение и тестирование модели нейронной сети
Участники
2 команды проекта
2 команды проекта
- Назаров ДенисCTO в компании-разработчике SaaS, PaaS решений.
- Разметка датасета (инструмент CVAT);
- Сегментация запрещенных предметов с помощью Yolo V8 + SAM;
- Использование библиотеки KerasCV. Обучение модели Resnet + YOLO ;
- Создание Docker для обученной модели
- Ахтырский Геннадийинженер автомобильного транспорта
- Обработка оригинальных рентгеновских изображений для визуализации и разметки датасета;
- Разметка датасета (инструмент CVAT);
- Обучение Yolo V8 (модели small и nano);
- Использование библиотеки KerasCV Обучение модели «resnet50_imagenet»;
- Сегментация запрещенных предметов с помощью Yolo V8 + SAM;
- Создание приложения на PyQt 6 для работы модели;
- Создание Docker для обученной модели;
- Комраков АлексейИнженер-программист промышленных контроллеров
- Обработка исходного изображения для последующей разметки;
- Разметка обработанных рентгеновских снимков (инструмент CVAT);
- Обучение object detection модели YOLO 8n по полному датасету - 6711 снимков с проверкой на тестовой выборке;
- Работа над десктоп-приложением PyQt 6 для визуализации работы нейросети
- Гончаров ВасилийГлавный государственный таможенный инспектор
- Обработка исходного изображения для последующей разметки;
- Разметка обработанных рентгеновских снимков (инструмент CVAT);
- Обучение на полученных данных разных моделей Yolo v8n, Yolo v8s, Yolo v8m, Yolo v8l;
- Использование функционала библиотеки Keras CV как альтернативу yolov8;
- Создание приложения по обнаружению запрещенных предметов
- Питолин ДмитрийТимлид в IT / Data Science инженер
- Разметка опасных/не опасных предметов на снимках;
- Разметка датасета (инструмент CVAT);
- Создание скрипта сбора проверки готовой разметки со всех студенческих папок;
- Обучение на полученных данных разных моделей Yolo v8s;
- Разработка приложения API backend. Приложение работает в Docker-контейнере, получает входное изображение
- Осокин ЮрийУправляющий региональным дополнительным офисом банка Открытие
- Обработка исходного изображения для последующей разметки;
- Разметка обработанных рентгеновских снимков (инструмент CVAT);
- Обучение на полученных данных разных моделей Yolo v8n, Yolo v8s;
- Тестирование гипотезы использования других пред обученных моделей на основе использования библиотеки KerasCV;
- Создание приложения на PyQt 5, для работы модели;
- Создание Docker для обученной модели
- Соколов ПавелНачальник технической службы МРТ
- Обработка исходного изображения для последующей разметки;
- Разметка датасета (инструмент CVAT);
- Обучение Yolo V8 (модели small и nano)
- Кошелев Дмитрийсборка, настройка, обслуживание ПК / Проектированием и обслуживанием ЛВС / Настройкой и установкой серверов и сетевого оборудования
- Разметка датасета (инструмент CVAT);
- Написание детекции с использованием KerasCV;
- Изучение PyQt;
- Изучение Docker
- Широкова Элинаспециалист по поддержке Scala ERP
- Разметка обработанных рентгеновских снимков (инструмент CVAT);
- Обучение на полученных данных разных моделей Yolo v8n, обучение модели YOLO v8s;
- Использование библиотеки KerasCV; создание, обучение тренировочной модели на базе YOLO backbone+YOLOtask
- Ляшенко ДмитрийВеб-разработчик в ООО УФС
- Разметка обработанных рентгеновских снимков (инструмент CVAT);
- Обучение на полученных данных разных моделей Yolo v8s;
- Использование библиотеки KerasCV
- Попов АлександрПредприниматель, инженер: Работает в сфере недвижимости, архитектуры и дизайна
- Выделение шума с помощью нейросети типа сверточный автокодировщик;
- Распознавание объектов с помощью нейросети Yolo v8
Участники
3 команды проекта
3 команды проекта
- Калюжный ДенисСистемный администратор
- Написание фильтров для обработки исходных изображений;
- Обработка исходных изображений и распределение по участникам команды;
- Разметка запрещенных предметов на предоставленных снимках с помощью инструмента CVAT;
- Написание скрипта для автоматизированной сборки полного датасета с mail облака с формированием исходных каталогов;
- Обучение YOLO;
- Сегментация запрещенных предметов с помощью SAM-HQ;
- Написание демонстрационного приложения для интеграции с использованием PyQT6
- Мылов СергейГлавный электрик в крупном инвестиционном проекте
- Разметка запрещенных предметов на предоставленных снимках с помощью инструмента CVAT;
- Разделение размеченного датасета на тренировочную, проверочную и тестовую выборки обучение YOLO v8 на подготовленном датасете;
- Вывод результатов предсказания обученной модели на изображениях тестовой выборки
- Уразова ЮлияСММ-специалист, таргетолог, директолог
- На рентгеновских снимках были опробованы фильтры для дальнейшей разметки запрещенных веществ (результатов не добились);
- Разметка данных в CVAT по датасетам Аэропорт и Scans;
- Разделение размеченного датасета на тренировочную, проверочную и тестовую выборки обучение YOLO v8 на подготовленном датасете
- Бессонов Максимспециалист по реализации газа юридическим лицам
- Разметка запрещенных предметов на предоставленных снимках с помощью инструмента CVAT;
- Разделение размеченного датасета на тренировочную, проверочную и тестовую выборки, обучение YOLO v8 на подготовленном датасете;
- Вывод результатов предсказания обученной модели на изображениях тестовой выборки
- Хомич АлексейЖелезнодорожник
- Подготовка датасета, разметка файлов в CVAT;
- Создание и обучение модели сети в YOLO v8;
- Разработка приложения при помощи фреймворка PyQT5 для модели нейросети Object Detection на YOLO v8;
- Применение данной задачи на KerasCV для Object Detection
- Толчин Дмитрийсобственник компании в сфере технической безопасности: Проектирование, продажа, установка, интеграция.
- Разметка запрещенных предметов на предоставленных снимках с помощью инструмента CVAT;
- Обучение модели на YOLO v8;
- Обучение модели на TerraYoloV5
Демонстрация проекта
Благодарность университетУ