AI проекты
Этапы подбора
Резюме
Блог
Стажировка по проекту
Компания: ООО «СибАкадемСкан» производитель сканеров рентгеновского досмотра СРК «СибСкан-М1»
Система обнаружения запрещенных предметов на рентгеновских снимках
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Разработать систему рентгеновского контроля, используя установку «Сибскан-М1», с интеграцией нейронной сети для обнаружения запрещенных предметов и материалов на сканированных изображениях людей
Проект предоставляет два варианта интеграции и использования системы:
1 Разработано десктопное приложение с использованием библиотеки PyQt5;
2 Разработан API (интерфейс программирования приложений), который позволяет интегрировать систему рентгеновского контроля в другие десктопные приложения
Файлы рентгена с установки «Сибскан-М1»
Безопасность: система создается для обеспечения безопасности на публичных местах, таможенных постах, аэропортах и других объектах, где необходим контроль за наличием запрещенных вещей и материалов.
Обнаружение угроз: система позволяет автоматически выявлять предметы, которые могут представлять угрозу для безопасности, такие как оружие, взрывчатые вещества и наркотики.
Эффективность: использование нейронной сети повышает точность обнаружения и снижает вероятность ложных срабатываний, связанных с человеческим фактором.
Автоматизация: система автоматизирует процесс анализа сканированных изображений, что обеспечивает более быстрый и эффективный контроль.
Расширяемость: при наличии соответствующего датасета система может быть дополнительно развита для обнаружения конкретных классов запрещенных предметов, повышая общий уровень безопасности
Участники
1 команды проекта
  • Терещенко Алексей
    Тимлид проекта
    Алексей - руководитель группы разработчиков, отвечал за полную разработку проекта
  • Алексеев Павел
    Unity Developer / участвовал в разработке цифровой платформы музея РЖД
    • Работа с датасетом: изменение исходных картинок, переформатирование для объединения с датасетом Roboflow;
    • Применение фильтров для выявления скрытых признаков на изображении (фильтры Гаусса, Лапласа-Гаусса, Собеля, Гаусса-Фурье);
    • Разметка датасета в программе Make Sense (разметка одного класса объектов);
    • Обучение сети Yolo на размеченном датасете из jpg картинок;
    • Создание десктопного приложения с интеграцией в него обученной нейросети Yolo и Sam;
    • Обучение сети Yolo на уже размеченном втором датасете (с разметкой двух классов объектов);
    • Интеграция нескольких вариантов нейросетей в приложение
  • Резер Артем
    Работал в сфере поставок маталлообрабатывающих станков с ЧПУ, инструмента и оснастки для машиностроения, проектирования технологических процессов на станках с ЧПУ
    • Обучение на локальной GPU моделей Yolov8 на датасетах с одним и двумя классами объектов;
    • Подготовка весов для встраивания в разрабатываемое в проекте десктопное приложение;
    • Подбор гипер параметров, тестирование моделей;
    • Анализ датасетов с применением специального парсера;
    • Предобработка данных с использованием библиотеки Opencv;
    • Разметка датасета с применением labelIng, CVAT
  • Панфилов Дмитрий
    Инженер, Специалист больших данных / Работал в ЮАР старшим инженером-программистом
    • Обучение YOLOv8s на DataSet-2 (от 300 до 500 эпох) через Anaconda Jupyter Notebook в Docker с GPU;
    • Проектирование архитектуры интеграционного решения на FastAPI в Docker для тестирования работы на CPU, GPU и на Jetson Nano;
    • Конфигурирование серверной части Системы с использованием GPU NVIDIA;
    • GeForce RTX 3090 Ti под Linux, создание Docker-контейнеров разработанных решений;
    • Создание прототипов клиентских приложений: Telegram-бот (AIOGram), WEB - сервис (JavaScript), настольные приложение (под Linux/Windows);
    • Интеграция нейросетевых решений с CUDA в клиент-серверной архитектуре
  • Кобызев Юрий
    Начальник отдела информационных систем ООО СТЭККОМ (специалист по биллинговым системам операторов связи)
    • Предобработка данных с использованием библиотеки OpenCV;
    • Разметка датасета в программе Make Sense (разметка одного класса объектов);
    • Обучение сеть Yolov8s для детекции, а также ее интеграции с блоком сегментации hq-sam;
    • Подготовка весов для встраивания в разрабатываемое в проекте десктопное приложение
  • Смирнов Даниил
    геодезист: Занимается инженерно-геодезическими изысканими под строительство
    • Разметка датасета в программе Make Sense;
    • Применение фильтров для выявления скрытых признаков изображении;
    • Подготовка данных для DETR модели;
    • Обучение сети DETR на острове трансформеров
  • Ткаченко роман
    Инженер в лаборатории МИРЭА
    • Применение фильтров для выявления скрытых признаков изображении;
    • Разметка датасета в программе Make Sense;
    • Обучение сети Yolo на размеченном датасете
  • Максименко Дмитрий
    Работает в ИТ: Эксперт по телекоммуникациям
    • Применение фильтров для выявления скрытых признаков изображении;
    • Разметка датасета в программе Make Sense;
    • Обучение сети YOLO на размеченном датасете
  • Зотова Анастасия
    Data Science , Разработчик C++ / Python
    • Разметка датасета с применением labelIng, CVAT;
    • Применение фильтров для выявления скрытых признаков изображении;
    • Подбор архитектуры и пайплайна, обучение и тестирование модели нейронной сети
Участники
2 команды проекта
  • Назаров Денис
    CTO в компании-разработчике SaaS, PaaS решений.
    • Разметка датасета (инструмент CVAT);
    • Сегментация запрещенных предметов с помощью Yolo V8 + SAM;
    • Использование библиотеки KerasCV. Обучение модели Resnet + YOLO ;
    • Создание Docker для обученной модели
  • Ахтырский Геннадий
    инженер автомобильного транспорта
    • Обработка оригинальных рентгеновских изображений для визуализации и разметки датасета;
    • Разметка датасета (инструмент CVAT);
    • Обучение Yolo V8 (модели small и nano);
    • Использование библиотеки KerasCV Обучение модели «resnet50_imagenet»;
    • Сегментация запрещенных предметов с помощью Yolo V8 + SAM;
    • Создание приложения на PyQt 6 для работы модели;
    • Создание Docker для обученной модели;
  • Комраков Алексей
    Инженер-программист промышленных контроллеров
    • Обработка исходного изображения для последующей разметки;
    • Разметка обработанных рентгеновских снимков (инструмент CVAT);
    • Обучение object detection модели YOLO 8n по полному датасету - 6711 снимков с проверкой на тестовой выборке;
    • Работа над десктоп-приложением PyQt 6 для визуализации работы нейросети
  • Гончаров Василий
    Главный государственный таможенный инспектор
    • Обработка исходного изображения для последующей разметки;
    • Разметка обработанных рентгеновских снимков (инструмент CVAT);
    • Обучение на полученных данных разных моделей Yolo v8n, Yolo v8s, Yolo v8m, Yolo v8l;
    • Использование функционала библиотеки Keras CV как альтернативу yolov8;
    • Создание приложения по обнаружению запрещенных предметов
  • Питолин Дмитрий
    Тимлид в IT / Data Science инженер
    • Разметка опасных/не опасных предметов на снимках;
    • Разметка датасета (инструмент CVAT);
    • Создание скрипта сбора проверки готовой разметки со всех студенческих папок;
    • Обучение на полученных данных разных моделей Yolo v8s;
    • Разработка приложения API backend. Приложение работает в Docker-контейнере, получает входное изображение
  • Осокин Юрий
    Управляющий региональным дополнительным офисом банка Открытие
    • Обработка исходного изображения для последующей разметки;
    • Разметка обработанных рентгеновских снимков (инструмент CVAT);
    • Обучение на полученных данных разных моделей Yolo v8n, Yolo v8s;
    • Тестирование гипотезы использования других пред обученных моделей на основе использования библиотеки KerasCV;
    • Создание приложения на PyQt 5, для работы модели;
    • Создание Docker для обученной модели
  • Соколов Павел
    Начальник технической службы МРТ
    • Обработка исходного изображения для последующей разметки;
    • Разметка датасета (инструмент CVAT);
    • Обучение Yolo V8 (модели small и nano)
  • Кошелев Дмитрий
    сборка, настройка, обслуживание ПК / Проектированием и обслуживанием ЛВС / Настройкой и установкой серверов и сетевого оборудования
    • Разметка датасета (инструмент CVAT);
    • Написание детекции с использованием KerasCV;
    • Изучение PyQt;
    • Изучение Docker
  • Широкова Элина
    специалист по поддержке Scala ERP
    • Разметка обработанных рентгеновских снимков (инструмент CVAT);
    • Обучение на полученных данных разных моделей Yolo v8n, обучение модели YOLO v8s;
    • Использование библиотеки KerasCV; создание, обучение тренировочной модели на базе YOLO backbone+YOLOtask
  • Ляшенко Дмитрий
    Веб-разработчик в ООО УФС
    • Разметка обработанных рентгеновских снимков (инструмент CVAT);
    • Обучение на полученных данных разных моделей Yolo v8s;
    • Использование библиотеки KerasCV
  • Попов Александр
    Предприниматель, инженер: Работает в сфере недвижимости, архитектуры и дизайна
    • Выделение шума с помощью нейросети типа сверточный автокодировщик;
    • Распознавание объектов с помощью нейросети Yolo v8
Участники
3 команды проекта
  • Калюжный Денис
    Системный администратор
    • Написание фильтров для обработки исходных изображений;
    • Обработка исходных изображений и распределение по участникам команды;
    • Разметка запрещенных предметов на предоставленных снимках с помощью инструмента CVAT;
    • Написание скрипта для автоматизированной сборки полного датасета с mail облака с формированием исходных каталогов;
    • Обучение YOLO;
    • Сегментация запрещенных предметов с помощью SAM-HQ;
    • Написание демонстрационного приложения для интеграции с использованием PyQT6
  • Мылов Сергей
    Главный электрик в крупном инвестиционном проекте
    • Разметка запрещенных предметов на предоставленных снимках с помощью инструмента CVAT;
    • Разделение размеченного датасета на тренировочную, проверочную и тестовую выборки обучение YOLO v8 на подготовленном датасете;
    • Вывод результатов предсказания обученной модели на изображениях тестовой выборки
  • Уразова Юлия
    СММ-специалист, таргетолог, директолог
    • На рентгеновских снимках были опробованы фильтры для дальнейшей разметки запрещенных веществ (результатов не добились);
    • Разметка данных в CVAT по датасетам Аэропорт и Scans;
    • Разделение размеченного датасета на тренировочную, проверочную и тестовую выборки обучение YOLO v8 на подготовленном датасете
  • Бессонов Максим
    специалист по реализации газа юридическим лицам
    • Разметка запрещенных предметов на предоставленных снимках с помощью инструмента CVAT;
    • Разделение размеченного датасета на тренировочную, проверочную и тестовую выборки, обучение YOLO v8 на подготовленном датасете;
    • Вывод результатов предсказания обученной модели на изображениях тестовой выборки
  • Хомич Алексей
    Железнодорожник
    • Подготовка датасета, разметка файлов в CVAT;
    • Создание и обучение модели сети в YOLO v8;
    • Разработка приложения при помощи фреймворка PyQT5 для модели нейросети Object Detection на YOLO v8;
    • Применение данной задачи на KerasCV для Object Detection
  • Толчин Дмитрий
    собственник компании в сфере технической безопасности: Проектирование, продажа, установка, интеграция.
    • Разметка запрещенных предметов на предоставленных снимках с помощью инструмента CVAT;
    • Обучение модели на  YOLO v8;
    • Обучение модели на TerraYoloV5
Демонстрация проекта
Благодарность университетУ