Стажировка по проекту
Автоматизация открытия шлагбаума для доступа на парковку
Компания: ООО «КСК ИТ»



Суть проекта
Задача
Для чего
Вводные данные
У предприятий компании имеется собственные парковки для сотрудников на въезде у которых стоят шлагбаумы, на данный момент сотрудники пользуются приложением для открытия и доступа на парковку. Руководство компании решила автоматизировать доступ на парковку сотрудников, используя камеры безопасности, установленные на парковках


  • Увеличение эффективности и скорости доступа
  • Снижение операционных затрат
  • Повышение безопасности
  • Улучшение пользовательского опыта
  • Сбор и анализ данных
  • Конкурентное преимущество
Заказчиком предоставлен видеоархив, требующий обработки, фильтрации - запись с 5-6 видеокамер за 10 дней (разбитый по частям) 5 дней (цельные видео) примерно = 0,5 ТБ

На выходе должен быть текст госномера, фото госномера, по возможности марка и модель транспортного средства для дальнейшей обработки и учета.
Точность распознавания символов на государственном номере автомобиля (mAP50-95) — до 0.94.
Выходные данные
Участники
1 команды проекта
  • кУС нИКОЛАЙ
    Тимлид проекта
    Николай - руководитель группы разработчиков, отвечал за полную разработку проекта
  • Шалин Антон
    Помощник тимлида
    • Подготовка датасета для обучения моделей из видеоматериалов заказчика, поиск данных в открытых источниках
    • Проверка гипотез для решения задачи
  • Тишкин Андрей
    Заместитель генерального директора по Информационным технологиям на мясоперерабатывающем комбинате
    • Поиск открытого датасета
    • Тренировка Yolo9(не вошла в проект) и Yolo5n для определения рамки номеров
    • Тренировка OCR модели для определения номера на архитектуре EfficientNetV2(не вошла в проект)
    • Оптимизация и ускорения работы нейросетей
    • Сборка проекта в окончательном варианте. Разработка утилит для тестирования и редактирования конфигурации
  • Нечаев Дмитрий
    ПРедприниматель
    • Разработка и реализация алгоритма автоматического исправления ошибок при распознавании номеров, использующий трекер
    • Подготовка датасета на 146 тыс. картинок из видео заказчика
    • Обучение модели OCR с архитектурой EfficientNetB0 и BiLSTM
  • Драгинда Юлия
    Научный сотрудник (CIRMMT, Монреаль, Канада)
    • Подготовка датасета для обучения моделей из видеоматериалов заказчика
    • Обучение модели распознавания текста гос. номеров машин на основе CTC loss с архитектурой Resnet34+LSTM
    • Тестирование обученных моделей Yolov8 для детекции области номера
    • Сборка полной версии модели, включающая определение машины в кадре (Yolo8n), определение области гос. номера (Yolov8s), распознавание текста номера (обученная модель c CTC loss) и проверку наличия номера в базе данных заказчика
  • Янин Андрей
    Программист
    • Подготовка датасета для обучения моделей из видеоматериалов заказчика и создание датасета из синтетических данных
    • Создание и обучение нейросетей по сегментации госномера
    • Создание и обучение нейросетей по распознаванию текста госномер
  • Андреева Татьяна
    Инженер в радиоастрономической обсерватории
    • Подготовка датасета для обучения моделей из видеоматериалов заказчика, поиск данных в открытых источниках.
    • обучение модели RT-DETR на датасете “Russian_License_Plates_Detector” (нахождение рамки номера на видео)
    • Проверка работы обученной модели на видео заказчика
  • Генис Дмитрий
    • Подготовка датасета для обучения моделей из видеоматериалов заказчика, поиск данных в открытых источниках
    • Проверка гипотез для решения задачи
  • Широнин Игорь
    • Подготовка датасета для обучения моделей из видеоматериалов заказчика, поиск данных в открытых источниках
    • Оформление Гитхаб
    • Проверка гипотез для решения задачи
  • Байдин Кирилл
    • Решение задачи с использованием готовых библиотек (YOLO v8, OpenCV, Eazy OCR)
    • Реализация поиска рамки 2 способами
  • Яблонский Геннадий
    Более 30 лет работал в IT сфере в крупной нефтегазодобывающей компании
    • Подготовка датасета для обучения моделей из видеоматериалов заказчика, поиск данных в открытых источниках
    • Решение задачи с использованием YOLO v8
    • Проверка гипотез для решения задачи
  • Локтев Сергей
    Транспортный аналитик
    • Подготовка датасета для обучения моделей из видеоматериалов заказчика
    • Проверка гипотез для решения задачи
  • Геворгян Давид
    Организация праздников и мероприятии
    • Разметка и подготовка данных: Использование моделей YOLO 5 и YOLO 8 для разметки номеров.Вырезка изображений номеров для дальнейшего обучения распознаванию символов
    • Эксперименты с PyTorch VGG-16
    • Посимвольное обучение с помощью YOLO
  • Скворцов Евгений
    инженер по безопасности на АЭС
    • Подготовка датасета для обучения моделей из видеоматериалов заказчика
    • Проверка гипотез для решения задачи
  • Бедаков Андрей
    • Подготовка датасета для обучения моделей из видеоматериалов заказчика, поиск данных в открытых источниках
    • Проверка гипотез для решения задачи
Участники
2 команды проекта
  • Бугров Алексей
    Тимлид проекта
    • Организация и планирование работ группы, координация работы группы по решению прикладных задач проекта.
    • Экспертная поддержка участников стажировки.
    • Разработка итоговых презентационных материалов по проекту.
  • Кравченко Дмитрий
    Помощник тимлида
    • Подготовка ТЗ и организационных документов проекта
    • Ведение документации и коммуникаций с участниками
    • Проведение онлайн-встреч и координация вопросов группы
    • Сведение общего датасета и разработка инструментов для работы с аудио
    • Эксперименты с предобученной моделью YAMNet и фреймворком Librosa
    • Балансировка классов и обучение модели
    • Создание презентационных материалов проекта
    • Визуализация предсказаний
  • Бахия Максим
    Студент Энгельсского Технологического Института, специальность Информационные Системы и Программирование
    • Разметка изображений в CVAT.
    • Обучение и тестирование YOLOv8 (n, s), YOLOv8n-cls
    • Визуализация предсказаний
  • Бородин Алексей
    Инженер
    • Разметка изображений в CVAT.
    • Обучение и тестирование YOLOv8 (n, s)
    • Визуализация предсказаний.
    • Тестирование механизмов интеграции в production Streamlit
  • Вечтомов Александр
    Ведущий инженер электроник в НПЦ «Пружина»
    • Предобработка и постобработка датасета, разработка инструментов\парсеров для нарезки изображений на BB (Bounding Box) автомобилей.
    • Разметка изображений в CVAT.
    • Обучение и тестирование YOLOv8 (n, s), YOLOv8n-cls
    • Визуализация предсказаний.
    • Тестирование механизмов интеграции в production Streamlit
  • Драч Евгений
    Инженер электронной техники
    • Разметка изображений в CVAT.
    • Постобработка датасета,
    • Обучение и тестирование YOLOv8 (n, s)
  • Гиндуллин Рафис
    Специалист по исполнительной документации
    • Разметка изображений в CVAT.
    • Постобработка датасета
  • Пятницкий Владимир
    Инженер-проектировщик электроснабжения
    • Предобработка и постобработка датасета, разработка инструментов\парсеров для нарезки изображений на BB (Bounding Box) автомобилей.
    • Разметка изображений в CVAT.
    • Обучение и тестирование YOLOv8 (n, s), YOLOv8n-cls
    • Визуализация предсказаний.
    • Тестирование механизмов интеграции в production Streamlit
  • Родкин Евгений
    Project manager, программист python
    • Предобработка и постобработка датасета, разработка инструментов\парсеров для нарезки изображений на BB (Bounding Box) автомобилей.
    • Разметка изображений в CVAT.
    • Обучение и тестирование YOLOv8 (n, s)
    • Визуализация предсказаний.
    • Тестирование механизмов интеграции в production FAST API интеграции с веб-приложением
  • Саверкин Илья
    Куратор на курсе по компьютерному зрению
    • Сбор и обработка дополнительного датасета по спецномерам
    • Разметка изображений в CVAT.
    • Обучение и тестирование YOLOv8 (n, s), YOLOv8n-cls
    • Визуализация предсказаний.
    • Тестирование механизмов интеграции в production Streamlit, Tkinter
  • Сидоренко Александр
    Главный инженер в инжиниринговой компании в нефтегазопереработке и нефтехимии
    • Разметка изображений в CVAT.
    • Постобработка датасета,
    • Обучение и тестирование YOLOv8 (n, s)
  • Теплякова Мадина
    Экономист
    • Разметка изображений в CVAT.
    • Постобработка датасета,
    • Обучение и тестирование YOLOv8 (n, s)
  • Широков Виктор
    • Разметка изображений в CVAT.
    • Постобработка датасета
  • Яубатыров Рамиль
    Системный аналитик и архитектор, back-end разработчик
    • Предобработка и постобработка датасета, разработка инструментов\парсеров для нарезки изображений на BB (Bounding Box) автомобилей.
    • Разметка изображений в CVAT.
    • Обучение и тестирование YOLOv8 (n, s), YOLOv8n-cls
    • Визуализация предсказаний.
    • Тестирование механизмов интеграции в production Streamlit