Стажировка по проекту
Создание ИИ-системы учета процессов по видеофиксации в автосервисе
Компания: ООО «УралТехЦентр»
Суть проекта
Задача
для чего
входные данные
Разработка модуля направлена на оценку эффективности работы сотрудников, грамотное планирование работ и уменьшение потерь времени при работе
Заказчик проекта предоставил серию видео для обучения и тестирования точности распознавания пользователей, а также датасет из 1000 фотографий автомобилей с видимыми номерами
выходные данные
Система работает в режимах:
1. Детекция автомобиля
2. Детекция номерного знака
3. Распознавание букв и цифр на номерном знаке
4. Регистрация номера и времени заезда автомобиля в бокс в базе 5 Фиксация времени когда автомобиль покидает бокс
1. Детекция автомобиля
2. Детекция номерного знака
3. Распознавание букв и цифр на номерном знаке
4. Регистрация номера и времени заезда автомобиля в бокс в базе 5 Фиксация времени когда автомобиль покидает бокс
Разработка модуля, обеспечивающего фиксацию номера автомобиля и времени его заезда и отъезда в ремонтный бокс для отслеживания на каком этапе сервиса находится автомобиль, а также времени его нахождения в сервисе. Модуль должен обеспечивать сравнение фактического времени нахождения в сервисе со временем которое оплачивает клиент. И проводить мониторинг местонахождения автомобиля по запросу. Модуль должен быть интегрирован в действующее ПО заказчика написанное на PHP
Участники
1 команды проекта
1 команды проекта
Решение позволяет в любой момент времени узнать где находится автомобиль. Фиксирует время постановки на ремонт и время окончания работ, что позволяет более точно рассчитывать стоимость услуги и собирать данные для аналитики, а также учитывать рабочее время сотрудников
- Елена ЕрошинаТимлид проекта
- Игорь СкрипникПомощник тимлида
- Рубен БрутянСпециалист по Госзакупкам
- Подбор различных OCR для решения поставленной задачи, их тестирование
- Тестирование различных OCR на датасетах заказчика. Оценка точности ( качества) распознавания.
- Тестирование различных подходов к распознаванию информации с номеров (прямого, по избранным занам и тд)
- Разработка решения по вычислению максимально совпадающего с действительным номера на основе подсчета результата всех распознанных кадров.
- Разработка алгоритма разбивки кадров на зоны согласно ремонтным боксам
- Разработка тест кейсов
- Александр ЕгоровВедущий инженер-программист
- Поиск, очистка, аугментация, разметка и формирование датасетов
- Поиск и проверка пригодности готовых проектов в условиях заказчика
- Анализ возможности дообучения различных OCR
- Разметка и подготовка нужного формата датасета для обучения PaddleOCR
- Дообучение и тестирование PaddleOCR на видео от заказчика (достигнута точность 0.984)
- Разработка тест кейсов
- Подготовка документации по проекту
- Алексей ЗверевПредприниматель
- Поиск, очистка, аугментация, разметка и формирование датасетов
- Создание датасета для обучения YOLOv8 для детекции авто в боксе (выборка релевантных фото из имеющихся датасетов, разметка при помощи YOLOv8 с настройками от производителя.
- Дообучение и тестирование YOLOv8 на детекцию авто
- Дообучение и тестирование YOLO OBB для задач детекции номера и задач распознавания номера
- Изучение PaddleOCR (теория, развертывание, настройка)
- Генерация специального датасета на основе шрифта в SVG для генерации номеров для обучения YOLO в качестве OCR для распознавания текста номеров
- Разработка интеграции решения (WSL2, Docker на Windows 10 в VMWare Workstation )
- Разработка тест кейсов
- Подготовка документации по проекту
- Павел ИткинсонРуководитель филиала
- Обучение YOLO8 на датасете, размеченном через GroundingDINO
- Тестирование дообученной YOLO8 на данных заказчика
- Предобработка номеров с видеопотока с целью улучшения качества изображения с применением всех возможных фильтров и методов.
- Тестирование различных OCR на полученных данных.
- Разработка тест кейсов
- Подготовка документации по проекту
- Подготовка презентационных материалов
- Сергей МыловГлавный электрик в крупном инвестиционном проекте
- Обучение YOLO8
- Тестирование дообученной YOLO8 на данных заказчика
- Работа с YOLO и видеопотоком: Реализация обработки видео разных разрешений: 1920х1080, 1280х720, добавление поддержки RTSP-потока
- Разработка системы сохранения видеофайлов с датой и временем
- Предобработка номеров с видеопотока с целью улучшения качества изображения с применением всех возможных фильтров и методов с индивидуальной реализацией для всех 4-х боксов
- Тестирование различных OCR
- Разработка функции фильтрации результатов OCR по шаблону Российских номеров с активной заменой внешне похожих символов таких как 0-О, 8-В
- Интеграция YOLO-OBB + PaddleOCR
- Разработка системы сохранения видеофайлов с датой и временем (для контроля работы системы при необходимости)
- Разработка тест кейсов
- Подготовка документации по проекту
- Рамиль СиродеевИнженер - физик, деятельность в области высоких энергий
- Разработка и тестирование решения для преобразования искаженных и искривленных номеров для их пригодности к дальнейшему распознаванию OCR с использованием аффинного преобразования и преобразований Фурье
- Поиск OCR-систем с возможностью дообучения
- Изучение возможностей наложения фильтров
- Анализ методов ухудшения качества изображений для тестирования
- Разработка тест кейсов
- Подготовка документации по проекту
- Петр ФиличевОсновная деятельность - перевод и локализация
- Поиск и проверка пригодности готовых проектов в условиях заказчика
- Обучение YOLO8 на датасете, размеченном через GroundingDINO
- Интеграция проекта, тестирование докер-образа решения на Windows
- Разработка тест кейсов
- Андрей ФоменкоПрограммист - С++, PHP, JS, сисадмин - FreeBSD,linux
- Разработка решения для детектирования номерных рамок машин на основе каскадов ХААРА библиотеки OpenCV
- Разработка решения для выравнивания наклона рамок с помощью выделения контура рамки посредством библиотеки OpenCV.
- Разметка датасета написанным кодом и обучение модели YOLO OBB существенно более эффективному распознаванию рамок, нежели каскады ХААРА.
- Разработка решения для генерации изображений номерных рамок со случайными номерами и шумовыми эффектами на изображениях и генерация датасета с разметкой под YOLO OBB
- Обучение YOLO OBB на сгенерированном датасете с получением механизма OCR для номерных рамок автомашин
- Обучение модели YOLO распознаванию машин в боксах на собранном датасете.
- Интеграция всех трех механизмов распознавания в последовательного, зацикленного на обработке видеопотока, алгоритма детектирования машины, номерной рамки и распознавания номера в отдельно выделенных из кадров изображениях.
- Добавление в код RTSP-потокового сервера для организации визуального контроля за системой распознавания.
- Подключение алгоритмов работы с базой данных mySQL для фиксации времени заезда и выезда машин из боксов.
- Рефакторинг системы для обработки нескольких потоков с нескольких видео камер.
- Подготовка документации по проекту
- Леонид ШулятиковОператор станков с ЧПУ
- Тестирование различных OCR систем
- Предобработка полученных кадров номеров с целью улучшения качества изображения с применением всех возможных фильтров и методов.
- Оптимизация параметров обработки
- Анализ эффективности распознавания по символам в каждой области номера и поиск оптимального разделения номера на области
Участники команды проекта
2 этап
2 этап
- Белоус ПавелТИМЛИД ПРОЕКТА
- Губайдуллин НаильПОМОЩНИК ТИМЛИДА
- Докучаева СветланаПОМОЩНИК ТИМЛИДА
- Сурков АндрейМАРКЕТОЛОГ
- Поиск готовых решений и готовых датасетов
- Обучение модели YOLO для детектирования автомобиля и номера
- Сбор картинок для обогащения датасета
- Разметка аннотаций для детекции авто и номерного знака
- Подготовка аннотаций с помощью SAM для сегментирования номерного знака
- Обучение модели YOLO для сегментирования номерного знака
- Сравнение EasyOCR, PaddleOCR и ResNet на тестовых датасетах
- Обучение PaddleOCR на своем датасете
- Написание архитектуры программы для работы
- Тестирование конечной программы и улучшение показателей
- Создание презентации по проекту
- Клименкова ТатьянаДОЦЕНТ, К.Э.Н.
- Поиск, очистка, аугментация, разметка и формирование датасетов
- Трекинг автомобилей по видео
- Исследование возможностей модели yolo world для решения задачи стажировки
- Дообучение и тестирование модели yolo11 для задачи распознавания автомобильных номеров
- Тестирование различных OCR
- Подготовка презентационных материалов
- Степанова ЯнаРЕПЕТИТОР ПО МАТЕМАТИКЕ И ИНФОРМАТИКЕ
- Поиск похожих задач, готовых решений и похожих датасетов.
- Разметка номерных знаков
- Написание скриптов для решения задач (номера различных кадров, проверка на дубликаты фотографий и т.п.)
- Дообучение Yolo модели на готовом датасете для детекции номерных знаков и тестирование на датасете заказчика
- Тестирование OCR на подготовленном датасете заказчика
- Тестирование готовых проектов и решений на тестовых видео заказчика
- Подготовка презентации
- Тимошенко АлександраСПЕЦИАЛИСТ ПО ОЦЕНКЕ ПОИСКОВЫХ СИСТЕМ В ЯНДЕКС
- Разметка датасета для детекции сегментации и дообучения OCR
- Кирпиченко ЕленаСПЕЦИАЛИСТ ПО ДОГОВОРНЫМ ОТНОШЕНИЯМ
- Разметка датасета для детекции сегментации и дообучения OCR