Стажировка по проекту
Компания: АО «Сервис-Недвижимость» (входит в ГК ЭТАЛОН)
Распознавание данных
с общедомовых счетчиков по фото
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
1 команда
Создание телеграм-бота на основе компьютерного зрения для автоматизации сбора показаний счетчиков и внесения в реестр

2 команда
Создание надежного нейросетевого классификатора счетчиков индивидуального учета электро- и водоснабжения по их фотографии, позволяющегоидентифицировать марку и модель счетчика
1 команда
Телеграм-бот

2 команда
Название марки или модели идентифицируемого счетчика и набор его характеристик
1 команда
  • 1930 фотографий счетчиков воды и электричества, применяемых заказчиком
  • Таблица-реестр этих счетчиков

2 команда
  • Датасет из изображений счетчиков учета электроэнергии, горячего и холодного водоснабжения различных марок и моделей
Реализация данного проекта должна значительно ускорить снятие и передачу показаний счетчиков и исключить ошибки «человеческого фактора»

Разрабатываемая нейросеть классификации счетчиков предназначена для работы на сервере в приложении телеграм-бота и позволяет определить марку и модель счетчика и, следовательно, извлечь нужные технические характеристики конкретного счетчика: количество символов на циферблате, количество символов дробной части на циферблате, количество символов в серийном номере, сигнатуру серийного номера и другие необходимые параметры.

Полученные данные конкретной марки и модели счетчика будут необходимы для последующего контроля работы нейросетей класса Object Detection, OCR, а также других алгоритмов в рамках разрабатываемого в проекте приложения.
Участники
1 команды проекта
  • Терещенко Алексей
    Тимлид проекта
    Алексей - руководитель группы разработчиков, отвечал за проект
  • Докучаева Светлана
    Помощник тимлида
    Светлана помогала руководителю команды организовывать процесс разработки проекта
  • Лещинский Игорь
    Помощник тимлида
    Игорь помогал руководителю команды организовывать процесс разработки проекта
  • Выймов Зорислав
    Бизнес-аналитик в ФГАУ НИИ Восход
    • Сортировка фото счетчиков по типам c комментариями
    • Разметка в CVAT
    • Разработка скрипта обработки CVAT для датасета YOLO
    • Эксперименты с YOLO
    • Аналитика результатов формирования выборки для обучения OCR
    • Участие в разработке презентации проекта
  • Малицкий Андрей
    Акционер компании AMLAI
    • Разметка с использованием инструмента CVAT
    • Создание тестового телеграм-бота
    • Проведение экспериментов с несколькими предобученными OCR-моделями
    • Дообучение CTC Loss для серийных номеров
    • Применение сверки с таблицей серийных номеров
    • Создание итогового ноутбука в Google Colab с необходимыми нейронными сетями для обработки изображений
  • Панфилов Дмитрий
    Инженер, специалист больших данных
    • Разработка архитектуры клиент-серверного решения на базе FastAPI, YOLOv8, OCR, SQLite и Telegram bot
    • Разметка датасета в CVAT, обучение YOLOv8 и выбор модели с лучшими
    • Разработка и интеграция комплексного решения back-end и front-end в Docker на Linux-сервере с GPU
    • Тестирование приложений и демонстрация заказчику на основном и резервном серверах
  • Майоров Сергей
    индивидуальный предприниматель в IT-сфере
    • Создание скрипта для сбора датасета из пользовательских папок
    • Разметка датасета в CVAT
    • Формирование датасета для обучения сегментации YOLO
    • Обучение модели YOLO сегментации
    • Разметка дополнительных папок датасета для OCR
    • Участие в подготовки презентации проекта
  • Клычков Аксентий
    Графический дизайнер
    • Разметка датасета на расширенных данных для YOLO и OCR
    • Самостоятельная проработка модели OSR на сырых данных для распознавания серийных номеров
    • Написание и настройка скрипта для предварительной оценки качества фото
    • Подготовка чистового варианта презентации проекта
  • Шинин Андрей
    Предприниматель
    • Разметка датасета для YOLO и OCR
    • Формирование датасета для обучения сегментации YOLO
    • Обучение сети для классификации перевернутых фото для YOLO8
    • Сбор датасета и обучение классификации режима электросчетчика YOLO8
    • Подготовка рекомендации для повышения качества результата работы модели
    • Обработка первичного датасета CVAT
    • Создание телеграм-бота с проверкой положения счетчика
Участники
2 команды проекта
  • Резер Артём
    Тимлид проекта
    Артём - руководитель проекта, участвовал в разработке, координировал работу команды, ставил задачи, контролировал качество и сроки их выполнения
  • Спирин Антон
    Предприниматель
    • Работа с датасетом: анализ исходных изображений, предобработка изображений, распределение изображений по классам датасета
    • Подготовка таблицы с техническими характеристиками по классам счетчиков в датасете
    • Написание функций вывода характеристик счетчиков по результатам предсказания нейросети
    • Поиск в сети изображений минорных классов марок и моделей счетчиков для уменьшения дисбаланса в датасете
  • Толстогузов Артём
    • Написание функций первичного парсинга исходных изображений, выполнение первичной сортировки исходных изображений, в том числе с применением сигнатур имен файлов
    • Работа с датасетом: анализ исходных изображений, предобработка изображений, распределение изображений по классам датасета
  • Санникова Александра
    Метролог
    • Работа с датасетом: анализ исходных изображений, предобработка изображений, распределение изображений по классам датасета
    • Подготовка таблицы с техническими характеристиками классов счетчиков в датасете
    • Поиск в сети изображений минорных классов марок и моделей счетчиков для уменьшения дисбаланса в датасете
  • Мышлякова Анна
    Специалист по геоинформационным системам
    • Работа с датасетом: анализ исходных изображений, предобработка изображений, распределение изображений по классам датасета
    • Подготовка таблицы с техническими характеристиками классов счетчиков в датасете
    • Поиск в сети изображений минорных классов марок и моделей счетчиков для уменьшения дисбаланса в датасете
  • Куцай Ирина
    Финансист
    • Работа с датасетом: анализ исходных изображений, предобработка изображений, распределение изображений по классам датасета
    • Подготовка таблицы с техническими характеристиками классов счетчиков в датасете
    • Поиск в сети изображений минорных классов марок и моделей счетчиков для уменьшения дисбаланса в датасете
  • Егоров Иван
    Подготовка докладов группе по применению архитектур нейросетей для классификации изображений VGGNet, ResNet
    Работа с датасетом: анализ исходных изображений, предобработка изображений, распределение изображений по классам датасета
    Подготовка таблицы с техническими характеристиками классов счетчиков в датасете
    Поиск в сети изображений минорных классов марок и моделей счетчиков для уменьшения дисбаланса в датасете
  • Бурыка Александра
    • Работа с датасетом: анализ исходных изображений, предобработка изображений, распределение изображений по классам датасета
    • Подготовка таблицы с техническими характеристиками классов счетчиков в датасете
    • Поиск в сети изображений минорных классов марок и моделей счетчиков для уменьшения дисбаланса в датасете
  • Катушенок Наталия
    • Работа с датасетом: анализ исходных изображений, предобработка изображений, распределение изображений по классам датасета
    • Подготовка таблицы с техническими характеристиками классов счетчиков в датасете
    • Поиск в сети изображений минорных классов марок и моделей счетчиков для уменьшения дисбаланса в датасете
Демонстрация проекта 1 команды
Благодарность университетУ