Стажировка
Подсчёт цыплят на конвейере с применением технологий компьютерного зрения
Готовое AI-решение «детекция/сегментация → трекинг → счёт» с подтверждённой точностью в 99% на тестовой выборке. Решение поставляется в виде моделей, скриптов и сервисов, интегрируемых в backend заказчика или запускаемых как standalone-приложение.
ВЫходные данные
Шестнадцать видеозаписей с трёх типов камер, установленных над конвейерами. В процессе работы группы стажировки силами участников были получены размеченные датасеты для обучения моделей детекции и сегментации, используемых в счётчиках.
вводные данные
Решение предназначено для автоматизации производственного контроля: точного учёта поголовья, снижения ручного труда и минимизации ошибок оператора. Система позволяет в реальном времени получать статистику по линиям, сменам и периодам, выявлять аномалии, формировать отчёты и интегрироваться в существующие ИТ-контуры предприятия. Отдельная цель проекта — создание воспроизводимого AI-пайплайна, готового к промышленному внедрению.
Для чего
Проект посвящён разработке CV-системы автоматического подсчёта цыплят на конвейерных линиях птицефабрики с использованием компьютерного зрения. Ключевая сложность — высокая плотность объектов, перекрытия, вариативное освещение и разные типы камер. В рамках проекта решаются задачи детекции, сегментации, трекинга и корректного подсчёта объектов в реальном видеопотоке с контролем ошибок.
ЦЕЛЬ проекта
Участники
команды проекта
команды проекта
- Рубцов Антон НиколаевичТимлид проекта
- Управление архитектурой проекта
- Стратегическое развитие продукта
- Постановка задач
- Взаимодействие с заказчиком
- Координация разработки
- Бенуни Георгий Альбертовичпомощник тимлида
- Координация разметки датасетов Object Detection и Segmentation между подгруппами
- Контроль качества разметки, сбор и консолидация замечаний по ошибкам и спорным кейсам
- Синхронизация результатов между подгруппами и передача артефактов между этапами проекта
- Помощь тимлиду в проведении еженедельных встреч группы
- Ведение спринтов в отсутствие руководителя проекта, фиксация прогресса и проблем
- Подготовка и структурирование материалов для финальной презентации проекта и её создание
- Коммуникация с заказчиком проекта по статусу задач
- Проведение дополнительных рабочих встреч со стажёрами
- Михно Елена Игоревнапомощник тимлида
- Анализ задачи и помощь студентам в подборе алгоритмов решения задач
- Решение организационных задач в координации проекта
- Помощь тимлиду в проведении еженедельных встреч группы
- Подготовка и структурирование материалов для финальной презентации проекта и её создание
- Тяпин Александр Леонидовичпомощник тимлида
- Координация разметки датасетов Object Detection и Segmentation между подгруппами
- Контроль качества разметки, сбор и консолидация замечаний по ошибкам и спорным кейсам
- Решение организационных задач в координации проекта
- Подготовка и структурирование материалов для финальной презентации проекта и её создание
- Бачурин Андрей Андреевичучастник стажировки
- Верификация и корректировка OD-разметки (RoboFlow, VGG Image Annotator)
- Обучение baseline-моделей детекции YOLOv8n и YOLOv11n (Ultratytics)
- Эксперименты с гиперпараметрами обучения YOLO (imgsz, batch, augmentation)
- Анализ ошибок детекции на сложных кейсах как перекрытия и край кадра
- Построение пайплайна подсчёта YOLOv8n + ByteTrack + CounterLine (Ultratytics, BoxMOT)
- Реализация HSV-подсчёта цыплят (OpenCV)
- Сравнение автоматического и ручного подсчёта, анализ расхождений
- Бойцов Антон Владимировичучастник стажировки
- Создание десктоп приложения для удобного покадрового анализа и раскадровки видеоматериалов датасета (Tkinter, OpenCV, Pillow)
- Cоздание скрипта авторазметки OpenCV на основе доработанного алгоритма колортрекинга с помощью HSV масок и подготовка пакетов предразмеченных кадров для камеры 1 (Tkinter, OpenCV, NumPy)
- Создание интерфейсов настройки параметров HSV-масок и границ зон поиска объектов и интеграция их в собственное десктоп приложение для контроля результата непосредственно на видеоматериалах датасета (Tkinter, OpenCV, NumPy, Pillow)
- Реализация логики подсчета цыплят для 1 камеры с использованием классов chick/chick_pair (OpenCV, NumPy, Ultralytics YOLO)
- Утилиты конвертации разметки YOLO↔VGG JSON (Tkinter, OpenCV, JSON)
- Скрипты автоаннотирования кадров камер 1 и 2 с помощью предобученных моделей (OpenCV, Ultralytics YOLO)
- Курирование работы подгруппы сегментации и участие в разметке датасета для камеры 2 (RoboFlow)
- Финальная верификация и корректировка разметки датасета камеры 2 (VGG Image Annotator)
- Разработка методов анализа и полуавтоматической постобработки датасетов автоаннотированных предобученными моделями (Shapely, OpenCV, Ultralytics YOLO)
- Горячев Максим Львовичучастник стажировки
- Создание прототипов счетчиков цыплят для камер 1 и 3 с использованием колортрекинга с помощью заданных HSV масок OpenCV
- Подсчет эталонных значений количества цыплят на видеоматериалах датасета камеры 1
- Разметка полигонами мини-датасета и обучение первой сегментационной модели для камеры 2 (VGG Image Annotator, Ultralytics YOLO)
- Авторазметка и корректировка масок датасета для камеры 2 (SAM-2 / HQ-SAM, LabelStudio, RoboFlow, VGG Image Annotator)
- Разработка стандарта правил разметки и сегментации. Создание руководства по разметке для камеры 2
- Формирование эталонного набора масок сегментации камеры 2 (VGG Image Annotator)
- Обучение и сравнение YOLO-seg моделей (Ultralytics, Google Colab, VSCode)
- Трекинг и подсчёт объектов на камере 2 (Ultralytics, ByteTrack, OpenCV)
- Анализ фантомных треков и разработка алгоритмов фильтрации объектов, тонкая настройка трекера (Ultralytics, ByteTrack, OpenCV)
- Разработка нескольких вариантов интерфейса мониторинга подсчёта цыплят с симуляцией обработки потокового видео с нескольких камер (Streamlit, Gradio)
- Сборка пайплайна включающего возможность передачи аннотированного видео в Telegram-бот (Gradio, Aiogram)
- Игнатьева Елена Михайловнаучастник стажировки
- Разметка и верификация датасетов обнаружения объектов (RoboFlow, VGG Image Annotator)
- Проверка JSON и вторая рука разметки (VGG Image Annotator)
- Формирование первичных аннотаций для обучения средствами Python (Google Colab)
- Кобызев Юрий Дмитриевичучастник стажировки
- Создание бенчмарка детекторов и каунтеров: YOLO11, YOLOv8, RT-DETR, RF-DETR (Ultralitics)
- Написание фреймворка подсчёта цыплят средствами (Ultralytics, OpenCV)
- Анализ ошибок трекинга и подсчёта с помощью ByteTrack, ведение JSON-логов (BoxMOT, ByteTrack, OpenCV, JSON)
- Сравнение моделей по метрикам и ошибке подсчёта
- Интеграция мультимодальных LLM Gemini для аудита ошибок (Google DeepMind)
- Подготовка воспроизводимого baseline-пайплайна подсчёта: YOLO → Tracker → Counter (Ultratytics, ByteTrack, BoT-SORT)
- Запуск авторазметки и конвертация сегментации в bbox средствами SAM2 (Ultratytics)
- Волощук Олег Игоревичучастник стажировки
- Разметка и верификация датасетов, работа с YOLO-форматом, ручная проверка (VGG Image Annotator)
- Контроль качества аннотаций — первая и вторая рука, сложные кейсы
- Подготовка пайплайна предобработки данных средствами Python (OpenCV, Google Colab)
- Колотий Вячеслав Витальевичучастник стажировки
- Ручной подсчёт эталонных значений (OpenCV, Python, CSV)
- Независимая верификация результатов трекинга сравнение трекеров, видеоанализ
- Анализ HSV-фильтрации и гистограмм распределения объектов по параметрам (OpenCV, NumPy, Matplotlib)
- Подсчёт объектов на видео с трекингом YOLOv8 и ByteTrack (Ultratytics, BoxMOT)
- Костенко Артём Сергеевичучастник стажировки
- Предобработка и валидация датасетов в формате YOLO (OpenCV)
- Обучение и переобучение моделей детекции объектов с помощью (Ultralytics YOLOv8n, PyTorch, Jupyter)
- Анализ и исправление разметки в JSON средствами Python и самописных на вайб-кодинге скриптов (Cursor AI)
- Построение пайплайна подсчёта объектов средствами YOLO, ByteTrack, LineCounter (Ultratytics, BoxMOT, OpenCV)
- Оптимизация логики счётчика и фильтров: debounce, cooldown, направление движения
- Документирование и проверка воспроизводимости экспериментов
- Михайлов Илья Сергеевичучастник стажировки
- Организазия работы подгруппы сегментации в Roboflow с использованием SAM 2 для автоматизации аннотации и ускорения подготовки данных. Проверка и корректировка разметки вручную (Roboflow, SAM 2, VGG Image Annotator)
- Разработка пайплайна анализа и валидации YOLO полигонов, реализация алгоритмов стратифицированного разбиения данных по количеству и размерам объектов для повышения стабильности обучения (NumPy, Pandas, Ultralytics)
- Создание единого исследовательского инструмента для команды с полным циклом включающим: обучение YOLOv8/v11 для сегментации и детекции, тестирование метрик и настройку трекинга для обеих камер (Jupyter Notebook, Ultralytics)
- Развертывание и оптимизация процесса обучения моделей на локальных GPU, настройка CUDA окружения для ускорения итераций (CUDA, PyTorch)
- Реализация системы трекинга ByteTrack и подсчёта объектов для устойчивого отслеживания по уникальным ID и разработки логики Line Counter - пересечения виртуальных линий сегментированными масками (BoxMOT, ByteTrack, OpenCV, Python, NumPy)
- Создание интерактивных прототипов для демонстрации алгоритмов трекинга и интерфейсов настройки зон интереса, порогов фильтрации и визуализации траекторий и масок объектов в видеопотоке (Streamlit, OpenCV, Python)
- Проектирование и реализация модульной архитектуры системы: бэкенд на FastAPI с независимыми пайплайнами обработки для каждой камеры, фронтенд на React + Vite с многопользовательским интерфейсом, включающим роли оператора и инженера, и база данных SQLite. Система поддерживает одновременную обработку нескольких видеопотоков и готова к промышленному внедрению (FastAPI, React, Vite, SQLite, Python, TypeScript)
- Реализация логики сохранения сессий и экспорта данных для отслеживания производительности конвейера в исторической перспективе (FastAPI, SQLite, Python)
- Орлов Максим Витальевичучастник стажировки
- Корректировка и верификация разметки датасетов (VGG Image Annotator, RoboFlow)
- Сегментация объектов на изображениях для обучения YOLOv8-seg (VGG Image Annotator, RoboFlow)
- Обучение базовой сегментационной модели YOLO-seg (Ultralytics)
- Анализ качества масок и метрик - mAP, Precision, Recall
- Осипенко Дмитрий Александровичучастник стажировки
- Разметка изображений в первую руку средствами (VGG Image Annotator, RoboFlow)
- Верификация и корректировка разметки в (VGG Image Annotator, RoboFlow)
- Подготовка и передача датасетов в репозиторий GitHub
- Подсчёт объектов на видео с трекингом YOLOv8, ByteTrack (Ultratytics, BoxMOT, OpenCV)
- Радькович Михаил Владимировичучастник стажировки
- Подготовка и очистка датасетов для обнаружения объектов (OpenCV, Пщщпду Colab)
- Верификация и нормализация разметки YOLO-формата (RoboFlow)
- Обучение модели детекции объектов YOLOv8n (Ultralytics)
- Анализ ошибок инференса на сложных кадрах (OpevCV, Matplotlib)
- Подсчёт объектов на видео с трекингом YOLOv8, ByteTrack (Ultratytics, BoxMOT, OpenCV)
- Соловьёва Ольга Евгеньевнаучастник стажировки
- Разметка и верификация датасетов с помощью (VGG Image Annotator, RoboFlow)
- Нормализация изображений по размеру и цвету (OpenCV)
- Отбор сложных кейсов для камеры конвейера - визуальный анализ (OpenCV)
- Базовый эксперимент с детекцией и трекингом цыплят YOLOv8, ByteTrack (Ultratytics, BoxMOT, OpenCV)
- Прототипирование интерфейса подсчёта с линиями пересечения (Streamlit)
- Степанов Вячеслав Григорьевичучастник стажировки
- Интеграция авторазметки сегментации (SAM2, SAM-Lite, Docker)
- Настройка и запуск сред разметки (CVAT, Label Studio)
- Исследование качества масок и полигонов, визуальный анализ (SAM2, FiftyOne)
- Формирование эталонных сегментационных датасетов
- Обучение и дообучение моделей сегментации YOLOv8-Seg (Ultralytics)
- Организация пайплайна подсчёта цыплят YOLOv8, ByteTrack (Ultratytics, BoxMOT, OpenCV)
- Достижение высокой точности счёта на видео (Ultratytics, BoxMOT, OpenCV)
- Шмонов Дмитрий Михайловичучастник стажировки
- Верификация и очистка датасетов (OpenCV, Google Colab)
- Нормализация и подготовка данных для YOLO (NumPy, OpenCV)
- Создание инструментов анализа аномалий разметки с помощью (CSV, Pandas)
- Бенчмаркинг моделей детекции на камере 1 (Ultratytics, PyTorch, Colab)
- Сборка прикладного пайплайна подсчёта цыплят в реальном времени средствами (Ultratytics, BoxMOT, OpenCV)
- Шульдишов Игорь Николаевичучастник стажировки
- Верификация и корректировка разметки датасетов (VGG Image Annotator, RoboFlow)
- Сегментация сложных сцен с авторазметкой (SAM-2, SAM-3, HQ-SAM, RoboFlow)
- Формирование эталонных масок и гайдлайнов (RoboFlow, OpenCV)
- Эксперименты с обучением моделей сегментации YOLOv5/YOLO-seg (Google Colab, Ultratytics)