Стажировка по проекту
Компания: «Оренбургский филиал ФГАУ НМИЦ «МНТК «Микрохирургия глаза» им. акад. С.Н.Федорова МЗ РФ»
Разработка системы, обеспечивающей визуализацию шовной фиксации при оперативном лечении глаза, с целью улучшения точности и удобства хирургического вмешательства
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Разработать систему, обеспечивающую визуализацию шовной фиксации при оперативном лечении глаза, с целью улучшения точности и удобства хирургического вмешательства
Для того, чтобы улучшить точность и удобство хирургических вмешательств при операциях кератопластики. Разработка системы визуализации направлена на помощь хирургам в улучшении контроля и понимания процесса шовной фиксации, что в конечном итоге должно привести к повышению результативности операций и снижению риска осложнений
Видео записи с операционного микроскопа
Десктопное и Web приложение, наносящее разметку при проведении операции
Участники
1 команды проекта
1 команды проекта
- Терещенко АлексейТимлид проектаАлексей — руководитель группы разработчиков, отвечал за полную разработку проекта
- Бугров АлексейПомощник тимлидаАлексей помогал руководителю команды организовывать процесс разработки проекта
- Скрипник ИгорьПомощник тимлидаИгорь помогал руководителю команды организовывать процесс разработки проекта
- Горбатников Константин
- Изучение технологий проведения сквозной и передней пластинчатой кератопластики, а также использование фемтосекундного лазера для разрезания роговицы;
- Сбор видеоданных из открытых источников и предоставленных заказчиком, формирование датасета и написание скрипта;
- Разметка видеоданных с помощью инструмента CVAT;
- Исследование архитектур моделей нейронных сетей для обработки изображений в реальном времени, выбор модели YOLOv8 за её скорость и точность;
- Обучение модели YOLOv8 и тестирование её эффективности на видеоснимках;
- Изучение теории цифровой обработки видеоизображений и особенностей входного видеопотока 3G SDI с WDR, поступающего с медицинского микроскопа;
- Тестирование модели на USB-камере с FHD видеопотоком, детекция хирургических инструментов и наложение изображения на видеопоток;
- Разработка десктоп-приложения на базе PyQt, добавление функций изменения размеров отображения видеопотока и выбора толщины маски;
- Тестирование работоспособности приложения с заказчиком через удаленное подключение к видеопотоку в формате RTSP
- Уразова ЮлияСММ-специалист, таргетолог, директолог
- Разметка и доразметка датасетов из видео, предоставленных заказчиком;
- Тестирование моделей YOLOv8 разных размеров (s, n, l, x) с различными настройками, включая изменение размера изображений и гиперпараметров моделей;
- Определение наиболее эффективных весов для моделей YOLOv8l и YOLOv8x, результаты переданы в группу;
- Применение найденных весов и моделей для трекинга и детекции на видео от заказчика, результаты предоставлены группе;
- Доразметка датасета с фотографиями начала операции и добавление новых данных в общий датасет;
- Повторное обучение модели YOLOv8x с обновленными данными;
- Изучение теории нового типа разметки и модели YOLOv8-obb, принято решение не использовать её в текущем проекте;
- Изучение детекции с использованием KerasCV, но в конечном итоге выбор сделан в пользу других инструментов
- Мартыненко Аннаведущий специалист по работе с клиентами в сфере пенсионного и социального обеспечения
- Изучение и применение навыков обработки датасета с использованием программного обеспечения CVAT, LabelImg, Roboflow;
- Разметка более 400 фотографий в рамках проекта;
- Изучение и подбор параметров модели YOLOv8, при этом модель YOLOv8-s показала лучшие результаты в распознавании объектов на фото и видео;
- Применение в проекте OpenCV, фреймворка Object Detection и изучение материалов по трекингу объектов на видео;
- Поиск и изучение дополнительной информации помимо университетских материалов, что стало первым опытом работы над подобным проектом;
- Планы на изучение техник нанесения сетки хирургического чертежа и выполнение разметки под сегментацию с использованием графического редактора GIMP после окончания проекта;
- Подготовка и презентация результатов проекта в завершение
- Светозаров АндрейРуководитель IT-проектов. АльфаБанк
- Разметка датасета для подготовки к обучению моделей, включая детализацию и классификацию изображений по заданным критериям;
- Участие в процессе обучения моделей, настройка параметров и анализ результатов для повышения точности распознавания;
- Разработка специализированного модуля для нанесения сетки или подсветки, предназначенной для помощи хирургу в процессе наложения швов, обеспечивая высокую точность манипуляций;
- Тестирование разработанных моделей на способность точно накладывать сетку хирургического шва на изображения и видео, проверка функционала в различных условиях;
- Оптимизация алгоритмов для улучшения производительности и точности модуля по нанесению сетки, включая корректировку по обратной связи от хирургов;
- Внедрение системы для автоматического распознавания хирургических инструментов и определения оптимальных точек для наложения швов на основе анализа видео
- Маркин Владимир
- Участие в первом этапе проекта, включающем в себя:
- Занятие разметкой и тренировкой модели;
- Получение предварительных результатов работы модели;- Участие во втором этапе проекта, заключающемся в:
- Возможность демонстрации работы модели на сетевых видеопотоках или веб-камерах, подключенных к серверу;
- Исследование возможности многопользовательского режима;
- Реализация передачи видеопотока с наложенной схемой разметки в браузер пользователя - Басов ЮрийРАЗРАБОТЧИК САЙТОВ ПОД ЗАКАЗ
- Создание модели хирургического чертежа на базе разметки нейронной сети YOLO в рамках стажировки;
- Интеграция модели на оборудование с использованием клиента PyQT и сервера FastAPI;
- Обработка видео в режиме реального времени благодаря разработанной интеграции;
- Развитие проекта путем обучения дополнительных моделей:
- - Обучение модели YOLO8 OBB для использования в обучающих целях;
- - Обучение модели YOLO8 SEG также для использования в обучающих целях
- Сусарев Андрейведущий эксперт в Управлении автодорог Республики Карелия
- Разметка основного и дополнительного датасетов, в сумме состоящих из 370 кадров;
- Обучение модели YOLO v8L на базе 570 изображений, включая исходные и сжатые размеры изображений;
- Достижение средней точности обнаружения объектов 0,985 при стандартном пороге IoU 0,5 для исходного размера кадра;
- Подготовка итоговой презентации по результатам работы команды;
- Подготовка и презентация результатов проекта в завершение
Участники
2команды проекта
2команды проекта
- Резер АртемТимлид проектаАртем — руководитель проекта, участие в разработке, координация работы команды, постановка задач, контроль качество и сроков их выполнения
- Марарескул ДмитрийПомощник тимлидаДмитрийпомогал руководителю команды организовывать процесс разработки проекта
- Проведение исследований и разработка функции обнаружения контура линии выреза ложа с применением алгоритмов оптимизаций и аппроксимаций, библиотеки cv2 и алгоритмов подбора параметров эллипса контура выреза, проведение опытных запусков на кадрах процесса операции;
- Проведены исследования по использованию методов стабилизации изображения;
- Разработка и отладка десктопного нейросетевого приложения на базе библиотеки PyQT для отображения видеопотока хода операции, обрабатываемого обученной на датекцию импланта нейросетью, с вычислением его центра и отрисовки сетки разметки нанесения швов в соответствии с ТЗ. Реализация в приложении полуавтоматического режима подстройки параметров сетки разметки таких как элипсность, диаметр, наклон с возможностью подгонки на стоп-кадре к форме и размеру размещенного в ложе импланта
- Колесников Иван
- Реализация скрипта раскадровки видео файлов с возможностью задания интервала и шага раскадровки;
- Реализация скрипта реиндексации меток классов в файлах разметки с сохранением новых фалов разметки с измененными индексами классов;
- Разметка данных с применением специализированного пакета Label Studio
- Усынин Александр
- Освоение специализированного пакета автоматизированной разметки Label Studio, импорта и экспорта датасетов, настройки параметров размкетки, классов и методов бакэндной части пакета, позволяющих использовать предобученные нейросети для автоматизации разметки;
- Разметка данных с применением специализированного пакета Label Studio;
- Проведение экспериментов с детекцией и трекингом накладываемых хирургом швов в процессе пришивания импланта
Демонстрация проекта (youTube)
1 команды
1 команды
Демонстрация проекта (VK)
1 команды
1 команды
Благодарность университетУ