Стажировка по проекту
Компания: «Оренбургский филиал ФГАУ НМИЦ «МНТК «Микрохирургия глаза» им. акад. С.Н.Федорова МЗ РФ»
Разработка системы, обеспечивающей визуализацию шовной фиксации при оперативном лечении глаза, с целью улучшения точности и удобства хирургического вмешательства
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Разработать систему, обеспечивающую визуализацию шовной фиксации при оперативном лечении глаза, с целью улучшения точности и удобства хирургического вмешательства
Для того, чтобы улучшить точность и удобство хирургических вмешательств при операциях кератопластики. Разработка системы визуализации направлена на помощь хирургам в улучшении контроля и понимания процесса шовной фиксации, что в конечном итоге должно привести к повышению результативности операций и снижению риска осложнений
Видео записи с операционного микроскопа
Десктопное и Web приложение, наносящее разметку при проведении операции
Участники
1 команды проекта
  • Терещенко Алексей
    Тимлид проекта
    Алексей — руководитель группы разработчиков, отвечал за полную разработку проекта
  • Бугров Алексей
    Помощник тимлида
    Алексей помогал руководителю команды организовывать процесс разработки проекта
  • Скрипник Игорь
    Помощник тимлида
    Игорь помогал руководителю команды организовывать процесс разработки проекта
  • Горбатников Константин
    • Изучение технологий проведения сквозной и передней пластинчатой кератопластики, а также использование фемтосекундного лазера для разрезания роговицы;
    • Сбор видеоданных из открытых источников и предоставленных заказчиком, формирование датасета и написание скрипта;
    • Разметка видеоданных с помощью инструмента CVAT;
    • Исследование архитектур моделей нейронных сетей для обработки изображений в реальном времени, выбор модели YOLOv8 за её скорость и точность;
    • Обучение модели YOLOv8 и тестирование её эффективности на видеоснимках;
    • Изучение теории цифровой обработки видеоизображений и особенностей входного видеопотока 3G SDI с WDR, поступающего с медицинского микроскопа;
    • Тестирование модели на USB-камере с FHD видеопотоком, детекция хирургических инструментов и наложение изображения на видеопоток;
    • Разработка десктоп-приложения на базе PyQt, добавление функций изменения размеров отображения видеопотока и выбора толщины маски;
    • Тестирование работоспособности приложения с заказчиком через удаленное подключение к видеопотоку в формате RTSP
  • Уразова Юлия
    СММ-специалист, таргетолог, директолог
    • Разметка и доразметка датасетов из видео, предоставленных заказчиком;
    • Тестирование моделей YOLOv8 разных размеров (s, n, l, x) с различными настройками, включая изменение размера изображений и гиперпараметров моделей;
    • Определение наиболее эффективных весов для моделей YOLOv8l и YOLOv8x, результаты переданы в группу;
    • Применение найденных весов и моделей для трекинга и детекции на видео от заказчика, результаты предоставлены группе;
    • Доразметка датасета с фотографиями начала операции и добавление новых данных в общий датасет;
    • Повторное обучение модели YOLOv8x с обновленными данными;
    • Изучение теории нового типа разметки и модели YOLOv8-obb, принято решение не использовать её в текущем проекте;
    • Изучение детекции с использованием KerasCV, но в конечном итоге выбор сделан в пользу других инструментов
  • Мартыненко Анна
    ведущий специалист по работе с клиентами в сфере пенсионного и социального обеспечения
    • Изучение и применение навыков обработки датасета с использованием программного обеспечения CVAT, LabelImg, Roboflow;
    • Разметка более 400 фотографий в рамках проекта;
    • Изучение и подбор параметров модели YOLOv8, при этом модель YOLOv8-s показала лучшие результаты в распознавании объектов на фото и видео;
    • Применение в проекте OpenCV, фреймворка Object Detection и изучение материалов по трекингу объектов на видео;
    • Поиск и изучение дополнительной информации помимо университетских материалов, что стало первым опытом работы над подобным проектом;
    • Планы на изучение техник нанесения сетки хирургического чертежа и выполнение разметки под сегментацию с использованием графического редактора GIMP после окончания проекта;
    • Подготовка и презентация результатов проекта в завершение
  • Светозаров Андрей
    Руководитель IT-проектов. АльфаБанк
    • Разметка датасета для подготовки к обучению моделей, включая детализацию и классификацию изображений по заданным критериям;
    • Участие в процессе обучения моделей, настройка параметров и анализ результатов для повышения точности распознавания;
    • Разработка специализированного модуля для нанесения сетки или подсветки, предназначенной для помощи хирургу в процессе наложения швов, обеспечивая высокую точность манипуляций;
    • Тестирование разработанных моделей на способность точно накладывать сетку хирургического шва на изображения и видео, проверка функционала в различных условиях;
    • Оптимизация алгоритмов для улучшения производительности и точности модуля по нанесению сетки, включая корректировку по обратной связи от хирургов;
    • Внедрение системы для автоматического распознавания хирургических инструментов и определения оптимальных точек для наложения швов на основе анализа видео
  • Маркин Владимир
    • Участие в первом этапе проекта, включающем в себя:
    - Разметку базы изображений для обучения модели;
    - Занятие разметкой и тренировкой модели;
    - Получение предварительных результатов работы модели;
    • Участие во втором этапе проекта, заключающемся в:
    - Разработке прототипа web-сервера для демонстрации работы модели;
    - Возможность демонстрации работы модели на сетевых видеопотоках или веб-камерах, подключенных к серверу;
    - Исследование возможности многопользовательского режима;
    - Реализация передачи видеопотока с наложенной схемой разметки в браузер пользователя
  • Басов Юрий
    РАЗРАБОТЧИК САЙТОВ ПОД ЗАКАЗ
    • Создание модели хирургического чертежа на базе разметки нейронной сети YOLO в рамках стажировки;
    • Интеграция модели на оборудование с использованием клиента PyQT и сервера FastAPI;
    • Обработка видео в режиме реального времени благодаря разработанной интеграции;
    • Развитие проекта путем обучения дополнительных моделей:
    • - Обучение модели YOLO8 OBB для использования в обучающих целях;
    • - Обучение модели YOLO8 SEG также для использования в обучающих целях
  • Сусарев Андрей
    ведущий эксперт в Управлении автодорог Республики Карелия
    • Разметка основного и дополнительного датасетов, в сумме состоящих из 370 кадров;
    • Обучение модели YOLO v8L на базе 570 изображений, включая исходные и сжатые размеры изображений;
    • Достижение средней точности обнаружения объектов 0,985 при стандартном пороге IoU 0,5 для исходного размера кадра;
    • Подготовка итоговой презентации по результатам работы команды;
    • Подготовка и презентация результатов проекта в завершение
Участники
2команды проекта
  • Резер Артем
    Тимлид проекта
    Артем — руководитель проекта, участие в разработке, координация работы команды, постановка задач, контроль качество и сроков их выполнения
  • Марарескул Дмитрий
    Помощник тимлида
    Дмитрийпомогал руководителю команды организовывать процесс разработки проекта

    • Проведение исследований и разработка функции обнаружения контура линии выреза ложа с применением алгоритмов оптимизаций и аппроксимаций, библиотеки cv2 и алгоритмов подбора параметров эллипса контура выреза, проведение опытных запусков на кадрах процесса операции;
    • Проведены исследования по использованию методов стабилизации изображения;
    • Разработка и отладка десктопного нейросетевого приложения на базе библиотеки PyQT для отображения видеопотока хода операции, обрабатываемого обученной на датекцию импланта нейросетью, с вычислением его центра и отрисовки сетки разметки нанесения швов в соответствии с ТЗ. Реализация в приложении полуавтоматического режима подстройки параметров сетки разметки таких как элипсность, диаметр, наклон с возможностью подгонки на стоп-кадре к форме и размеру размещенного в ложе импланта
  • Колесников Иван
    • Реализация скрипта раскадровки видео файлов с возможностью задания интервала и шага раскадровки;
    • Реализация скрипта реиндексации меток классов в файлах разметки с сохранением новых фалов разметки с измененными индексами классов;
    • Разметка данных с применением специализированного пакета Label Studio
  • Усынин Александр
    • Освоение специализированного пакета автоматизированной разметки Label Studio, импорта и экспорта датасетов, настройки параметров размкетки, классов и методов бакэндной части пакета, позволяющих использовать предобученные нейросети для автоматизации разметки;
    • Разметка данных с применением специализированного пакета Label Studio;
    • Проведение экспериментов с детекцией и трекингом накладываемых хирургом швов в процессе пришивания импланта
Демонстрация проекта
1 команды
Благодарность университетУ