Стажировка по проекту
Создание ИИ-системы для мониторинга безопасности в пансионатах для пожилых
Компания: ООО «СГЦ ОПЕКА»
Суть проекта
Задача
Для чего
Вводные данные
Создать систему, способную распознавать и фиксировать бранную речь сотрудников при работе с клиентами на основе архива видеозаписей со звуковыми дорожками с камер видеонаблюдения
Проект необходим для автоматического выявления и фиксации случаев бранной речи сотрудников во время работы с клиентами, что поможет улучшить качество обслуживания, обеспечит соблюдение корпоративных стандартов общения и позволит оперативно реагировать на инциденты. Система будет идентифицировать голос конкретного человека, распознавать бранные слова и анализировать тональность речи, что обеспечит всесторонний контроль за взаимодействием сотрудников с клиентами
Аудиозаписи с камер пансионата
Интегрированная рабочая система на сервере заказчика
Выходные данные
Участники
1 команды проекта
  • Терещенко Алексей
    Тимлид проекта
    Алексей - руководитель группы разработчиков, отвечал за полную разработку проекта
  • Губайдуллин Наиль
    Помощник Тимлида
    Наиль помогал руководителю команды организовывать процесс разработки проекта
  • Козырев Сергей
    Помощник Тимлида
    Сергей помогал руководителю команды организовывать процесс разработки проекта
  • Брутян Рубен
    Инженер//Специалист по Государственным закупкам
    • Подавление шумов (подбор методов)
    • Транскрибация STT (Speech Recognition, Whisper, Vosk): - Эксперимент и анализ с зашумленным аудио и без
    • Идентификация личности на примере готового DS RAVDESS
    • Речевое распознавание эмоций (RAVDESS)
    • Классификация на голоса мужские и женские (RAVDESS)
    • Речевое распознавание мужских и женских эмоций (RAVDESS)
    • Определение тональности слов в тексте на примере двух классов
  • Толчин Дмитрий
    Своя компания в сфере технической безопасности: Проектирование, продажа, установка, интеграция
    • Создание модуля шумоподавления
    • Создание модуля приема и обработки потока аудио
    • Создание модуля транскрибации и обработки словаря бранных слов
    • Создание заготовки под модели распознавания эмоций и модуля идентификации по голосу
    • Поиск решений для шумоподавления и улучшения качества звука
  • Бессонов Максим
    специалист по реализации газа юридическим лицам
    • Изучены различные варианты Automatic Speech Recognition
    • Основное внимание уделено библиотеке WHISPER с моделями medium и Large
    • Проработана функция распознавания бранных слов из файла
    • Выполнена работа с Noisereduce по уменьшению шумов в аудиофайлах
    • Разработана функция приема аудиопотока и его сохранения в файл
    • Изучена функция присвоения значения для каждого "говорящего" в аудиофайле для отображения количества говорящих
    • Изучена функция сбора и перемещения артефактов, возникающих при транскрибации с использованием WHISPER
  • Химяк Павел
    программист и преподаватель йоги
    • Эксперименты с моделями классификации звуковых данных (голос, тишина)
    • Эксперименты с моделями шумоподавления
    • Эксперименты с моделями идентификации голоса
    • Поиск и анализ датасетов для задач классификации и идентификации голоса
    • Разработка архитектуры приложения с учетом последующего масштабирования и размещения на разных серверах
Демонстрация проекта