Стажировка

Блог

Почему услуга бесплатна

Стажировка по проекту

Создание ИИ-системы для мониторинга безопасности в пансионатах для пожилых

Компания: ООО «СГЦ ОПЕКА»

Суть проекта

Задача

Для чего

Вводные данные

Создать систему, способную распознавать и фиксировать бранную речь сотрудников при работе с клиентами на основе архива видеозаписей со звуковыми дорожками с камер видеонаблюдения

Проект необходим для автоматического выявления и фиксации случаев бранной речи сотрудников во время работы с клиентами, что поможет улучшить качество обслуживания, обеспечит соблюдение корпоративных стандартов общения и позволит оперативно реагировать на инциденты. Система будет идентифицировать голос конкретного человека, распознавать бранные слова и анализировать тональность речи, что обеспечит всесторонний контроль за взаимодействием сотрудников с клиентами

Аудиозаписи с камер пансионата

1 команда: Интегрированная рабочая система на сервере заказчика
2 команда: Сводка о вероятностях брани и конфликтных ситуаций на записях или в потоковых входных данных, либо направляемая в телеграмм-канал, либо формируемая телеграмм-ботом

Выходные данные

Участники
1 команды проекта

Терещенко Алексей

Тимлид проекта

Алексей - руководитель группы разработчиков, отвечал за полную разработку проекта
Губайдуллин Наиль

Помощник Тимлида

Наиль помогал руководителю команды организовывать процесс разработки проекта
Козырев Сергей

Помощник Тимлида

Сергей помогал руководителю команды организовывать процесс разработки проекта
Брутян Рубен

Инженер//Специалист по Государственным закупкам
- Подавление шумов (подбор методов)
- Транскрибация STT (Speech Recognition, Whisper, Vosk): - Эксперимент и анализ с зашумленным аудио и без
- Идентификация личности на примере готового DS RAVDESS
- Речевое распознавание эмоций (RAVDESS)
- Классификация на голоса мужские и женские (RAVDESS)
- Речевое распознавание мужских и женских эмоций (RAVDESS)
- Определение тональности слов в тексте на примере двух классов
Толчин Дмитрий

Своя компания в сфере технической безопасности: Проектирование, продажа, установка, интеграция
- Создание модуля шумоподавления
- Создание модуля приема и обработки потока аудио
- Создание модуля транскрибации и обработки словаря бранных слов
- Создание заготовки под модели распознавания эмоций и модуля идентификации по голосу
- Поиск решений для шумоподавления и улучшения качества звука
Бессонов Максим

специалист по реализации газа юридическим лицам
- Изучены различные варианты Automatic Speech Recognition
- Основное внимание уделено библиотеке WHISPER с моделями medium и Large
- Проработана функция распознавания бранных слов из файла
- Выполнена работа с Noisereduce по уменьшению шумов в аудиофайлах
- Разработана функция приема аудиопотока и его сохранения в файл
- Изучена функция присвоения значения для каждого "говорящего" в аудиофайле для отображения количества говорящих
- Изучена функция сбора и перемещения артефактов, возникающих при транскрибации с использованием WHISPER
Химяк Павел

программист и преподаватель йоги
- Эксперименты с моделями классификации звуковых данных (голос, тишина)
- Эксперименты с моделями шумоподавления
- Эксперименты с моделями идентификации голоса
- Поиск и анализ датасетов для задач классификации и идентификации голоса
- Разработка архитектуры приложения с учетом последующего масштабирования и размещения на разных серверах

Участники
2 команды проекта

Грищаков Руслан

Тимлид проекта

Руслан - руководитель группы разработчиков, отвечал за полную разработку проекта
Рязанцев Егор

Помощник тимлида

Егор помогал руководителю команды организовывать процесс разработки проекта
Кибардин Алексей

РУКОВОДИТЕЛЬ ОТДЕЛА РАЗРАБОТКИ
- Разработка одного из основных решений по проекту
- Исследование методов шумоподавления
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Исследование методов диаризации
- Реализация оповещений в Telegram-канал
- Создание Telegram-бота
Язынина диляра

маркетолог
- Разработка одного из основных решений по проекту
- Создание и использование в решении словаря бранных слов
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Исследование методов диаризации
- Создание Telegram-бота
перминов алексей

СПЕЦИАЛИСТ ПО НАСТРОЙКЕ И ОБСЛУЖИВАНИЮ РАСЧЕТНЫХ СИСТЕМ
- Разработка одного из основных решений по проекту
- Исследование методов шумоподавления
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Создание Telegram-бота
Мадыкин сергей

юрист
- Участие в создании словаря бранных слов
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Комплексное тестирование основных решений по проекту
Кузнецов Игорь

финансист, CFO, CEO Byte3 Inc
- Комплексное тестирование основных решений по проекту
Выговская наталья

СТАРШИЙ ПРЕПОДАВАТЕЛЬ НА КАФЕДРЕ АСУ БЕЛОРУССКО-РОССИЙСКОГО УНИВЕРСИТЕТА
- Исследование методов шумоподавления
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Комплексное тестирование основных решений по проекту
Булгаков Сергей

ВОЕННОСЛУЖАЩИЙ МО РФ
- Исследование методов шумоподавления
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
Царичанская Ольга

WEB-РАЗРАБОТЧИК, ПРОГРАММИСТ, IT-ПРЕДПРИНИМАТЕЛЬ
- Исследование методов шумоподавления
- Комплексное тестирование основных решений по проекту
Кузнецова Нелли

МЕДИЦИНСКИЙ РАБОТНИК
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Комплексное тестирование основных решений по проекту

Демонстрация проекта (youTube)

Демонстрация проекта (VK)