Стажировка по проекту
Создание ИИ-системы для мониторинга безопасности в пансионатах для пожилых
Компания: ООО «СГЦ ОПЕКА»
Суть проекта
Задача
Для чего
Вводные данные
Создать систему, способную распознавать и фиксировать бранную речь сотрудников при работе с клиентами на основе архива видеозаписей со звуковыми дорожками с камер видеонаблюдения
Проект необходим для автоматического выявления и фиксации случаев бранной речи сотрудников во время работы с клиентами, что поможет улучшить качество обслуживания, обеспечит соблюдение корпоративных стандартов общения и позволит оперативно реагировать на инциденты. Система будет идентифицировать голос конкретного человека, распознавать бранные слова и анализировать тональность речи, что обеспечит всесторонний контроль за взаимодействием сотрудников с клиентами
Аудиозаписи с камер пансионата
1 команда: Интегрированная рабочая система на сервере заказчика
2 команда: Сводка о вероятностях брани и конфликтных ситуаций на записях или в потоковых входных данных, либо направляемая в телеграмм-канал, либо формируемая телеграмм-ботом
2 команда: Сводка о вероятностях брани и конфликтных ситуаций на записях или в потоковых входных данных, либо направляемая в телеграмм-канал, либо формируемая телеграмм-ботом
Выходные данные
Участники
1 команды проекта
1 команды проекта
- Терещенко АлексейТимлид проектаАлексей - руководитель группы разработчиков, отвечал за полную разработку проекта
- Губайдуллин НаильПомощник ТимлидаНаиль помогал руководителю команды организовывать процесс разработки проекта
- Козырев СергейПомощник ТимлидаСергей помогал руководителю команды организовывать процесс разработки проекта
- Брутян РубенИнженер//Специалист по Государственным закупкам
- Подавление шумов (подбор методов)
- Транскрибация STT (Speech Recognition, Whisper, Vosk): - Эксперимент и анализ с зашумленным аудио и без
- Идентификация личности на примере готового DS RAVDESS
- Речевое распознавание эмоций (RAVDESS)
- Классификация на голоса мужские и женские (RAVDESS)
- Речевое распознавание мужских и женских эмоций (RAVDESS)
- Определение тональности слов в тексте на примере двух классов
- Толчин ДмитрийСвоя компания в сфере технической безопасности: Проектирование, продажа, установка, интеграция
- Создание модуля шумоподавления
- Создание модуля приема и обработки потока аудио
- Создание модуля транскрибации и обработки словаря бранных слов
- Создание заготовки под модели распознавания эмоций и модуля идентификации по голосу
- Поиск решений для шумоподавления и улучшения качества звука
- Бессонов Максимспециалист по реализации газа юридическим лицам
- Изучены различные варианты Automatic Speech Recognition
- Основное внимание уделено библиотеке WHISPER с моделями medium и Large
- Проработана функция распознавания бранных слов из файла
- Выполнена работа с Noisereduce по уменьшению шумов в аудиофайлах
- Разработана функция приема аудиопотока и его сохранения в файл
- Изучена функция присвоения значения для каждого "говорящего" в аудиофайле для отображения количества говорящих
- Изучена функция сбора и перемещения артефактов, возникающих при транскрибации с использованием WHISPER
- Химяк Павелпрограммист и преподаватель йоги
- Эксперименты с моделями классификации звуковых данных (голос, тишина)
- Эксперименты с моделями шумоподавления
- Эксперименты с моделями идентификации голоса
- Поиск и анализ датасетов для задач классификации и идентификации голоса
- Разработка архитектуры приложения с учетом последующего масштабирования и размещения на разных серверах
Участники
2 команды проекта
2 команды проекта
- Грищаков РусланТимлид проектаРуслан - руководитель группы разработчиков, отвечал за полную разработку проекта
- Рязанцев ЕгорПомощник тимлидаЕгор помогал руководителю команды организовывать процесс разработки проекта
- Кибардин АлексейРУКОВОДИТЕЛЬ ОТДЕЛА РАЗРАБОТКИ
- Разработка одного из основных решений по проекту
- Исследование методов шумоподавления
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Исследование методов диаризации
- Реализация оповещений в Telegram-канал
- Создание Telegram-бота
- Язынина диряламаркетолог
- Разработка одного из основных решений по проекту
- Создание и использование в решении словаря бранных слов
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Исследование методов диаризации
- Создание Telegram-бота
- перминов алексейСПЕЦИАЛИСТ ПО НАСТРОЙКЕ И ОБСЛУЖИВАНИЮ РАСЧЕТНЫХ СИСТЕМ
- Разработка одного из основных решений по проекту
- Исследование методов шумоподавления
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Создание Telegram-бота
- Мадыкин сергейюрист
- Участие в создании словаря бранных слов
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Комплексное тестирование основных решений по проекту
- Кузнецов Игорьфинансист, CFO, CEO Byte3 Inc
- Комплексное тестирование основных решений по проекту
- Выговская натальяСТАРШИЙ ПРЕПОДАВАТЕЛЬ НА КАФЕДРЕ АСУ БЕЛОРУССКО-РОССИЙСКОГО УНИВЕРСИТЕТА
- Исследование методов шумоподавления
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Комплексное тестирование основных решений по проекту
- Булгаков СергейВОЕННОСЛУЖАЩИЙ МО РФ
- Исследование методов шумоподавления
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Царичанская ОльгаWEB-РАЗРАБОТЧИК, ПРОГРАММИСТ, IT-ПРЕДПРИНИМАТЕЛЬ
- Исследование методов шумоподавления
- Комплексное тестирование основных решений по проекту
- Кузнецова НеллиМЕДИЦИНСКИЙ РАБОТНИК
- Исследование методов распознавания и классификации речи по тональности и эмоциональной окраске
- Комплексное тестирование основных решений по проекту
Демонстрация проекта