Стажировка по проекту
Компания: ООО «МЕДИА БАЙЕР»
Система обработки телефонных аудиозаписей call-центра
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Создать систему автоматического распознавания звонков, поступающих в call-центр. Система должна выполнять следующие функции:
- Классификация входящего звонка по шести категориям: покупка товара, просьба перезвонить, оставили телефон, срыв на операторе, хулиганский звонок, автооответчик;
- Удаление музыки для сокращения аудиофрагмента;
- Распознавание (перевод голоса в текст) звонка;
- Выделение (поиск) сущностей в распознанном тексте: ФИО клиента, адрес клиента, телефон клиента, товар
Автоматизация сортировки поступающих в call-центр звонков
- База звонков в call-центр порядка 1000 штук, распознанная сервисами Tinkoff и Yandex;
- Словарь товаров
- Точность классификации: 93%
- 100% удаление музыкальной части в записи разговора
- Выделение сущностей с помощью различных инструментов
Участники команды проекта
- КУЗИН СЕРГЕЙТимлид проектаСергей - руководитель группы разработчиков, отвечал за полную разработку проекта
- БАБИН АЛЕКСАНДРАналитик в корпорации «Элар»
- Создание блока разделения аудио на фразы;
- Создание блока удаления музыки
- ПЕТРУШКЕВИЧ ТАТЬЯНАМенеджер проектов
- Тестирование системы/скриптов;
- Проверка гипотезы применения модели Stanza
- ЩАДРИНА ОЛЬГАИТ-менеджер на промышленном предприятии
- Подготовка аудиофайлов;
- Распознавание данных с последующей нарезкой;
- Применение open-sourse решений NER: Natasha, PullEnty;
- Оформление подсветки результирующих данных
- БОЙЦОВ АНТОНГлавный инженерный специалист по продажам, установке, обслуживанию и ремонту неэлектрических дозирующих насосов французской компании Dosatron International
- Распознавание по заданным интервалам;
- Распознавание с нарезкой и перекрытием;
- Склейка текстов по пересекающемуся фрагменту;
- Анализ датасета;
- Подготовка тестового пакета;
- Классификация нейросетью;
- Поиск триггеров;
- Локализация сущностей;
- Подготовка текстов для NER;
- Поиск и выделение цветом цифровых последовательностей заданной длины;
- Сборка демонстрационного ноутбука
- МОРОЗОВ АНТОНТехнический директор в coachtube
- Проверка гипотез по дообучению NER-моделей на своих данных;
- Тестирование модели ruGPT;
- Проверка гипотезы применения модели Speaker Diarization;
- Тестирование моделей BERT;
- Тестирование open-sourse решений
- БАКШЕЕВ АНДРЕЙЗанимается автоматизацией работы клиентской поддержки
- Тестирование системы/скриптов;
- Создание блока поиска товара по каталогу
- АЛЮНОВ ДМИТРИЙData Scientist в банке
- Тестирование системы/скриптов;
- Проверки open-sourse решений
- ОСТАПЕНКО ВАЛЕРИЯРуководитель отдела финансовой аналитики
- Интеграционная часть;
- Реализация веб-интерфейса с помощью fast API;
- Проверка гипотезы применения TF-serving
Демонстрация проекта
Принцип работы:
- Аудиозапись разговора загружается в рабочую среду;
- На первом этапе происходит удаление «музыкальной части» аудиоданных с целью сокращения длительности файла;
- Дальше происходит распознавание речи. Возможно использование сервисов Google SpeechRecognition и Yandex Toolkit;
- Распознанный текст проверяется блоком классификации для определения категории звонка;
- На финальном этапе происходит выделение (поиск) целевых сущностей в распознанном текст
Благодарность университета