AI проекты
Этапы подбора
Резюме
Блог
О проекте
Демонстрация
Участники
Благодарность
Стажировка по проекту
Компания: ООО «МЕДИА БАЙЕР»
Система обработки телефонных аудиозаписей call-центра
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Создать систему автоматического распознавания звонков, поступающих в call-центр. Система должна выполнять следующие функции:
  1. Классификация входящего звонка по шести категориям: покупка товара, просьба перезвонить, оставили телефон, срыв на операторе, хулиганский звонок, автооответчик;
  2. Удаление музыки для сокращения аудиофрагмента;
  3. Распознавание (перевод голоса в текст) звонка;
  4. Выделение (поиск) сущностей в распознанном тексте: ФИО клиента, адрес клиента, телефон клиента, товар
Автоматизация сортировки поступающих в call-центр звонков
  • База звонков в call-центр порядка 1000 штук, распознанная сервисами Tinkoff и Yandex;
  • Словарь товаров
  • Точность классификации: 93%
  • 100% удаление музыкальной части в записи разговора
  • Выделение сущностей с помощью различных инструментов
Участники команды проекта
  • КУЗИН СЕРГЕЙ
    Тимлид проекта
    Сергей - руководитель группы разработчиков, отвечал за полную разработку проекта
  • БАБИН АЛЕКСАНДР
    Аналитик в корпорации «Элар»
    • Создание блока разделения аудио на фразы;
    • Создание блока удаления музыки
  • ПЕТРУШКЕВИЧ ТАТЬЯНА
    Менеджер проектов
    • Тестирование системы/скриптов;
    • Проверка гипотезы применения модели Stanza
  • ЩАДРИНА ОЛЬГА
    ИТ-менеджер на промышленном предприятии
    • Подготовка аудиофайлов;
    • Распознавание данных с последующей нарезкой;
    • Применение open-sourse решений NER: Natasha, PullEnty;
    • Оформление подсветки результирующих данных
  • БОЙЦОВ АНТОН
    Главный инженерный специалист по продажам, установке, обслуживанию и ремонту неэлектрических дозирующих насосов французской компании Dosatron International
    • Распознавание по заданным интервалам;
    • Распознавание с нарезкой и перекрытием;
    • Склейка текстов по пересекающемуся фрагменту;
    • Анализ датасета;
    • Подготовка тестового пакета;
    • Классификация нейросетью;
    • Поиск триггеров;
    • Локализация сущностей;
    • Подготовка текстов для NER;
    • Поиск и выделение цветом цифровых последовательностей заданной длины;
    • Сборка демонстрационного ноутбука
  • МОРОЗОВ АНТОН
    Технический директор в coachtube
    • Проверка гипотез по дообучению NER-моделей на своих данных;
    • Тестирование модели ruGPT;
    • Проверка гипотезы применения модели Speaker Diarization;
    • Тестирование моделей BERT;
    • Тестирование open-sourse решений
  • БАКШЕЕВ АНДРЕЙ
    Занимается автоматизацией работы клиентской поддержки
    • Тестирование системы/скриптов;
    • Создание блока поиска товара по каталогу
  • АЛЮНОВ ДМИТРИЙ
    Data Scientist в банке
    • Тестирование системы/скриптов;
    • Проверки open-sourse решений
  • ОСТАПЕНКО ВАЛЕРИЯ
    Руководитель отдела финансовой аналитики
    • Интеграционная часть;
    • Реализация веб-интерфейса с помощью fast API;
    • Проверка гипотезы применения TF-serving
Демонстрация проекта
Принцип работы:
  1. Аудиозапись разговора загружается в рабочую среду;
  2. На первом этапе происходит удаление «музыкальной части» аудиоданных с целью сокращения длительности файла;
  3. Дальше происходит распознавание речи. Возможно использование сервисов Google SpeechRecognition и Yandex Toolkit;
  4. Распознанный текст проверяется блоком классификации для определения категории звонка;
  5. На финальном этапе происходит выделение (поиск) целевых сущностей в распознанном текст
Благодарность университета