Стажировка
Создание прототипа ИИ-системы по контролю качества работы операторов колл-центра на основе анализа волновых характеристик аудио-записей их разговоров
Компания: ООО «ГИпер»
Суть проекта
Задача
Вводные данные
Проект нацелен на анализ эмоциональной окраски разговоров для улучшения взаимодействия с клиентами и повышения качества обслуживания. Проект ориентирован на исследование и понимание эмоциональных состояний клиентов в процессе взаимодействия с компанией или услугой.


  1. Распознавание ключевых эмоциональных состояний (радость, гнев, страх, удивление и т. д.) в диалогах по аудио-записям
  2. Выделение положительных, нейтральных и негативных эмоций
  3. Ранжирование по силе эмоций
  4. Создание текстовых и графических отчетных форм с оценкой эмоциональной окраски диалогов
  1. Статистика по основным видам эмоций
  2. Графическое представление эмоциональной окраски разговора, где ось X отображает ход диалога, а ось Y отражает шкалу положительных (больше 0) и отрицательных (меньше 0) эмоций
Аудиозаписи звонков колл-центра
Основные задачи
выходные данные
Участники
команды проекта
  • Руслан Гришаков
    Тимлид проекта
    • Руководство командой разработчиков на всех этапах проекта
    • Организация и планирование задач
    • Контроль и соблюдение сроков
    • Обеспечение эффективной коммуникации внутри команды и с заказчиком
    • Оказание технической поддержки команде
    • Помощь в выборе оптимальных решений
    • Контроль за качеством кода и соблюдением стандартов разработки
  • василий даутов
    MLOps ментор УИИ, Сomputer Vision Engineer
    • Исследование методов распознавания эмоций
    • Формирование решений по проекту с использованием Aniemore и LLM (Mistral)
    • Векторизация распознанных эмоций и реализация контекстного поиска
    • Создание фронтенда на основе PyQt5
    • Создание фронтенда на основе PySide6
    • Разработка клиент-серверного приложения на основе React и FastAPI
  • олег дойков
    Системный администратор, программист Perl, HTML, 1С 7.7-8.3 + MS SQL, Java, MQL4-5, Python
    • Исследование методов распознавания эмоций
    • Формирование решений по проекту с использованием Aniemore и LLM (Mistral)
    • Проработка решения с использованием только LLM (Mistral)
    • Создание фронтенда на основе PyQt5
    • Участие в прослушивании аудио-записей датасета для оценивания эмоционального фона и силы эмоций в диалогах
  • сергей старкин
    арбитражный управляющий
    • Исследование методов распознавания эмоций
    • Формирование решений по проекту с использованием Aniemore и LLM
    • Проработка графических и отчетных форм
    • Контейнеризация в Docker
  • александр волохов
    Инженер
    • Исследование методов распознавания эмоций
    • Исследование методов очистки от шумов аудио-записей
    • Подбор оптимальных методов очистки от шумов для транскрибации и для анализа аудио-параметров
    • Подготовка датасета с разделением аудиофайлов на каналы и чанки
    • Сегментация датасета методом k-means с ручной инициализацией центроидов
    • Создание и обучение полносвязной нейронной сети для распознавания полученных классов в кластеризации датасета
    • Feature Engineering в обучении модели нейронной сети
    • Тестирование и визуализация распознавания эмоций на основе полученной модели
    • Участие в прослушивании аудио-записей датасета для оценивания эмоционального фона и силы эмоций в диалогах
  • асхат хузин
    видеограф в отделе рекламы на предприятии испытательного оборудования
    • Исследование методов распознавания эмоций
    • Исследование методов очистки от шумов аудио-записей
    • Разработка скрипта с использованием интеллектуальной маски для очистки от перекрестных помех в каналах аудио-записей
    • Исследование точности распознавания эмоций с использованием Aniemore и LLM
    • Проработка графических и отчетных форм
    • Ручная разметка аудиофайлов для оценки качества распознавания эмоций нейросетью
  • елена гринина
    • Исследование методов распознавания эмоций
    • Участие в прослушивании аудио-записей датасета для оценивания эмоционального фона и силы эмоций в диалогах
    • Тестирование и помощь в отладке сформированных решений
  • анастасия кошелева
    менеджер службы поддержки
    • Исследование методов распознавания эмоций
    • Участие в прослушивании аудио-записей датасета для оценивания эмоционального фона и силы эмоций в диалогах
    • Тестирование и помощь в отладке сформированных решений