Стажировка по проекту
Разработка модели нейронной сети для определения экстренных ситуаций по аудиозаписям звонков
Компания: ООО «Айкон софт»
Суть проекта
Задача
Для чего
Вводные данные
Необходимо разработать модель нейронной сети, способную быстро анализировать аудиозаписи звонков и определять, является ли вызов ложным или истинным
- Разработать модель нейронной сети, способную анализировать аудиозаписи звонков и определять экстренные ситуации
- Обеспечить оперативное определение ложных и истинных вызовов в течение 20 секунд
- Предоставить оператору рекомендацию по дальнейшим действиям на основе результатов анализа
- Аудиозаписи звонков, содержащие примеры как истинных, так и ложных вызовов
- Датасет с разметкой аудиозаписей (указание, является ли вызов истинным или ложным)
- Входные данные могут также включать дополнительные метаданные (например, временные метки, классификация шумов)
- Модель нейронной сети, которая способна анализировать аудиозаписи звонков и классифицировать их как истинные или ложные вызовы
- Флаг вызова (истинный/ложный) и рекомендация оператору по дальнейшим действиям на основе анализа вызова
- Интерфейс для оператора, который отображает информацию о вызове, рекомендации и позволяет быстро реагировать на экстренные ситуации
- Система, работающая в реальном времени, обеспечивающая точность и скорость обработки данных в течение 20 секунд, даже в условиях наличия шумов
Выходные данные
Участники
1 команды проекта
1 команды проекта
- Терещенко АлексейТимлид проектаАлексей - руководитель группы разработчиков, отвечал за полную разработку проекта
- Малицкий АндрейПомощник Тимлида
- Как помощник тимлида оказывал поддержку в координации проектных задач и управлении командой, обеспечивая связь между тимлидом и стажерами;
- Проработал все возможности распознавание звуков с места аварии с использованием предобученной нейронной сети «Real-Time Sound Event Detection»;
- Используя библиотеку PyQT разработал код для визуализации результатов распознавания звуков поступающих на вход звуковой платы локального компьютера в отдельном программном окне в режиме on-line. Оператор визуально на on-line диаграмме видит в цвете какие именно звуки в данный момент определяются и точность их определения (насыщенность конкретного цвета)
- Татаринцев Дмитрийзам. начальника склада на предприятии по производству дорожной продукции
- Изучение структуры и свойств доступных данных;
- Преобразование в формат, подходящий для обучения нейронных сетей. Тестирование различных подходы к параметризации аудио: списки дробных значений, бинарный подход;
- Проведение экспериментов сравнения различных алгоритмов и метода librosa, а также архитектуры нейронных сетей с помощью AutoKeras, KerasTuner и Talos для нахождения наиболее эффективного подхода. В качестве ключевого алгоритма для анализа аварийного вызова выбран анализ цветности частот, демонстрирующий точность 90%;
- Создание интерфейс для пользователей на фреймворке Streamlit, который позволяет взаимодействовать с системой - возможности выбора устройства ввода звука, записи, распознавания речи, оценки ситуации по первым 20 секундам звонка и рекомендации оператору при принятии решений;
- Объединение разработанного интерфейса с алгоритмом, создание полноценного решения
- Малофеев александрСистемный аналитик
- Опрос заказчика для сбора требований и уточнения деталей проекта;
- Обсуждение путей реализации проекта, выдвижение гипотез;
- Подготовка данные для обучения, включая приведение аудиофайлов к единой длине, преобразование их в спектрограммы и компенсацию неравномерного количества примеров в разных классах;
- Разработка модели с использованием AutoKeras. Использоваеие колбэк для сохранения состояния модели при перезапусках.Точность модели до 80% в классификации отдельных классов
Благодарность университетУ