Стажировка по проекту
Компания: «Президентский фонд культурных инициатив»
Создание
нейроведущего
для ТВ-шоу «На закате»
нейроведущего
для ТВ-шоу «На закате»
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Задача состоит в создании ИИ, способного вести беседу с настоящими ведущими, отвечать на их вопросы и создавать естественную и непринужденную атмосферу для зрителей
Цель проекта заключается в разработке и интеграции искусственного интеллекта (ИИ) на основе ChatGPT для использования в качестве соведущей в эфирной телевизионной программе «На Закате»
Входные данные от заказчика не использовались, база данных не нужна. Использовались промты разного назначения, которые придавали роли нейроведущему. Также предусмотрена возможность подгрузки определенной информации(темы передачи или разговора).
По итогу проекта было реализовано локальное приложение для Windows
Участники
команды проекта
команды проекта
- Терещенко АлексейТимлид проектаАлексей — руководитель группы разработчиков, отвечал за полную разработку проекта
- Леонтьев ДмитрийПомощник тимлидаДмитрий помогал руководителю команды организовывать процесс разработки проекта
- Скрыльник ТимофейProduct- менеджер в ИТ отрасли
- Проектирование составляющее Нейроведущего, описание целевой CJM и пользовательской истории для разных ролей целевых пользователей;
- Проектирование интерфейса пользователя в PyQt Designer, оптимизирование UX для удобной работы с искусственным интеллектом посредством голоса;
- Написание десктопного приложения Нейроведущего на PyQt6, подключение СберЗвук и ChatGPT;
- Разработка базовых промптов для ChatGPT и структуры работы со знаниями согласно сценарию от режиссёра
- Коваленко ЕленаПреподаватель Саратовского медицинского университета, врач-кардиолог, эксперт по качеству медицинской помощи. Участвовала в разработке клинической информационной системы «Кардинет-онлайн»
- Изучение технологий Speech to Text и Text to Speech;
- Исследование возможностей сервисов Whisper, Tinkoff VoiceKit по распознаванию и генерации речи;
- Тестирование финальной версии Desktop приложения;
- Изучение технологий визуализации и возможностей сервисов для визуализации нейро-ведущего;
- Создание аватара нейро-ведущего для проекта;
- Оформление финальной презентации-отчёта о проекте и «Краткого руководства пользователя»
- Каргальцев ВладиславТоп-менеджер, напраление финансы/инвестиции/консалтинг
- Проведено исследование возможностей технологий преобразования речи в текст и текста в речь;
- Разработан механизм распознавания обращения к СоВедущему и запуска дополнительных инструкций с использованием API;
- Изучены и протестированы возможности синхронного и потокового распознавания голоса с последующим синтезом речи с использованием Salute Speech от Сбера;
- Проведены исследования по визуализации аватаров и их озвучке с использованием технологии Speech 2Lip;
- Осуществлено тестирование финальной версии Desktop приложения для проверки его работоспособности и соответствия требованиям
- Хорькова ЕвгенияРуководитель Центр бухгалтерского учёта, индивидуальный предприниматель
- Исследование доступных вариантов распознавания звука;
- Исследование и тестирование синхронного и потокового распознавания голоса с api сбера;
- Тестирование различных вариантов и настройка параметров распознавания голоса;
- Тестирование готового решения
- Стреколовский МаксимРазработчик AI, AR, VR
- Исследование и разработка синтеза речи;
- Исследование синхронного и потокового распознавания Yandex
Демонстрация проекта (youTube)
Демонстрация проекта (VK)
Благодарность университетУ