Стажировка
Создание нейро-помощника с аватаром по психологической поддержке населения
Университет Ларисы сурковой
Суть проекта
Задача
Вводные данные
Разработать веб-чат и Telegram-бот, объединяющие локальную LLM (контурные модели: Ollama) с GPT-4o-mini и GPT-4o, стриминговым видео-аватаром HeyGen и платёжным модулем YooKassa.
Сочетать приватность локальной LLM, глубину GPT-4o и эмпатию видео-аватара, сохраняя задержку ответа ≤ 2,5 с.
Сочетать приватность локальной LLM, глубину GPT-4o и эмпатию видео-аватара, сохраняя задержку ответа ≤ 2,5 с.
За 14 недель превратили идею «Нейро-менеджера» в мультиканальный MVP Avatar-Assistant:
Ключевой алгоритм (TRIZ-8):
Форматы общения:
- Веб-чат и Telegram-бот объединяют локальную LLM (Ollama) с GPT-4o / 4o-mini, видео-аватаром HeyGen и платёжным контуром YooKassa
- В ядре — «мегапромпт» по 8-шаговой TRIZ-схеме, позволяющий за ≤ 2,5 с провести пользователя от формулировки запроса до кризисного «пластыря».
Ключевой алгоритм (TRIZ-8):
- Формулировка запроса
- Проверка мнимости
- Уточнение условий
- Анализ ресурсов
- Идеальный конечный результат
- Выявление противоречия
- Генерация решений
- «Пластырь» + отчёт (Mindtools, Designorate, triz.co.uk).
Форматы общения:
- Видео + текст — аватар HeyGen синхронизирован с речью LLM
- Только текст — быстрый ответ без стрима
- Только голос — микрофон Web Speech API, ответ TTS.
- JSON-отчёт по 8 шагам TRIZ, содержащий:
- формулировку проблемы
- оценку мнимости
- условия возникновения проблемы
- список ресурсов
- описание идеального конечного результата
- выявленное противоречие
- сгенерированные варианты решений
- кризисный «пластырь» для экстренной поддержки
- PDF-версия отчёта для скачивания и передачи специалистам
- Формулировка проблемы — уточнение «что? где? когда? почему?»
- Проверка на мнимость — оценка актуальности и возможного самоустранения проблемы
- Уточнение условий — выявление первопричин и триггеров через «почему?»
- Анализ ресурсов — сбор внутренних и внешних ресурсов для решения
- Идеальный конечный результат (ИКР) — представление решения без затрат
- Противоречие — определение конфликта «цель ↔ преграда»
- Генерация решений — выбор принципа изменения, обхода или трансформации
- Фиксация вывода — формирование плана действий и «пластыря» для кризисной поддержки.
Результаты работы
выходные данные
Участники
команды проекта
команды проекта
- Сергей коваленкоТимлид проекта
- Организовывал работу команды
- Координировал архитектурные решения и планировал проект
- Елена михноПомощник тимлида
- Помогала в управлении проектом
- Поддерживала коммуникации внутри команды
- Андрей малицкийПомощник тимлида
- Помогал в управлении проектом
- Поддерживал коммуникации внутри команды
- олег титовМашиностроение/Руководитель
- Спроектировал поток «Приветствие → Сеанс → Завершение» с режимами (полный/голос/текст)
- Собрал прототипы в Lovable, исправил критичные баги адаптива и позиционирования
- Проработал алгоритм интеграции фронта с бэком и Telegram (бот/mini-app)
- Финализировал макеты и состояние аватара на UI
- валерий зайцевАНО "Руниверс", Руководитель проекта
- Снял студийное видео и сгенерировал интерактивные аватары (HeyGen Interactive Avatar)
- Разработал API-скрипты: баланс, Knowledge Base, сессии;
- Подготовил промты для консультаций
- Спроектировал архитектуру маршрутизации данных, провёл анализ STT/TTS и затрат
- Развернул модуль консультации на внешнем сервере
- вадим васильевинженер
- Реализовал веб-чат (HTML/CSS/JS), Telegram-бот/приложение, переключение режимов «видео/текст/вместе»
- Связал фронт с бэком (FastAPI) и LLM (OpenRouter), перенёс фронт рядом с бэком
- Настроил озвучивание ответов LLM через аватар; упаковал окружение (Docker, локальный деплой)
- Улучшил UX: навигация экранов, кнопки состояния аватара, адаптив
- виталий романюкзам.директора колледжа
- Сделал связку микрофон→STT через Deepgram websockets; ElevenLabs (TTS/STS)
- Настроил LiveKit/WebRTC, VAD Silero, эксперименты с lipsync (Unreal Engine)
- Доработал voice-агентов и мегапромпт психолога (стабильность, последовательность)
- Настроил speech-to-speech и привязку agent ID
- Елена тетеринаавтоматизация бизнес-процессов с AI
- Сравнила 2D/3D-подходы; оценка D-ID и HeyGen для онлайна и prerender
- Проверила качество lip-sync и кастомизацию, собрала требования к кастомному аватару
- Оценила синхронизацию голос/губы, подготовила рекомендации по сценариям
- Сформировала обзорный документ по вариантам внедрения
- елена коваленкоПреподаватель медицинского университета, врач -кардиолог
- Сделала сводные таблицы по D-ID, HeyGen, Vidnoz, Synthesia, Alibaba Avatar и др. (возможности/стоимость/ограничения)
- Сделала тест-видео
- Анализировала методики П.П. Суркова; коммуникация с вендорами (в т.ч. китайские SDK)
- Доработала промты, материалы по агентским схемам
- Собирала требования по аватару, реализовала анимированного собственного аватара
- галина мусаеватимлид в IT-компании
- Сделала схемы шагов TRIZ, промпты, ControllerAgent с возвратами; консольный прототип консультации
- Сделала логирование и JSON-workflow, Python-скрипты; «тёплые» элементы в шаге 8
- Тестировала корректность логов консультации
- Настроила маршрутизацию в n8n (ноукод) и связки с агентами
- ольга шадринаработает в ИТ-службе на предприятии
- Сделала промты и сценарии диалога по TRIZ; альтернативная «полная» маршрутизация
- Сгенерировала итоговй отчёт (md/pdf) по записи беседы
- Оптимизировала токены и постобработку диалогов
- Тестировала на трёх типах диалогов (эталон/пошаговый/Tavus)
- вячеслав беляковПреподаватель (колледж)
- Провел тесты: Whisper (tiny→large/turbo), Google STT, Yandex SpeechKit; потоковая транскрибация
- Написал ветвящийся промт с агентами/блоками/профайлами: возврат к шагам, правка ответов, рестарт диалога
- Сделал таблицы сравнения/качества; схему телеграм-бота с оплатой
- Реализовал вывод профайлов и корректную фиксацию данных
- евгений поповПрограммист 1С
- Спроектировал PostgreSQL-схемы, DDL-скрипты и вторичные индексы
- Подготовил инициализацию и оптимизацию структуры
- сергей поздняковюрист
- Исследовал библиотеки: Whisper, Tinkoff VoiceKit, Yandex SpeechKit; потоковые сервисы
- Подготовил отчёты по производительности/стоимости и попытки интеграции TTS/STT во фронт
- василий бавыкинРаботает в расчётном центре (ЖКХ)
- Сделал блок-схемы, промты, структуру базы знаний
- Участвовал в маршрутизации диалога
- артем корольскийФрилансер/ Самозанятый
- Прорабатывал блок-схемы и маршрутизацию
- Поддерживал базу знаний
- александр кулиниченкогеодезист
- Корректировал и тестировал промты до 8-го шага TRIZ
- Проверял стабильность прохождения шагов
- виктория тихоноваCEO двух стартапов
- Прорабатывала схемы взаимодействия и базы знаний
- Уточняла условия и контексты для сценариев
- рушан умеровИТ директор
- Собирал требования и анализировал подходы к построению продукта
- Тестировал ботов и качество пользовательских сценариев
- елена патюковаПедагог ДО по программированию на Python, ИИ, автоматизация на Make. Руководитель ЦЦОД "IT-куб"
- Организовала навигацию по материалам и задачам (структурирование, доступ, поиск)
- Поддерживала анализ артефактов (статьи, видео, транскрибации) для обучения моделей