Стажировка
Разработка нейро-помощника для консультации клиентов и сотрудников Академии ДПО
Компания ООО «Академия ДПО»
Суть проекта
Задача
Создать прототип чат-ассистента (нейро-координатора) на основе ChatGPT API для автоматизации консультирования сотрудников и клиентов «Академии ДПО», обеспечив быстрый и стандартизированный доступ к актуальной информации из базы знаний компании.
Этап 1 (Анализ и проектирование):
Этап 2 (Разработка MVP):
Этап 3 (Тестирование и доработка):
По результатам всех этапов подготовлена техническая документация прототипа.
- Уточнение требований;
- Согласование использования ChatGPT API;
- проектирование архитектуры (RAG-механизм, интеграции) и структуры базы знаний;
- Подготовка спецификации парсинга сайта, схемы базы знаний (каталог курсов, регламенты, НПА) и планы обновления.
Этап 2 (Разработка MVP):
- Парсинг и подготовка данных;
- Обработка нормативных документов;
- Векторизация и индексирование;
- Интеграция ChatGPT API и RAG;
- Разработка интерфейсов;
- Разработка multi-agent «нейропродажник» на базе OpenAI;
- Разработка пилота системы управления базой знаний.
Этап 3 (Тестирование и доработка):
- Тестирование: проверка точности ответов RAG-системы (включая «штормовые» диалоги с ошибками и неполными вопросами), измерена производительность (RPS, латентность, потребление памяти) при разных сценариях нагрузки;
- На основе фокус-группы сотрудников собрана обратная связь, оптимизированы параметры промптов и выбранных моделей;
- Итеративная доработка компонентов (улучшение чанкинга, промтов и постобработки): отлажена система логирования запросов для последующего анализа.
По результатам всех этапов подготовлена техническая документация прототипа.
- Парсер сайта «Академия ДПО»;
- База знаний;
- Векторизация: построены индексированные векторные БД (Faiss, ChromaDB) на основе нескольких эмбеддингов;
- Интеграция RAG;
- Диалоговый ассистент;
- Нейропродажник: разработаны и протестированы сценарии «нейро-специалистов»;
- Голосовой бот;
- Производительность: проведено нагрузочное тестирование RAG-чата: при до 50 пользователей на воркере задержка запроса составляла от 11 до 84 секунд (в зависимости от QPS и числа воркеров); при использовании 2–4 воркеров время ответа снижается. Показана возможность масштабирования на выделенных GPU;
- Выводы тестирования: на основе результатов экспериментов разработаны рекомендации по дальнейшим улучшениям. Например, выявлено, что реранкер в локальном эксперименте не повышает качество ответов, тогда как оптимизация чанкинга и промтов обещает лучший эффект.
Ход реализации проекта
Результаты работы
Участники
команды проекта
команды проекта
- николай кусТимлид проекта
- Организовывал работу команды
- Координировал архитектурные решения и планировал проект
- Елена михноПомощник тимлида
- Помогала в управлении проектом
- Поддерживала коммуникации внутри команды
- олег бойковтехнический директор
- Отвечал за сбор и предобработку данных
- Реализовал универсальный парсер сайта Академии DPO (Selenium, BeautifulSoup)
- Настроил регулярный сбор страниц
- Занимался удалением «шума» и сохранением разметки в Markdown.
- Получил чистую структурированную информацию для индексации
- юлия демидоваМенеджер в управлении человеческими ресурсами
- Проводила исследования LLM и RAG
- Настраивала Faiss для векторного поиска
- Устанавливала и оптимизировала локальные модели Qwen-7B, Gemma-7B, Llama 3 8B
- Занималась prompt-инжинирингом
- Предложила оптимальные сочетания моделей (GPT-4-O, FRIDA) и механизмы генерации
- максим кирюшкинСистемный администратор
- Работал над автоматизацией и векторизацией
- Интегрировал ChatGPT API
- Настраивал плотные индексы Faiss
- Тестировал различные эмбеддинги (в т.ч. FRIDA, intfloat/multilingual-e5) для RAG
- Участвовал в сборе выборки вопросов и настройке тестирования моделей
- иван панченкоМедицина, фриланс
- Специализировался на диалоговом интерфейсе
- Создал голосового Telegram-бота: интегрировал Whisper STT для распознавания речи пользователя и Silero TTS для генерации голосовых ответов
- Проводил нагрузочные тесты бота, измерил потребление памяти и задержки
- Собрал и протестировал тестовую версию чат-бота с локальной базой знаний (FastAPI, SQLite, Faiss)
- станислав писаревскийзам.директора колледжа
- Отвечал за компонент «нейропродажника»
- Разработал логику последовательного анализа диалога: «нейроспециалисты» выявления потребностей, обработки возражений, презентации продукта и приглашения в Zoom
- Создал систему, умеющую вести клиентский диалог и подсказывать оптимальные курсы
- сергей тарановинженер-программист
- Работал над архитектурой и векторизацией
- Разрабатывал схемы разбиения данных на векторные чанки и подбора оптимальных эмбеддингов
- Создал прототип архитектуры решения (Gradio) для демонстрации RAG-процесса
- Участвовал в тестировании производительности эмбеддингов и перенастройке векторной БД