Стажировка по проекту
Создание автоматизированной ИИ-диагностики световых систем
Компания: ООО «Юнилайт»
Суть проекта
ЦЕЛЬ ПРОЕКТА
Создание системы для автоматической обработки обращений пользователей, их классификации, анализа неисправностей и генерации рекомендаций для инженера.
Система должна помочь операторам ускорить процесс принятия решений, улучшить качество обслуживания клиентов и обучаться в процессе работы, используя новые данные для повышения эффективности.
Система также должна поддерживать интеграцию с почтовыми сервисами и мессенджерами, возможность распознавания изображений, поддержку индивидуальных диалогов для каждого пользователя и ведение журнала обращений
Разработано несколько вариантов ТГ ботов и размещены на сервере заказчика
На базе ТГ разработана CRM и RAG система по обработке заявок от эксплуатантов (Бот приёма, первичной проверки и регистрации обращений. Бот авторизированного доступа и проведения анкетирований. Бот предоставления информации по запросу инженера: анкеты, инструкции, лицензии. Бот истории обращений. Группа для инженеров. Таблица данных CRM.) В генеративный ИИ подаётся база решений и обращение пользователя. ИИ выдаёт наиболее подходящий ответ, в том числе на основе предыдущих запросов пользователей. В группу инженеров отправляется решение от ИИ, данные пользователя и описание проблемы. Разработанный ИИ-бот выполняет сложную воронку обработки запросов, начиная от извлечения ключевых слов и векторного поиска до формирования точных и релевантных ответов
Участники
1 команды проекта
  • Николай Кус
    Тимлид проекта
  • Богданов Андрей
    Помощник тимлида
  • Соболева Валерия
    Консультант по вопросам в сфере информационной безопасности
    Принимала активное участие в тестирование, разработке и интеграции на сервер заказчика ТГ бота
  • Игнатьев Павел
    Директор по развитию
    Обработка текстов обращения, подготовка списка чанков для ЛЛМ модели, подготовка алгоритма работы телеграм бота для обработки входящих обращений, реализация бота, частичная реализация алгоритма поиска предыдущих обращений и ответа на основании проекта
  • Строкова Анастасия
    Инженер группы предпроектного анализа и внедрения систем WFM CC
    Принимала активное участие в тестирования ТГ бота
  • Стряпчиев Григорий
    Инженер отдела информатизации ГБУЗ Республики Карелия «Республиканская больница скорой и экстренной медицинской помощи»
    Принимал активное участие в тестирования ТГ бота
  • Рыжиков Владимир
    Ведущий инженер по организации строительства объектов метро
    Принимал активное участие в тестирования и разработке ТГ бота
  • Токарев Александр
    Заместитель начальника ПТО в строительстве
    1. Создание базы знаний из переписок и аудиозаписей предоставленных Заказчиком
    2. Поиск больших языковых моделей, которые будут работать на сервере без API ключей
    3. Создание телеграм бота, который будет отвечать на ключевые запросы
    4. Добавление функционала к боту - это поиск файлов в рабочей папке и выгрузке их в бот
    5. Поиск информации по существующим договорам: сроки обслуживания, объект и д.р.
    6. Создание презентации по собственному проекту
Участники
2 команды проекта
  • Николай Кус
    Тимлид проекта
  • Готова Наталья
    Исполнительный директор Ассоциации содействия производителям интеллектуальных систем в электроэнергетике и ЖКХ «ИНСИСТ ЭНЕРГО»
  • Аникеев Михаил
    Тимлид команды разработчиков в IT-компании
    1. Разработка системы RAG
    • Подготовил основу для RAG, адаптировал ноутбуки по векторизации БЗ и тестированию вопросов.
    • Провел оптимизацию базы знаний для более точного поиска инструкций.
    2. Тестирование LLM и автоматическая оценка ответов
    • Протестировал 150 вопросов, добавил автоматическую оценку на основе эмбеддингов.
    • Настроил универсальный ноутбук для тестирования разных LLM (OpenAI, RuQwen, GigaChat, Llama 1B, 3B и 8B).
    3. Оптимизация векторизации и работы LLM
    • Разработал систему гибкой векторизации с GigaChat + внешние эмбеддинги.
    • Протестировал разные модели.
    • Добавил поддержку других LLM (YandexGPT, Llama 3.1) в универсальный ноутбук
  • Старкин Сергей
    Оценщик
    1. Работа с RAG-алгоритмами
    • Изучил теорию RAG, ознакомился с алгоритмами.
    • Разработал и тестировал RAG-алгоритм
    2. Тестирование моделей и промтов
    • Разрабатывал промпт, который закрывает неправильные вопросы
  • Плужников Михаил
    Юрист
    1. Разработка и интеграция Telegram-бота
    • Создан чат-бот для эксплуатантов, интегрированный с базой данных Airtable для автоматического сохранения обращений, их фильтрации и визуализации в реальном времени.
    • Добавлена интеграция с речевой моделью для автоматического формирования ответов инженеров.
    • Подготовил презентацию.
    2. Разработка UniLight Assist
    • Разработан прототип UniLight Assist — система диагностики и устранения неисправностей в реальном времени.
    • Интеграция Llama 3 для создания нейро-консультанта техподдержки.
    3. Работа с базой знаний и улучшение модели
    • Настроена Llama 3 для классификации вопросов, использования базы знаний и формирования релевантных ответов.
    • Проведено тестирование модели и оптимизация промта
  • Ткачева Маргарита
    Проектный менеджер в Научно-консультационном центре
    1. Создание инструкций и классификация проблем
    • Разработала инструкции в Markdown
    • Написала скрипт на базе Sentence Transformer для классификации проблем.
    2. Эксперименты с ответами на вопросы пользователей
    • Подготовила 45 вопросов из таблицы обращений с ответами.
    • Тестировала поиск ответов в инструкциях и через GPT.
    • Размечала инструкции для повышения точности поиска информации.
    3. Массовое тестирование и работа с промтами
    • Протестировала 45 "правильных" вопросов на ноутбуке массового тестирования.
    • Провела эксперименты с различными промтами, но баланс точности.
    • Разработала скрипт для сравнения 5 промтов, чтобы определить лучший вариант
  • Кульков Сергей
    Руководитель подразделения в торговой компании
    1. Транскрибирование и обработка текстов
    • Распознал и подготовил аудиозаписи в текстовом формате
    • Провел суммаризацию текстов для последующего использования в RAG.
    2. Создание инструкций из аудио
    • Разработал инструкции по устранению неисправностей на основе аудиозаписей
    • Подготовил шаблон вопросов для классификации неисправностей.
    3. Сбор данных из чатов и формирование базы знаний
    • Извлек полезную информацию из чатов с клиентами и инженерами.
    • Провел анализ возможных вариантов сбора данных с помощью Gemini и ChatGPT.
    4. Оптимизация работы Telegram-бота
    • Разработал алгоритм обработки заявок в боте с использованием Gigachat API, Gemini и ChatGPT
  • Тишкин Андрей
    Заместитель генерального директора по Информационным технологиям на мясоперерабатывающем комбинате
    1. Изучение материалов и тестирование моделей
    • Ознакомился с доступными LLM, протестировал несколько вариантов для чат-бота.
    • Запустил тестового бота и проанализировал поведение моделей в разных сценариях.
    • Выявил, что малые модели не всегда корректно обрабатывают запросы.
    2. Fine-tuning и оптимизация LLM
    • Протестировал модели с квантизацией в GGUF для запуска на CPU.
    • Выбрал и дообучил Qwen2.5 3B RU Q6 K GGUF, улучшив качество обработки запросов.
    • Оптимизировал промты, чтобы минимизировать текстовые инструкции внутри запроса.
    3. Разработка стратегии улучшения бота
    • Исследовал возможности RAG для улучшения работы с базой знаний.
    • Проанализировал стратегию дальнейшего дообучения или интеграции RAG.
    • Подготовил тестовый набор промтов и сценарии для будущей оптимизации
  • Карманов Александр
    Верстальщик электронных книг в Российской Государственной Библиотеке