Заместитель генерального директора по Информационным технологиям на мясоперерабатывающем комбинате
- Изучение материалов и тестирование моделей
• Ознакомился с доступными LLM, протестировал несколько вариантов для чат-бота.
• Запустил тестового бота и проанализировал поведение моделей в разных сценариях.
• Выявил, что малые модели не всегда корректно обрабатывают запросы.
2. Fine-tuning и оптимизация LLM
• Протестировал модели с квантизацией в GGUF для запуска на CPU.
• Выбрал и дообучил Qwen2.5 3B RU Q6 K GGUF, улучшив качество обработки запросов.
• Оптимизировал промты, чтобы минимизировать текстовые инструкции внутри запроса.
3. Разработка стратегии улучшения бота
• Исследовал возможности RAG для улучшения работы с базой знаний.
• Проанализировал стратегию дальнейшего дообучения или интеграции RAG.
• Подготовил тестовый набор промтов и сценарии для будущей оптимизации