1. Дата-аналитик и ML-инженер:
     - Провела анализ и предобработку данных.
     - Реализовала преобразование текстовых данных в числовые векторы с использованием метода TF-IDF.
     - Разработала, обучила и протестировала модели классификации (MLPClassifier, Logistic Regression, SVM, Naive Bayes).
     - Провела визуализацию данных для анализа и представления результатов.
     - Стек технологий: Python (pandas, numpy, scikit-learn, matplotlib, Plotly, seaborn), TF-IDF, Jupyter Notebook, Google Colab.
  2. Разработчик Telegram-бота:
     - Спроектировала и разработала Telegram-бота fine_diet_bot.
     - Интегрировала обученную модель классификации в функционал бота.
     - Стек технологий: Python (telebot, aiogram), интеграция с ML-моделями (pickle для сериализации моделей).
  3. Инженер-программист:
     - Программирование на Python с использованием современных инструментов разработки.
     - Ведение проекта через платформу GitHub (контроль версий, создание документации, отслеживание задач).
     - Стек технологий: Python, среды разработки: Google Colab, Jupyter Notebook, Anaconda, инструменты для контроля версий: GitHub.
  4. Автоматизация и интеграция:
     - Использование OpenAI ChatGPT для поддержки разработки и оптимизации кода.
     - Автоматизация отдельных этапов анализа и тестирования моделей.
     - Стек технологий: OpenAI API, Python (requests), GitHub (управление проектом)

 - Анализ и обработка данных, выбор подходов, разработка схемы оптимального построения решения и его развития.
  - Обучение моделей и выбор оптимального решения: ruRoBERTa-large, distilBERT, BERT-base. Достижение лучшего результата 93.09% для модели RoRuBERTa-large.
  - Создание пилотного решения на базе FastAPI и web-приложения на Gradio, проверка различных методов OCR и голосового ввода данных (транскрибации), проверка автоматической сортировки через LLM GigaChat.
  - Интеграция финального решения и демонстрация Телеграм-Бота (AIOGram) с функцией выбора модели и чтения информации о товарах из json-файлов или через изображение с QR-кодом.

  1. Data scientist:
     - Обучение модели ruBert для классификации товаров на съедобные / несъедобные.
     - Обучение модели ruBert для классификации продуктов по категориям.

  2. Разработчик Telegram-бота:
     - Создание Telegram-бота.
     - Интеграция моделей нейронных сетей в Telegram-бота.

  1. Сбор и обработка данных: составление и очистка датасета из чеков.
  2. Разметка данных: создание и проверка корректности категорий для классификации товаров.
  3. Разработка и обучение моделей: настройка и обучение моделей для классификации продуктов. BERT.
  4. Оценка качества моделей: использование метрик (f1-score, precision, recall) для анализа производительности.

  - Data analyst:
    1. Первичная обработка датасета.
    2. Аугментация данных с помощью кастомных функций.
  - Data scientist:
    3. Обучение модели Bert, ruBert, DistilBert для бинарной классификации.
    4. Обучение модели Bert, ruBert, DistilBert для классификации продуктов по категориям.
  - Разработчик Telegram-бота:
    5. Создание Telegram-бота.
    6. Интеграция моделей нейронных сетей в Telegram-бота.

  1. Бекэнд:
     - Создание векторной базы.
     - Функции дообогащения сокращенного или недостаточного текста.
     - Использование LLM (OpenAI) для классификации.
     - Модуль извлечения текста из изображений (чеков).
     - Модуль транскрибации аудио сообщений.
     - Использование FastAPI для подключения любого фронтенда.

  2. Фронтенд:
    Создание Телеграм бота:
       - Возможность ведения диалога с извлечением информации для классификации.
       - Многопользовательский интерфейс (изолированные диалоги).
       - Возможность использования аудио сообщений и фото для извлечения информации.

1. Исследовательская и экспериментальная часть работы:
Отработка гипотез и экспериментирование с моделями BERT, SentenceTransformer, T5, GPT-2. Применение TF-IDF, для учета семантики. Создание синтетических образцов для обогащения датасета, анализ и аугментирование полученных синтетических данных Применение методов кластеризации ML: DBSCAN, HDBSCAN. Отработка методов объединения категорий на основе их схожести: с применением PCA, на основе частоты n-грамм, иерархической кластеризации AgglomerativeClustering.
2. Практическая часть для production:
Предварительная обработка и нормализация данных датасета. Разработка модели классификации на основе сетки BERT. Применение различных подходов и методов для усиления весов минорных классов в процессе обучения сетки. Подготовка тестового материала и тестирование на реальных данных полученной конфигурации сетки, интерпретация результатов, обеспечение воспроизводимости результатов

1. Анализ и очистка предоставленного датасета (Python, Pandas)
2 .Тестирование Zero-shot классификации товаров и классификации на основе косинусного сходства (GTE, E5, nomic, paraphrase, SBERT)
3. Обучение классификаторов на основе модели GTE (Pytorch)
4. Дообучение модели GTE для повышения качества Zero-shot классификации (SentenceTransformer)
5. Встраивание дообученной модели GTE в tg-бот

1. Разработка телеграм бота и внедрение пайплайнов для классификации и распознавания продуктов в чеках
2. Эксперименты с различными модельными архитектурами для классификации продуктов с использованием Optuna для тюнинга гиперпараметров

1. Разработка телеграмм бота
2. Эксперименты с различными модельными архитектурами для классификации продуктов (Для классификации текста - SentenceTransformer, модели -Random Forest, Logistic Regression, Gradient Boosting, была применена Балансировка обучающей выборки с помощью SMOTE, попытка с косинус. сходством и тп)

1. Попытка встраивания сервиса “Проверка чека” в будущее решение. Получение json- файла данными продуктов с помощью считывания QR-кода. Считывание данных с помощью OSR pytesseract.
2. Эксперименты аугментирования малочисленных категорий путем поиска похожих товаров в базе данных штрих-кодов товаров https://github.com/papyrussolution/UhttBarcodeReference/releases
3. Эксперименты с локально установленной llama 3.2 по определению ключевого слова в названии продукта
4. Написал скрипт по подготовке датасета в формат для решения на базе FNET

1. Разработка MVP решения на базе LLM
2. Дальнейшее развитие направления LLM
3. Разработка MVP решения на базе FNet
4. Анализ и улучшение разработанных решений на базе ML
5. Анализ и улучшение разработанных решений на базе BERT
6. Консультации по дополнительным техническим вопросам

1. Разработка подхода к решению задач
2. Проверка гипотез применимости подхода с использованием LLM
3. Консультирование