Стажировка
AI-прогнозирование финансовых активов с учётом макроэкономических факторов
Python, pandas, NumPy, scikit-learn, TA-Lib, statsmodels (ARIMA), Prophet, XGBoost/LightGBM/CatBoost, PyTorch/Keras (LSTM, GRU, TCN, TFT), Optuna, AutoTS/AutoGluon, Docker, GitHub
используемый стек
1. Подготовка данных
Очистка, объединение котировок и макроданных, формирование признаков (индикаторы, лаги, окна)
2. Моделирование
Обучение и сравнение ARIMA/Prophet, XGBoost/LightGBM/CatBoost, LSTM/GRU/TCN/TFT; настройка walk-forward/rolling валидации
3. Оценка и отбор решений
Анализ метрик (MAE, MAPE, Directional Accuracy), выбор устойчивых конфигураций и признаков
4. Прикладной контур (прототип)
Подготовка пайплайнов для интеграции в интерфейс (Streamlit/FastAPI) и ежедневной отчётности по метрикам
Очистка, объединение котировок и макроданных, формирование признаков (индикаторы, лаги, окна)
2. Моделирование
Обучение и сравнение ARIMA/Prophet, XGBoost/LightGBM/CatBoost, LSTM/GRU/TCN/TFT; настройка walk-forward/rolling валидации
3. Оценка и отбор решений
Анализ метрик (MAE, MAPE, Directional Accuracy), выбор устойчивых конфигураций и признаков
4. Прикладной контур (прототип)
Подготовка пайплайнов для интеграции в интерфейс (Streamlit/FastAPI) и ежедневной отчётности по метрикам
Основные задачи
- Исторические котировки: Open, High, Low, Close, Volume
- Макроэкономические индикаторы: ВВП, инфляция (CPI), процентные ставки, уровень безработицы, PMI
- Дополнительные признаки: технические индикаторы (SMA, EMA, RSI, MACD), индексы страха, Google Trends, новости
- Формат: CSV-файлы и выгрузки от заказчика
- Частота: дневная
- Активы:
- Акции РФ: Сбербанк (SBER), Газпром (GAZP), Лукойл
- Акции США: Apple (AAPL), Tesla (TSLA)
- Валютные пары: USD/RUB, EUR/USD, CNY/RUB
исходные данные
Создание прототипа интеллектуальной системы, прогнозирующей направление и диапазон дневного движения финансовых активов (акции, валюты) на основе исторических рыночных данных и макроэкономических показателей. Система должна учитывать факторы сезонности, инфляции, процентных ставок и новостного фона, а также обеспечивать интерпретацию решений моделей и визуализацию прогнозов в удобном интерфейсе.
ЦЕЛЬ проекта
- UI-прототип на Python (Cursor)
- Вкладки: Каналы / Индексация / Кластеры / Классификация / Логи / Настройки
UI / прототипирование
- Python
- Docker / Docker Compose
- Telethon
- API OpenAI / Yandex
- Подготовка CI/CD для сервера заказчика
Backend / инфраструктура
- Qdrant — векторная база
- Postgres
- Redis
- Neo4j — графовые сценарии
Хранилища и индексация
NLP и моделирование
- Sentence Transformers (E5 — лидер тестов)
- BERT, MiniLM, GT-модели
- BERTopic
- ChatGPT / GigaChat — суммаризация и заголовки
Используемый технологический стек
Участники
команды проекта
команды проекта
- Кравченко Дмитрий АлександровичТимлид проекта
- Руководство проектом, архитектура, постановка задач, работа с заказчиком, координация групп, методология и аналитика
- Татьяна Ерюковапомощник тимлида
- Переработка архитектуры парсера (многослойная модель)
- Кластеризация BERTopic на датасете 37k постов
- Аналитика извлечения связей, подготовка материалов для Neo4j
- Разработка методологии тестирования и классификации
- Подготовка Colab-ноутбуков и документации
- Малицкий Андрей Анатольевичпомощник тимлида
- Поддержка управления проектом и сопровождение команд
- Методическая поддержка стажёров, разъяснение задач и подходов
- Регулярная саммаризация встреч с заказчиком и внутренних созвонов
- Ведение орг-файла: постановка задач, фиксация прогресса, учёт присутствия
- Подготовка аналитических записок по процессам и улучшениям
- Координация работы подгрупп и обеспечение синхронизации между ними
- Дмитрий БлюхеровUI, backend-модули, полный pipeline
- Создание UI-прототипа на Python (Cursor)
- Реализация полного пайплайна: парсинг → индексация → кластеризация → классификация → дайджесты.8
- Интеграция Qdrant, Redis, Postgres
- Разработка клиентского и административного интерфейса
- Основной функциональный каркас MVP
- Надежда Глазуновауководитель тестирования эмбеддингов
- Тестирование 17 моделей эмбеддингов по Accuracy, MRR и Recall@5
- Сравнительные таблицы и аналитические отчёты
- Выбор трёх финальных моделей проекта
- Аналитическая поддержка команды по корректности тестов
- Активное участие в подготовке финальной презентации и визуализации метрик
- Игорь КолесовАрхитектура, инфраструктура, DevOps
- Создание архитектурной схемы MVP и потоков данных
- Формирование требований для серверного развёртывания
- Настройка Docker-окружения и подготовка CI/CD
- Согласование технических решений с заказчиком
- Организация рабочих встреч и синхронизации
- Дмитрий ШилинДайджесты, векторизация, TGStat
- Аналитика тарифов TGStat и подготовка предложений заказчику
- Помощь в генерации дайджестов и суммаризации через LLM
- Подготовка Docker-образов для тестирования моделей
- Поддержка интеграции API
- Татьяна ЗапорожецДекомпозиция, структура процессов
- Полная декомпозиция функций проекта (6 блоков)
- Формирование сценариев работы подгрупп.
- Организация процессов и аналитика взаимодействия
- Активное участие в подготовке финальной презентации
- Людмила ТЮфимичеваАналитика, тестирование эмбеддингов
- Проверка моделей и поддержка тестирования
- Валидация результатов и аналитические комментарии
- Поддержка кластеризации и тематической модели
- Денис КалюжныйNeo4j, аналитика
- Совместная работа над окружением Neo4j.
- Поддержка визуализации и анализа графов
- Подготовка идей для расширения функционала
- Егор БыковПарсинг, анализ данных
- Формирование требований к датасету
- Анализ тематик и структуры каналов
- Валидация подготовленных материалов
- Поддержка второй группы по данным
- Максим ИванковПарсинг, анализ данных
- Формирование требований к датасету
- Анализ тематик и структуры каналов
- Валидация подготовленных материалов
- Поддержка второй группы по данным
- Алексей РешетниковПарсинг, анализ данных
- Формирование требований к датасету
- Анализ тематик и структуры каналов
- Валидация подготовленных материалов
- Поддержка второй группы по данным
- Александр АзевичNeo4j, метрики, кластеризация
- Исследование Neo4j, подготовка Docker-окружения
- Создание компактного тестового Colab (4 ячейки)
- Визуализация графов и анализ связей
- Аналитика метрик (MRR, Accuracy)
- Поддержка Bertopic
- Александр ЕгоровГрафовые структуры, парсинг, данные
- Извлечение сущностей и построение графа (метод co-mentions)
- Запуск Neo4j в Docker
- Предобработка крупных массивов данных
- Подготовка аналитических выводов по структуре связей