Стажировка по проекту
Компания: ПАО «СОВКОМБАНК»
разработка системы прогнозирования нагрузки на сервера с применением нейронных сетей
Суть проекта
Задача
Для чего
Вводные данные
Выходные данные
Прогнозирование нагрузки на сервер (CPU, RAM, HDD)
Система прогнозирования нужна для своевременного закупа оборудования серверов. Закуп оборудования процесс не быстрый, поэтому нужно знать возможности текущих ресурсов на несколько недель вперёд
Данные были только исторические. Нагрузка на сервера разных типов (всего 100 серверов) на каждый вид устройства отдельно - CPU, RAM, HDD в процентном соотношении. Исторических данных по каждому серверу было за 6 месяцев (ежеминутные отчёты)
Выходные данные так же временной ряд. Главной задачей было предсказать как можно точнее нагрузку на сервера хотя бы на 1 месяц вперёд
Участники команды
1 этапа проекта
1 этапа проекта
- Хабаров ИванТимлид проектаИван - руководитель группы разработчиков, отвечал за полную разработку проекта
- Григорук АлександрИнженер-программист в группе разработки ПО АСУ в филиале РФЯЦ-ВНИИЭФ НИИИС группы компаний Росатома
- Модель на основе LightGBM;
- Формирование итогового модуля
- Егоров АнтонРаботал в сферах торговли и логистики
- Модель на основе catboost
- Чернышов АлександрРаботает в телекоммуникационной отрасли, технический отдел
- Модель на основе catboost, LSTM
- Комраков АлексейИнженер-программист промышленных контроллеров
- Модель на основе XGBoost
- Качмазов АлександрIT-специалист
- Модель на основе LSTM
- Одегов ДмитрийРазработка корпоративной информационной системы (C#, MSSQL, Python)
- Анализ данных
- Пустовалов ЛеонидИнженер по продажам
- Модель на основе XGBoost
- Грабко Геннадий
- Анализ данных;
- Формализация задачи
Участники команды
2 этапа проекта
2 этапа проекта
- Резер АртемТимлид проектаАртем - руководитель группы разработчиков, отвечал за координацию работы команды, постановку задач, контроль качества и сроков выполнения
- Бобрешов АлексейТимлид проектаАлексей - руководитель группы разработчиков, отвечал за координацию работы команды, постановку задач, контроль качества и сроков выполнения
- Новиков АндрейАрхитектор технических решений: Конструировал коммутационное ядро сетей мобильных операторов
- Разработка парсера для отбора машинных метрик выгруженных в формате json из системы мониторинга Prometheus в соответствии с заданием заказчика и размещением отобранных метрик в заданную струтуру директорий для дальнейшей их обработки;
- Разработка комплексного скрипта для автоматической генерации многоканальных датасетов из временных рядов для последующего обучения моделей;
- Выполнение анализа рядов метрик на стационарность методом Дики-Фуллера, исключение нестационарности в рядах;
- Внедрение в проект библиотек для обработки и визуализации временных рядов, практическое использование продвинутых возможностей библиотек;
- Внедрение в проект и практическое применение BI системы визуализации временных рядов DataLens;
- Модернизация скрипта генерации датасета для обработки дополнительных видов метрик для включения их в датасет, улучшение кода сприпта;
- Сопровождение надежной работы скрипта генерации датасетов;
- Выработка гипотез о различных комбинациях рядов в составе датасета, генерация датасетов соласно выработанным гипотезам для последующего проведения экспериментов
- Озивская ЕкатеринаСтудентка
- Разработка пайплайнов обучения моделей, их оценки и визуализации результатов на различных вариантах экспериментальных датасетов;
- Проведение экспериментов с обучением моделей с применением моделей Random Forest, LGBMRegressor, XGBoost и получением предсказания рядов целевых метрик типа cpu, memory и disk для датасетов по различным windows и unix серверам, выполнение предсказаний рядов целевых метрик с дальностью в 3 недели в соответствии с заданием заказчика;
- Проверка работоспособности одномерных сверточных нейросетей на генерируемых датасетах, подбор гиперпараметров данных моделей с применением ГА и достижение с помощью данного подхода положительных результатов, имеющих практическое значение;
- Написание скрпитов для добавления в экспериментальные датасеты различных видов синтетических рядов в процессе проведения экспериментов;
- Работа по подбору гиперпараметров моделей, выработка и проверка гипотез, анализ результатов.
- Власов МихаилНезависимый специалист по безопасности данных и сетей / Разработчик программного обеспечения / Data Scientist / Специалист по искусств. интеллекту AI / искусств.
нейронным сетям ANNs и машинному обучению ML- Разработка предложений по включению программных метрик служб ОС типа service в датасет;
- Помощь и информационная поддержка группы по работе в среде Яндекс.ДатаСфера. Знакомство группы с дополнительными возможностями среды: как делиться кодом в html по ссылке, встроенная система git и ряд других;
- Знакомство группы с вопросами интеграции в Яндекс.ДатаСфере, а так же вопросами контейнеризации сред их развертыванием из докер-образа в Яндекс.ДатаСфере.
- Миронов АлександрРуководитель инженерного отдела фармацевтического производства / Инженер по автоматизации / Data Scientist
- Разработка скрипта массовой пакетной визуализации отобранных парсингом json метрик в графики в формате jpg с последующим сохранением их в заданную структуру директорий для последующего анализа;
- Поиск описаний програмных метрик типа Service служб операционной системы;
- Участие в выроботке гипотез
- Светозаров АндрейРуководитель IT-проектов в АльфаБанк
- LightGBM, удалось обучить модель классификации для предсказания событий на 14, 21 и 28 дней. Протестировано влияние наличие всплесков в исходных данных;
- Написание функции удаления разрыва в данных при добавлении вычислительных ресурсов;
- Обучение моделей и анализ результатов;
- Участие в выработке гипотез
- Игнатов ДмитрийНачальник отдела брокерского обслуживания
- Выполнение парсинга метрик с помощью скриптов;
- Подговка словарей с параметрами для генерации вариаций датасетов комплексным скриптом;
- Изучение BI системы DataLens для визуализации временных рядов и знакомство группы с данной системой.
- Попова Еленаведущий операционист по обслуживанию ЮЛ иФЛ в банке
- Аналитика данных;
- Составление таблиц, графиков и выводов по каждому файлу;
- Доработка анализа данных
- Тонгалюк Алисагравировщица в немецкой комрании «Metzler»
- Предобработка и аназитика данных;
- Тестирование моделей;
- Анализ результатов работы
- Полит Светланаразработчик IT продуктов на no-code инструменте Bubble/студент УИИ (разработчик нейросетей, ml)
- Тестирование моделей;
- Предобработка данных;
- Аналитика
- Четвертухин Василий
- Консультирование группы по системе мониторинга Prometheus;
- Разработка прототипов скриптов для текущих задач;
- Участие в выроботке гипотез