Стажировка по проекту
Разработка системы прогнозирования в задачах в области ветренной энергетики
Компания: Московский энергетический институт
Суть проекта
Задача
Для чего
Вводные данные
Требуется выполнить пилотную разработку системы прогнозирования развития временных рядов скорости ветра измеряемых на ветроизмерительных комплексах (ВИК), установленных в географических локациях Камчатского полуострова, а так же систему прогнозирования временного ряда скорости ветра в целевой локации при наличии в ней ограниченного интервала наблюдений и длительного интервала наблюдений в окружающих локациях
Башни ВИК устанавливаются на длительный интервал (год и более) в заданных географических локациях для определения перспективности выбранной локации с точки зрения ветрогенерации на основании измерений скоростей ветра. Интерес к созданию моделей для предсказания временного ряда скорости ветра обусловлен возможностью минимизации для новых локаций временного интервала проведения с помощью башни ВИК измерений на основании которых можно было бы судить о перспективности оцениваемой локации для целей ветрогенерации с учетом предсказания обученной моделью развития ряда скорости ветра
Временные ряды показаний датчиков ветроизмерительных комплексов (ВИК), установленных в локациях полуострова Камчатка, включающие наблюдения скорости и направления ветра, а так же температуры воздуха. Целевой метрикой к предсказанию в настоящем проекте является временной ряд средней скорости ветра датчика, установленного на 10-и на метровой отметке башни ВИК
Временной ряд со средней скоростью ветра на 10-и на метровой высоте башни ВИК
Выходные данные
Участники
1 команды проекта
1 команды проекта
- Резер АртемТимлид проектаАртем - руководитель проекта, участие в разработке, координация работы команды, постановка задач, контроль качество и сроков их выполнения
- Некрасова ТатьянаПомощник Тимлида
- Анализ данных заказчика, визуализация рядов скорости ветра на разных высотах башен ВИК, вычисление корреляции Пирсона и Спирмена между ними;
- Изучение материалов статьи по прогнозированию скорости ветра для задач ветроэнергетики с помощью слоев TCN;
- Создание архитектуры и обучение нейронной сети, содержащей слои TCN;
- Содействие тимлиду по общим вопросам
- Харламов МихаилПомощник Тимлида
- Содействие тимлиду по общим вопросам
- Шелагурова МаринаРаботает в АО «Раменское приборостроительное конструкторское бюро». Начальник сектора по индикации и картографии, к.т.н.
- Разработка веб-приложения на базе библиотеки Gradio с интерфейсом позволяющим выполнять комплексную предобработку рядов исходных данных с созданием выборок (датасетов) и выполнять предсказаний скорости ветра для различных башен ВИК обученными моделями с визуализацией результатов предсказаний и выводом точностных метрик моделей;
- Разработка функции-конвертера исходных данных заказчика с временными рядами в согласованный табличный вид с экспортом в форматы csv, xlsx для целей выполнения последующего разведывательного анализа;
- Разработка функций агрегирования и визуализации рядов исходных данных;
- Выполнение разведывательного анализа данных специализированными библиотеками dtale, sweetviz;
- Проверка данных на пропуски и написание функций заполнения пропусков методами linear, spline, nearest, mean, median;
- Проверка данных на стационарность методом Дики-Фуллера;
- Построение матриц корреляций, вычисление VIF фактора, определение сезонности в данных;
- Разработка класса генерации датасета, позволяющего выполнять заданную предобработку исходных рядов данных по каждому ВИК, вычислять синтетические столбцы и генерировать датасет с требуемым набором столбцов и преобразований, таких как перевод направлений ветра в ряды синусов и косинусов, удаление сезонности, удаление тренда, дифференцирование заданных столбцов, агрегирование, нормализация, заполнение пропусков, разделение на обучающую и тестовую выборки, подготовка словаря с набором данных для выполнения обратных преобразований;
- Разработка класса обратной трансформации преобразованных в датасет данных, денормализация, интегрирование дифференцированных данных, возврат тренда и сезонности;
- Обучение моделей архитектурами, включающими слои CNN, RNN, GRU, LSTM на датасетах, подготовленных из рядов по всем башням ВИК заказчика, интеграция обученных моделей в разработанное веб-приложение
- Калюжный Дениссистемный администратор
- Первичный парсинг данных заказчика в формате csv;
- Написание первичного класса датасета с функционалом автоматического парсинга данных из csv и формированием промежуточной базы данных в формате sqlite;
- Проведение разведывательного анализа данных с применением специализированных библиотек, выявление корреляций в имеющихся данных и выбор опорных рядов для целей прогнозирования;
- Расширение класса датасета до возможностей формирования выборок из датасета с произвольными параметрически задаваемыми условиями отбора по времени / каналам / башням ВИК и другим параметрам в различных вариантах, как в одноканальном, так и в многоканальном режимах;
- Применение для прогнозирования функционала фреймворка для временных рядов ETNA от Tinkoff
- Шеханова ЕленаАдминистратор БД//Бухгалтер
- Проведение разведывательного анализа данных с применением библиотеки sweetviz;
- Подготовка доклада по методу предсказания скорости ветра на основе гауссовского процесса;
- Подготовка датасета для моделей на основе гауссовского процесса, обучение моделей для разных башен ВИК;
- Интеграция обученных моделей в разработанное веб-приложение на Gradio;
- Тестирование обученных моделей для разных башен ВИК в интерфейсе веб-приложения
- Драгинда ЮлияНаучный сотрудник (CIRMMT, Монреаль, Канада)
- Проведение разведывательного анализа данных с применением специализированных библиотек, исследование мультиколлинеарности в данных с помощью VIF фактора;
- Изучение встроенных в pandas методов заполнения пропусков в данных;
- Заполнение пропусков в данных с помощью метода Кригинга, подготовка датасетов по всем вышкам, не содержащих пропущенных значений;
- Построение модели предсказания скорости ветра на основе обратного преобразования Фурье
- Молчанов Дениссистемный администратор
- Тестирование статистических моделей семейства ARMA (ARIMA, SARIMA, SARIMAX), выполнение доклада группе по моделям данного семейства;
- Тестирование влияния вариантов нормализаций временного ряда (Standard Scaler, MinMax Scaler, Quantile Transformer) на результаты обучения НС;
- Исследование архитектуры модели Informer для предсказания временных рядов, доклад группе по архитектуре данной модели с подготовкой демонстрационного ноутбука;
- Создание конвейеров обучения и тестирование моделей нейронных сетей глубокого обучения (Linear Model, Simple NN Model, BiLSTM+NN, Transformer, Informer(Embedding+ProbAttention+Distilling+Mix)) для прогнозирования временного ряда на одно- и много-канальном датасете с применением библиотек tensorflow и pytorch
Участники
2 команды проекта
2 команды проекта
- Бойцов АнтонТимлид проекта
- Организация и планирование работ группы, координация работы группы по решению прикладных задач проекта
- Экспертная поддержка участников стажировки
- Разработка итоговых презентационных материалов по проекту
- Рязанцев ЕгорПомощник тимлида
- Тестирование решений, подготовка отчётных материалов
- Помощь тимлиду в организации процесса стажировки
- Старкин СергейОценщик
- Предобработка временных рядов с использованием библиотек python (pandas, NumPy, Matplotlib, os, Plotly, math)
- Расчет и определение направления для максимально эффективной силы ветра в месте расположения вышки с датчиками (pandas, NumPy)
- Разметка и дополнительная обработка временных рядов (pandas, NumPy, math)
- Подбор архитектуры и обучение нейросетевой модели (AutoKeras, auto_ts)
- Эксперименты по дополнение данных обучения проекцией силы ветра на ось самого эффективного направления, первая и вторая производные фактических данных и др.
- Эксперименты с подбором минимального количество временных периодов для приемлемого прогноза на несколько периодов вперед
- Подбор гиперпараметров обучения модели (АutoKeras, auto_ts, talos)
- Разработка модуля определения наиболее эффективного направления для силы ветра (pandas, NumPy)
- Тестирование, исправление ошибок, внедрение улучшений в модули дополнительной обработки временных рядов для устранение автокорреляции (pandas, NumPy, AutoKeras, auto_ts)
- Подготовка документации и инструкций для заказчика проекта
- Шамаев Олегзанимается внедрением AI в компании
- Анализ и подготовка данных (NumPy, pandas, Matplotlib, Plotly, RE)
- Поиск оптимальной архитектуры модели (PyTorch, Keras, AutoTS)
- Эксперименты с архитектурами на основе LSTM, Conv и полносвязных слоев и их комбинацией в различных вариантах с использованием слоев Dropout, BatchNormalization, MaxPooling
- Эксперименты с архитектурой Transformer с использование Encoder вместе с Decoder, так и отдельно (TransformerTS)
- Эксперименты проводились как на первоначальных данных, так и на данных обогащенных производными, проекциями. Производилось усреднение данных различными способами, через проекции и классически
- Лесков ЕвгенийАйТи директор, ООО «Ай-линк консалтинг»
- Предварительная обработка данных заказчика, выявление периодов непрерывных данных, выявление некорректных данных (NumPy, pandas, Matplotlib, Plotly)
- Эксперименты с различными архитектурами нейронных сетей (TensorFlow)
- Преобразование в данных временных меток, вычисление тригонометрических функций угловых величин, определение преобладающего направления ветра.
- Эксперимент по заполнению пробелов в данных одной вышки, на основе наблюдений на других вышках в этот же момент времени при помощи регрессии
- Подбор параметров обучения и формата входных данных для устранения автокорреляции (auto-ts)
- Тестовое обучение сети KAN - Колмогорова-Арнольда
- Загидуллин Рифкатглавный специалист по ГРР
- Загрузки и предобработки массива данных из текстового файла (pandas)
- Эксперименты с различными архитектурами нейронных сетей (TensorFlow)
- Визуализация данных, построение розы ветров с категоризацией по силе ветра на 10 категорий, согласно шкалы Бофорта и по 8 направлениям ветра (Plotly Express, pandas, NumPy, Mathplotlib)
- Предобработка данных фильтром Калмана (pykalman)
- Подбор архитектуры нейронной сети средствами AutoML (auto_ts, pandas, NumPy, Mathplotlib)
- Тестирование различный наработок и перепроверка результатов коллег
- Поливанов Анатолий
- Анализ предметной области
- Предобработка и парсинг данных (pandas, NumPy, math)
- Сбор и анализ дополнительных данных из открытых источников
- Аугментация, предобработка и визуализация данных (Plotly Express, pandas, NumPy, Mathplotlib)
- Подбор архитектуры и обучение нейросетевой модели и с гиперпараметрами обучения (АutoKeras, auto_ts, talos)