Прогнозирование будущего: как учить модели на опыте экспертов

Автор: Денис Аветисян

Новый метод регулярного ансамблевого прогнозирования позволяет повысить точность предсказаний, используя исторические данные и текущие оценки экспертов.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

Оптимальный вес первого эксперта, определяемый как [latex]w\_{1}^{\*}[/latex], демонстрирует зависимость от априорного веса [latex]w\_{1}s\_{1}[/latex] и квадратичного отклонения [latex](\mu\_{1}-\mathbb{E}(\mu))^{2}[/latex], при фиксированном прогнозе второго эксперта, причем характер этой зависимости варьируется в зависимости от выбранных преобразований [latex]f[/latex] и штрафных функций Φ. — Оптимальный вес первого эксперта, определяемый как $w\_{1}^{\*}$ , демонстрирует зависимость от априорного веса $w\_{1}s\_{1}$ и квадратичного отклонения $(\mu\_{1}-\mathbb{E}(\mu))^{2}$ , при фиксированном прогнозе второго эксперта, причем характер этой зависимости варьируется в зависимости от выбранных преобразований $f$ и штрафных функций Φ.

В статье представлен подход, сочетающий в себе регуляризацию, байесовские иерархические модели и оптимизацию весов для улучшения точности прогнозов.

Объединение прогнозов различных экспертов часто дает более точные результаты, чем использование одного источника, однако традиционные подходы к взвешиванию этих прогнозов не всегда учитывают как текущую ситуацию, так и прошлую эффективность экспертов. В работе ‘Regularized Ensemble Forecasting for Learning Weights from Historical and Current Forecasts’ предложен новый регуляризованный ансамблевый метод, который динамически определяет веса экспертов, опираясь на их текущие прогнозы и исторические данные об ошибках. Предложенный подход минимизирует дисперсию комбинированного прогноза с учетом регуляризации, основанной на прошлой точности, что позволяет достичь лучших результатов, чем у существующих моделей, в задачах прогнозирования продаж и макроэкономических показателей. В каких случаях историческая эффективность экспертов оказывается более информативной, а в каких — текущие прогнозы, и как это можно оптимально учесть в ансамблевом прогнозировании?

За пределами простых усреднений: Ограничения традиционного прогнозирования

Традиционные методы ансамблевого прогнозирования зачастую полагаются на простое усреднение оценок различных экспертов, не учитывая при этом различия в их квалификации и текущую эффективность. Такой подход игнорирует тот факт, что некоторые эксперты обладают более глубоким пониманием конкретной области или демонстрируют более высокую точность прогнозов в определенных условиях. В результате, ценная информация, содержащаяся в индивидуальных оценках, нивелируется, а общий прогноз может оказаться менее надежным, чем мог бы быть, если бы учитывались как опыт, так и недавние результаты каждого эксперта. Данное упрощение снижает потенциальную точность прогнозов и не позволяет в полной мере использовать возможности, предоставляемые коллективным интеллектом группы специалистов.

Простой усредненный подход к прогнозированию, используемый в ансамблевых моделях, зачастую не позволяет в полной мере использовать содержащуюся в них информацию. Усреднение игнорирует различия в компетентности отдельных экспертов и их недавнюю результативность, что приводит к снижению общей точности прогнозов. В результате, упускаются возможности для более эффективного предсказания, поскольку не учитывается, что некоторые эксперты могут обладать более ценными знаниями или лучше адаптироваться к изменяющимся условиям, чем другие. Таким образом, несмотря на кажущуюся простоту, подобный метод ограничивает потенциал ансамблевого прогнозирования и препятствует достижению оптимальных результатов.

Усреднение прогнозов экспертов, несмотря на свою кажущуюся простоту, зачастую скрывает ценные сигналы, содержащиеся в индивидуальных оценках. Подход, игнорирующий динамику компетентности и недавнюю результативность каждого специалиста, приводит к потере информации о реальных тенденциях. Поскольку эксперты обладают разным опытом и склонностью к ошибкам в различных ситуациях, статичное усреднение нивелирует различия, которые могли бы указать на более точный прогноз. Более того, традиционное усреднение не адаптируется к изменяющимся условиям — в периоды высокой волатильности или при появлении новых факторов, оценка компетентности экспертов может меняться, что требует пересмотра весов в ансамбле прогнозов. В результате, стабильное усреднение лишает систему гибкости и способности оперативно реагировать на изменения, снижая общую точность и надежность прогнозов.

Регуляризованное ансамблевое прогнозирование: Повышение точности за счет динамического взвешивания

Регуляризованное ансамблевое прогнозирование (REF) оптимизирует веса каждого эксперта в ансамбле, стремясь к максимизации точности прогноза. Этот процесс включает балансировку между дисперсией (variance) и регуляризацией. Высокая дисперсия указывает на чувствительность модели к незначительным изменениям в данных, что может приводить к переобучению. Регуляризация, напротив, снижает сложность модели, предотвращая переобучение и улучшая обобщающую способность. REF использует методы оптимизации для нахождения оптимальных весов, которые минимизируют общую ошибку прогноза, учитывая как точность отдельных экспертов, так и степень регуляризации, применяемой к их прогнозам. $\text{Оптимизация: min } \sum_{i=1}^{n} w_i^2 \text{ при условии } \sum_{i=1}^{n} w_i = 1$ , где $w_i$ — вес i-го эксперта.

В основе алгоритма Regularized Ensemble Forecasting (REF) лежит целевая функция, которая явно учитывает историческую производительность каждого эксперта, входящего в ансамбль. Данный подход основан на эмпирически подтвержденной зависимости между прошлым успехом и будущей надежностью прогнозов: эксперты, демонстрировавшие высокую точность в прошлом, с большей вероятностью сохранят ее и в будущем. Целевая функция присваивает более высокие веса экспертам с лучшими историческими показателями, что позволяет системе автоматически адаптироваться к относительной надежности различных источников прогнозов и максимизировать общую точность ансамбля.

Система REF адаптируется к изменяющимся рыночным условиям за счет динамической корректировки весов, присваиваемых каждому эксперту в ансамбле прогнозирования. В отличие от статических методов, где веса остаются фиксированными, REF непрерывно оценивает вклад каждого эксперта на основе его недавней производительности и изменяет веса соответствующим образом. Это позволяет системе автоматически увеличивать влияние экспертов, демонстрирующих высокую точность в текущих условиях, и уменьшать влияние менее эффективных экспертов. Такой подход максимизирует использование коллективной экспертизы ансамбля и обеспечивает более устойчивые и точные прогнозы в динамичной среде.

Оптимизация весов с регуляризацией, выполненная с использованием двух экспертов, демонстрирует, как уровень штрафа λ влияет на выбор оптимальных весов (точки) в зависимости от ограничений, задаваемых линейным уравнением [latex]w_1 + w_2 = 1[/latex], и отображается на уровнях дисперсии (концентрические эллипсы) и допустимой области штрафа (серая заливка). — Оптимизация весов с регуляризацией, выполненная с использованием двух экспертов, демонстрирует, как уровень штрафа λ влияет на выбор оптимальных весов (точки) в зависимости от ограничений, задаваемых линейным уравнением $w_1 + w_2 = 1$ , и отображается на уровнях дисперсии (концентрические эллипсы) и допустимой области штрафа (серая заливка).

Байесовские основы и методы оптимизации в REF

Метод REF (Rank-Expert Fusion) базируется на байесовской иерархической модели, обеспечивающей структурированный подход к объединению априорных убеждений и наблюдаемых данных. В качестве априорного распределения для весов экспертов используется распределение Дирихле $Dir(\alpha)$ , которое отражает начальные предположения о правдоподобии каждого эксперта. Наблюдаемые данные, представляющие собой прогнозы экспертов, моделируются с использованием нормального распределения $N(\mu, \sigma^2)$ . Байесовский подход позволяет последовательно обновлять веса экспертов, комбинируя априорное распределение с функцией правдоподобия, полученной из данных, что приводит к апостериорному распределению, отражающему текущую оценку вероятности корректности каждого эксперта.

Процесс оптимизации в REF использует алгоритм Expectation-Maximization (EM) для итеративного уточнения весов экспертов. Алгоритм EM состоит из двух основных шагов: на шаге ожидания (E-step) вычисляются вероятности того, что каждый эксперт был прав для каждого конкретного случая, основываясь на текущих значениях весов. На шаге максимизации (M-step) веса пересчитываются таким образом, чтобы максимизировать функцию правдоподобия, учитывая вероятности, вычисленные на E-step. Этот цикл E-step и M-step повторяется до сходимости, то есть до тех пор, пока изменения весов не станут незначительными. В результате оптимизации достигается максимальное значение целевой функции, что обеспечивает оптимальную производительность и точность прогнозов.

Веса, полученные в результате оптимизации, интерпретируются как вероятности корректности каждого эксперта. Это позволяет формировать вероятностный прогноз, где вклад каждого эксперта пропорционален его весу. Более высокие веса указывают на большую уверенность в правильности прогнозов данного эксперта, а более низкие — на меньшую. Фактически, итоговый прогноз представляет собой взвешенное среднее прогнозов всех экспертов, где весами служат вычисленные вероятности. Использование вероятностного подхода позволяет оценить неопределенность прогноза и предоставить интервалы доверия, что критически важно для принятия обоснованных решений.

Валидация и результаты в конкурентной среде

Система прогнозирования REF подверглась всесторонней проверке на надежность и точность с использованием признанных эталонов, таких как конкурс M5 и опрос профессиональных прогнозистов (SPF). Эти бенчмарки, представляющие собой сложные и разнообразные наборы данных, позволили объективно оценить способность REF к предсказанию в различных условиях. Результаты, полученные на этих платформах, демонстрируют, что REF эффективно справляется с задачей прогнозирования, обеспечивая стабильно высокие показатели в сравнении с традиционными методами ансамблевого прогнозирования. Использование данных M5 и SPF позволило подтвердить, что разработанный подход обладает высокой степенью обобщающей способности и может быть успешно применен к реальным экономическим задачам.

Исследования показали, что разработанный ансамблевый метод REF демонстрирует стабильное превосходство над традиционными подходами к прогнозированию. Подтверждением этого служит последовательное снижение значений $RMSSE$ (Root Mean Squared Scaled Error) на широко используемых эталонных наборах данных — M5 Competition и Survey of Professional Forecasters (SPF). Более низкие значения $RMSSE$ указывают на более высокую точность прогнозов, что свидетельствует о значительном улучшении эффективности по сравнению с существующими методами и открывает новые возможности для повышения надежности и качества прогнозирования в различных областях.

Внедрение регуляризационного компонента, основанного на анализе исторической точности прогнозов, оказалось ключевым фактором повышения надежности ансамблевого метода. Этот компонент, по сути, позволяет модели «учиться на своих ошибках», снижая влияние случайных колебаний и повышая устойчивость к новым, ранее не встречавшимся данным. В результате, $RMSSE$ — показатель среднеквадратичной ошибки масштабированной шкалы — значительно уменьшается на таких сложных наборах данных, как M5 и SPF, что свидетельствует о значительном улучшении способности модели к долгосрочному и точному прогнозированию в конкурентной среде. Этот подход демонстрирует, что использование информации о прошлых результатах не только улучшает текущую точность, но и повышает общую устойчивость и адаптивность ансамбля к изменениям в данных.

В исследовании SPF увеличение улучшения производительности ([latex]\Delta\Delta_{RMSSE}[/latex]) наблюдается с ростом доли штрафа (PS) для базовых моделей при различных горизонтах прогнозирования ([latex]h=0[/latex] и [latex]h=1[/latex]). — В исследовании SPF увеличение улучшения производительности ( $\Delta\Delta_{RMSSE}$ ) наблюдается с ростом доли штрафа (PS) для базовых моделей при различных горизонтах прогнозирования ( $h=0$ и $h=1$ ).

Адаптивность и будущие направления в ансамблевом прогнозировании

Основной принцип ансамблевого прогнозирования REF допускает расширение за счет различных подходов к регуляризации, что позволяет адаптировать его к конкретным прогнозируемым сценариям. В частности, модели, использующие сдвинутую логарифмическую энтропию и сдвинутую логарифмическую L2-регуляризацию, демонстрируют повышенную эффективность в различных областях применения. Эти методы позволяют не только улучшить точность прогнозов, но и учесть специфические характеристики данных, такие как неравномерность распределения или наличие выбросов. В результате, гибкость REF позволяет исследователям и практикам настраивать модель под свои нужды, добиваясь оптимальных результатов в задачах прогнозирования, начиная от экономических моделей и заканчивая управлением цепочками поставок.

Гибкость разработанного ансамблевого подхода, известного как REF, делает его ценным инструментом в разнообразных областях. Способность адаптироваться к различным задачам прогнозирования позволяет успешно применять его не только в экономическом анализе, где точные предсказания динамики рынков критически важны, но и в управлении сложными цепочками поставок. В этой сфере REF помогает оптимизировать логистику, снижать риски перебоев и повышать общую эффективность. Благодаря своей универсальности, он может быть использован для моделирования и прогнозирования в самых разных отраслях, от энергетики до здравоохранения, предоставляя возможность принимать обоснованные решения в условиях неопределенности и быстро меняющейся обстановки.

Дальнейшие исследования направлены на интеграцию ансамблевого прогнозирования на основе REF с методами машинного обучения. Предполагается, что такое сочетание позволит значительно повысить прогностическую способность модели, особенно в условиях высокой сложности и нелинейности прогнозируемых процессов. Автоматизация процесса оптимизации, осуществляемая посредством алгоритмов машинного обучения, позволит адаптировать REF к различным сценариям и данным, снижая потребность в ручной настройке и экспертных оценках. Особое внимание уделяется разработке гибридных моделей, использующих сильные стороны как статистических ансамблевых методов, так и современных алгоритмов глубокого обучения, что открывает перспективы для создания более точных и надежных систем прогнозирования в различных областях, включая экономику, финансы и управление цепочками поставок.

Данная работа демонстрирует, что попытки оптимизировать прогнозы, объединяя текущие оценки с историческими данными, не являются поиском абсолютной истины, а скорее попыткой упорядочить хаос когнитивных искажений. Методика, предложенная авторами, направлена на снижение влияния случайных факторов и повышение стабильности прогнозов, что согласуется с пониманием рынка как отражения коллективного настроения. Как однажды заметил Фридрих Ницше: «Безумец не знает, что он безумен, но безумие — это и есть высшая форма здравомыслия». В контексте прогнозирования, признание неизбежности ошибок и систематическое их выравнивание может привести к неожиданно точным результатам. Оптимизация весов экспертных оценок — это не поиск идеальной модели, а попытка найти наиболее устойчивую иллюзию в океане неопределенности.

Куда Дальше?

Представленный подход к ансамблевому прогнозированию, безусловно, демонстрирует способность извлекать уроки из прошлого, но и это лишь ещё одна попытка построить иллюзию контроля над будущим. Экономика не объясняет мир — она объясняет надежды людей на контроль. Оптимизация весов, основанная на исторических данных, предполагает, что эксперты остаются относительно последовательными во времени, что, мягко говоря, оптимистично. Человек — не рациональный агент, а биологическая гипотеза с систематическими ошибками, и эти ошибки, вероятно, будут эволюционировать быстрее, чем любой алгоритм.

Следующим шагом представляется не столько повышение точности прогнозов (хотя это, конечно, важно), сколько исследование механизмов, лежащих в основе изменения экспертных оценок. Почему прогнозы меняются? Что заставляет экспертов пересматривать свои взгляды? И можно ли использовать эти изменения для создания более устойчивых и адаптивных моделей? Важно помнить, что моделирование человеческого поведения — это всегда упрощение, и любое упрощение неизбежно игнорирует важные факторы.

Будущие исследования могли бы сосредоточиться на интеграции поведенческих моделей, учитывающих когнитивные искажения и эмоциональные факторы, влияющие на процесс прогнозирования. Ведь мы не рациональны — мы просто хотим казаться предсказуемыми. Попытка моделировать эту потребность в предсказуемости может оказаться более плодотворной, чем бесконечная гонка за точностью.

Оригинал статьи: https://arxiv.org/pdf/2602.11379.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-14 21:02