Инвестиции с умом: как научить других играть по-новому

Автор: Денис Аветисян

Новый подход к моделированию поведения участников финансовых рынков позволяет повысить эффективность стратегий устойчивого инвестирования.

На диаграмме Шеллінга, отображающей совокупное благосостояние рынка, демонстрируется, что сотрудничество, определяемое как инвестиции в смягчение последствий в размере 0,5% от капитала, может привести к значительному увеличению общего благосостояния, в то время как дезертирство, напротив, ведет к его снижению, особенно при увеличении числа других кооперативных стратегий.

Исследование демонстрирует, что применение метода Advantage Alignment в многоагентном обучении с подкреплением позволяет преодолеть дилеммы, возникающие при финансировании климатических проектов.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

Глобальное сотрудничество, необходимое для решения проблемы изменения климата, часто сталкивается с противоречием между краткосрочными экономическими интересами и долгосрочным благополучием. В статье ‘Towards Sustainable Investment Policies Informed by Opponent Shaping’ представлена многоагентная симуляция InvestESG, моделирующая взаимодействие инвесторов и компаний в условиях климатических рисков. Показано, что применение алгоритма формирования поведения оппонентов Advantage Alignment позволяет сместить динамику обучения агентов в сторону кооперативных решений, способствуя достижению социально желательных результатов. Возможно ли, используя подобные подходы, разработать эффективные механизмы, согласующие рыночные стимулы с целями устойчивого развития?

Прогноз Кризиса: Коллективные Действия в Эпоху Изменений

Изменение климата представляет собой глубокую глобальную проблему, требующую незамедлительных и согласованных действий. Масштаб и сложность этой задачи обусловлены не только научными аспектами, но и социально-экономическими факторами, влияющими на все страны мира. Необходимость снижения выбросов парниковых газов и адаптации к уже происходящим изменениям требует совместных усилий на международном, национальном и локальном уровнях. Отсутствие скоординированных действий чревато необратимыми последствиями для экосистем, экономики и благополучия будущих поколений, подчеркивая критическую важность немедленного и решительного ответа на этот вызов.

Эффективное смягчение последствий изменения климата осложняется присущими обществу дилеммами, где индивидуальная рациональность вступает в противоречие с коллективным благополучием. Суть проблемы заключается в том, что действия, кажущиеся логичными и выгодными для отдельного человека в краткосрочной перспективе — например, использование ископаемого топлива из-за его доступности — часто подрывают долгосрочную устойчивость всей системы. Эта ситуация напоминает классическую “трагедию общин”, где каждый участник, стремясь к максимальной выгоде, истощает общий ресурс, что в конечном итоге приводит к неблагоприятным последствиям для всех. Преодоление этих дилемм требует разработки механизмов, стимулирующих сотрудничество и переориентации на долгосрочные выгоды, а также признания того, что индивидуальные интересы не могут быть полностью отделены от общего блага.

Поведение, основанное на краткосрочной выгоде, зачастую создает серьезные препятствия для достижения долгосрочной устойчивости. Это связано с тем, что индивидуумы и организации склонны принимать решения, максимизирующие их текущие преимущества, не учитывая при этом последствия для будущих поколений или для окружающей среды. Например, стремление к немедленной прибыли может привести к чрезмерной эксплуатации природных ресурсов, загрязнению окружающей среды и игнорированию долгосрочных рисков, таких как изменение климата. Подобные действия, рациональные с точки зрения отдельного субъекта, в масштабе всего общества оказываются контрпродуктивными и подрывают основы устойчивого развития, создавая порочный круг, где краткосрочные выгоды приводят к долгосрочным потерям.

В социальной дилемме ESG = 0, предложенная стратегия (AA) инвестирует в моменты пиковых климатических рисков, поддерживая равномерное распределение капитала между компаниями, в то время как базовая стратегия PPO демонстрирует хаотичные инвестиции и концентрацию капитала в отдельных фирмах.

Системное Моделирование: Многоагентное Обучение как Инструмент Прогноза

Многоагентное обучение с подкреплением (MARL) представляет собой мощную структуру для моделирования сложных взаимодействий между агентами, отличающуюся от традиционного обучения с подкреплением (RL) тем, что предполагает наличие нескольких обучающихся агентов, действующих в одной и той же среде. В отличие от RL, где среда считается статической, в MARL среда динамически изменяется под влиянием действий всех агентов, создавая нетривиальные задачи, требующие учета стратегий других агентов. MARL позволяет исследовать emergent behavior — поведение, которое не было явно запрограммировано, но возникает в результате взаимодействия агентов. Ключевым отличием является необходимость моделирования как собственной политики агента, так и политики других агентов, что усложняет процесс обучения и требует специальных алгоритмов, учитывающих взаимное влияние агентов друг на друга.

Среда InvestESG использует многоагентное обучение с подкреплением (MARL) для моделирования взаимодействия между корпорациями и инвесторами в условиях климатических рисков. В данной среде корпорации принимают решения, касающиеся инвестиций в экологически устойчивые проекты и раскрытия информации о связанных рисках, в то время как инвесторы оценивают эти действия и принимают решения об инвестировании или перераспределении капитала. MARL позволяет моделировать стратегическое взаимодействие между этими агентами, учитывая, что действия каждого агента влияют на вознаграждение других, создавая сложную динамику, отражающую реальные рыночные условия и стимулирующие факторы для экологически ответственного поведения.

Окружение InvestESG структурировано как Марковская игра, что позволяет проводить строгий анализ стратегического принятия решений. В рамках Марковской игры каждый агент (корпорация или инвестор) действует в определенном состоянии, принимает решение на основе этого состояния, и его действия влияют на состояние других агентов и окружающей среды. Формализация в виде Марковской игры обеспечивает математическую основу для анализа равновесий, таких как равновесие Нэша, и позволяет предсказывать поведение агентов в различных сценариях. Это обеспечивает возможность количественной оценки стратегий и выявления оптимальных решений для каждой стороны, учитывая взаимодействие между ними и климатические риски. Определение функций вознаграждения для каждого агента и моделирование динамики окружающей среды в рамках Марковской игры позволяют проводить симуляции и оценивать эффективность различных политик.

Варьирование параметра α в модели InvestESG показало, что при [latex] \alpha = 1 [/latex] различия в общем богатстве рынка и уровне смягчения последствий между агентами с разными ESG-стимулами незначительны, в то время как увеличение α до 70 приводит к большему богатству для социально ответственных инвесторов и увеличению цены анархии, при этом значение ESG = 10 соответствует практически полному игнорированию собственной прибыли. — Варьирование параметра α в модели InvestESG показало, что при $\alpha = 1$ различия в общем богатстве рынка и уровне смягчения последствий между агентами с разными ESG-стимулами незначительны, в то время как увеличение α до 70 приводит к большему богатству для социально ответственных инвесторов и увеличению цены анархии, при этом значение ESG = 10 соответствует практически полному игнорированию собственной прибыли.

Формирование Поведения: Управление Системой через Влияние на Агентов

Формирование поведения оппонентов (Opponent Shaping) представляет собой механизм, позволяющий агентам стратегически влиять на динамику обучения других участников. В отличие от традиционных подходов обучения с подкреплением, где каждый агент оптимизирует свою стратегию независимо, данный метод предполагает активное воздействие на процесс обучения других агентов с целью достижения более благоприятных коллективных результатов. Это достигается путем изменения вознаграждений или наблюдаемой среды для других агентов, направляя их обучение в желаемое русло. Таким образом, формирование поведения оппонентов позволяет преодолеть проблемы, возникающие при взаимодействии агентов с различными или конфликтующими целями, и способствует достижению более эффективных и скоординированных действий в многоагентных системах.

Алгоритм Advantage Alignment, являясь конкретным методом формирования поведения оппонентов, направлен на согласование стимулов взаимодействующих игроков в среде InvestESG. Цель заключается в создании условий, при которых действия каждого агента способствуют достижению более благоприятных общих результатов, учитывая взаимозависимость стратегий и влияние на общий капитал рынка и уровень климатического риска. Достигается это путем целенаправленного воздействия на функции вознаграждения, чтобы максимизировать общую выгоду для всех участников, избегая при этом неблагоприятных последствий для достижения целей устойчивого развития.

В ходе экспериментов алгоритм Advantage Alignment продемонстрировал превосходство над другими методами многоагентного обучения с подкреплением (MARL) в среде InvestESG. В частности, он достиг более высокой общей рыночной капитализации и снизил объем инвестиций в смягчение последствий, при этом поддерживая тот же уровень конечного климатического риска. Данный результат указывает на эффективность Advantage Alignment в оптимизации взаимодействия между агентами для достижения как экономических, так и экологических целей, обеспечивая улучшенные показатели по сравнению с альтернативными подходами.

Алгоритм Advantage Alignment использует обобщенную оценку преимущества (Generalized Advantage Estimation, GAE) для более точной оценки ценности действий в процессе обучения, что позволяет агентам более эффективно формировать поведение других участников. GAE позволяет снизить дисперсию оценок, повышая стабильность обучения и улучшая сходимость. Для дальнейшей оптимизации стратегий формирования поведения применяется метод самообучения (Self-Play), при котором агент взаимодействует сам с собой, непрерывно совершенствуя свои навыки и адаптируясь к различным стратегиям противников. Этот процесс позволяет агенту разрабатывать робастные стратегии формирования, эффективно влияющие на динамику обучения других агентов в среде InvestESG.

В отличие от обучения с суммарными наградами, которое не способно оптимизировать общественное благосостояние при увеличении числа участников, Advantage Alignment стабильно находит оптимальное решение даже при большом количестве агентов (до 10), обеспечивая более равномерное распределение ресурсов, о чем свидетельствует более низкий коэффициент Джини.

Системный Анализ и Перспективы Развития: Влияние на Будущее Прогнозирования

Среда InvestESG была разработана как платформа для сравнительного анализа эффективности алгоритма Advantage Alignment в контексте многоагентного обучения с подкреплением (MARL). Исследователи использовали InvestESG для сопоставления результатов, полученных с помощью Advantage Alignment, с результатами, демонстрируемыми стандартными алгоритмами MARL, такими как PPO, IPPO и MAPPO. Это позволило оценить преимущества и недостатки нового подхода в моделировании сложных взаимодействий при принятии инвестиционных решений, ориентированных на экологические, социальные и управленческие (ESG) факторы. Такой подход к тестированию и сравнению алгоритмов обеспечивает надежную основу для дальнейшего развития и оптимизации стратегий, направленных на достижение устойчивого и ответственного инвестирования.

В ходе исследований, алгоритм Advantage Alignment достиг итогового уровня климатического риска, равного 0.48. Этот показатель представляет собой предел достижимого риска в рамках используемой модельной среды InvestESG. Данный результат демонстрирует, что предложенный подход позволяет снизить потенциальные негативные последствия инвестиционной деятельности для климата до минимально возможного уровня в заданных условиях. Фактически, значение 0.48 указывает на нижнюю границу риска, которую можно достичь при использовании существующих параметров и ограничений модели, что подчеркивает эффективность алгоритма в управлении климатическими рисками при принятии инвестиционных решений.

Исследования показали, что разработанный алгоритм демонстрирует более низкие коэффициенты Джини по сравнению с алгоритмом PPO, что свидетельствует о более справедливом распределении инвестиционных ресурсов. Коэффициент Джини, являясь мерой неравенства, указывает на то, что предложенный подход способствует снижению разрыва между богатыми и бедными в рамках моделируемой инвестиционной среды. Более низкие значения коэффициента Джини указывают на более равномерное распределение капитала и, как следствие, на уменьшение социально-экономического неравенства. Данный результат подчеркивает потенциал алгоритма не только для достижения климатических целей, но и для создания более справедливой и устойчивой экономической системы, где выгоды от инвестиций распределяются более равномерно между всеми участниками.

В моделируемой среде InvestESG стратегическое взаимодействие между агентами оказывает непосредственное влияние на усилия по раскрытию информации об экологических, социальных и управленческих (ESG) факторах и смягчению связанных с ними рисков. Исследования показывают, что способы, которыми агенты координируют свои действия и распределяют ресурсы, напрямую определяют эффективность мер по снижению климатических рисков и обеспечению более справедливого распределения инвестиций. Моделирование этих взаимодействий позволяет выявить ключевые факторы, влияющие на успешность ESG-инициатив, и понять, как изменение стратегий агентов может привести к более устойчивым и равноправным результатам в области инвестирования и управления рисками. В конечном итоге, понимание этих динамических процессов способствует разработке более эффективных механизмов для стимулирования прозрачности и ответственности в сфере ESG.

Дальнейшие исследования направлены на проверку устойчивости разработанных методов в различных, более сложных социально-экономических системах. Ученые планируют адаптировать алгоритмы, успешно протестированные в среде InvestESG, для моделирования и оптимизации процессов в других областях, таких как управление ресурсами, распределение помощи и прогнозирование социальных изменений. Особое внимание будет уделено оценке способности алгоритмов сохранять эффективность и справедливость при изменении исходных данных и параметров модели, а также при взаимодействии с непредсказуемыми факторами. Исследователи стремятся к созданию универсальных инструментов, способных решать широкий спектр задач, связанных с оптимизацией сложных систем и достижением социально значимых целей.

Агенты, использующие Advantage Alignment, демонстрируют более эффективное управление инвестициями в смягчение рисков, достигая максимального совокупного благосостояния на рынке при сопоставимом уровне климатических рисков и более высокой доходности капитала, при этом наилучший достижимый климатический риск в данной среде составляет 0.48, что соответствует минимальному порогу вероятностей неблагоприятных событий [latex]1-\prod\_{e}(1-P\_{0}^{e})[/latex]. — Агенты, использующие Advantage Alignment, демонстрируют более эффективное управление инвестициями в смягчение рисков, достигая максимального совокупного благосостояния на рынке при сопоставимом уровне климатических рисков и более высокой доходности капитала, при этом наилучший достижимый климатический риск в данной среде составляет 0.48, что соответствует минимальному порогу вероятностей неблагоприятных событий $1-\prod\_{e}(1-P\_{0}^{e})$ .

Исследование демонстрирует, что системы, подобные тем, что моделируются в данной работе, не являются статичными конструкциями, а скорее развивающимися экосистемами. Попытки прямого контроля над агентами, как в стандартном обучении с подкреплением, зачастую приводят к непредсказуемым последствиям. Применение же метода Advantage Alignment, позволяющего формировать поведение других агентов, напоминает скорее искусство садоводства, нежели архитектуру. Как однажды заметил Марвин Минский: «Самое важное — это не то, что мы знаем, а то, что мы способны узнать». Именно способность к адаптации и формированию благоприятной среды для взаимодействия агентов, а не жесткое программирование, является ключом к решению сложных социальных дилемм, таких как смягчение последствий изменения климата, рассматриваемых в данной работе.

Куда Ведет Дорога?

Представленная работа демонстрирует не столько решение социальных дилемм, сколько перенос акцента. Вместо поиска оптимальной стратегии в статической среде, предлагается работа с самой тканью взаимодействия. Однако, иллюзия контроля над “формированием оппонента” требует осторожного осмысления. Каждое вмешательство в процесс обучения других агентов — это пророчество о будущем сбое, неминуемо порождающее новые, непредсказуемые паттерны поведения. Гарантий успеха не существует — лишь договор с вероятностью.

Дальнейшие исследования неизбежно столкнутся с проблемой масштабируемости. Моделирование даже упрощенных климатических сценариев требует колоссальных вычислительных ресурсов. Неизбежно возникнет вопрос: где заканчивается аналитическая модель и начинается эмерджентное поведение, не поддающееся прогнозированию? Стабильность, наблюдаемая в симуляциях, — это всего лишь иллюзия, хорошо кэшированная в ограниченном пространстве параметров.

В перспективе, представляется важным отход от представления об инвестиционных политиках как о наборе инструментов. Системы — это не инструменты, а экосистемы. Их нельзя построить, только вырастить. Настоящий прогресс лежит не в оптимизации отдельных стратегий, а в создании условий для самоорганизации и адаптации к непрерывно меняющейся среде. Хаос — это не сбой, это язык природы.

Оригинал статьи: https://arxiv.org/pdf/2602.11829.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-13 13:00