Моделирование сложных систем: нейросети учатся у агентов

от

Автор: Денис Аветисян

Новый подход объединяет принципы агентного моделирования и нейронные сети для создания более интерпретируемых и надёжных моделей сложных систем.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал
Нейронная сеть, обученная с использованием подхода ABM, успешно моделирует динамику SIR с параметрами $n=100$, $p=0.05$, $\beta=0.4$, $\gamma=0.2$ и шагом $dt=0.1$, демонстрируя соответствие как агрегированным траекториям, так и структуре компартментов.
Нейронная сеть, обученная с использованием подхода ABM, успешно моделирует динамику SIR с параметрами $n=100$, $p=0.05$, $\beta=0.4$, $\gamma=0.2$ и шагом $dt=0.1$, демонстрируя соответствие как агрегированным траекториям, так и структуре компартментов.

В статье представлен фреймворк, сочетающий агентное моделирование и нейронные сети, с применением в эпидемиологии и макроэкономике.

Несмотря на широкое применение нейронных сетей для моделирования сложных систем, сохранение принципов агент-ориентированного моделирования и физических ограничений остается сложной задачей. В данной работе, ‘Towards agent-based-model informed neural networks’, предложен новый подход, объединяющий принципы агент-ориентированного моделирования с нейронными сетями для создания интерпретируемых и структурно-согласованных моделей. Предложенная архитектура, использующая ограниченные графовые нейронные сети и иерархическую декомпозицию, демонстрирует превосходство в задачах прогнозирования и анализа чувствительности на примерах эпидемиологических и макроэкономических моделей. Возможно ли, используя подобные методы, создать более реалистичные и управляемые модели для решения сложных социально-экономических задач?

В погоне за сложностью: Пределы традиционного моделирования

Многие реальные системы, будь то распространение инфекционных заболеваний или колебания экономических трендов, характеризуются внутренней сложностью и динамичностью. Эта сложность обусловлена нелинейными взаимосвязями между многочисленными компонентами системы, где даже незначительные изменения в начальных условиях могут приводить к непредсказуемым последствиям. Динамичность проявляется в постоянном изменении состояния системы во времени, что делает её поведение трудно предсказуемым с использованием традиционных, статичных моделей. Например, распространение вирусной инфекции зависит от множества факторов, включая плотность населения, скорость перемещения людей и эффективность вакцинации, которые постоянно меняются. Аналогично, экономические тренды формируются под влиянием потребительских настроений, политических решений и глобальных событий, создавая постоянно меняющуюся картину. Понимание этой внутренней сложности и динамичности является ключевым для разработки эффективных стратегий прогнозирования и управления такими системами.

Традиционные методы моделирования, стремясь к упрощению сложных систем, зачастую прибегают к значительным упрощениям, что неизбежно ведет к потере точности и прогностической силы. В стремлении к математической элегантности и вычислительной эффективности, многие модели игнорируют важные взаимодействия и нелинейности, присущие реальным процессам. Например, при прогнозировании распространения инфекционных заболеваний часто используются модели, предполагающие однородность популяции и отсутствие пространственных факторов, что существенно снижает их способность адекватно отражать реальную эпидемиологическую ситуацию. В результате, даже небольшие отклонения от сделанных упрощений могут привести к значительным ошибкам в прогнозах, делая традиционные подходы недостаточными для анализа и управления сложными системами, требующими более детального и реалистичного представления взаимодействующих факторов.

Для адекватного моделирования сложных систем необходимо отойти от традиционных методов, сосредотачиваясь на взаимодействиях между отдельными агентами и окружающей их средой. Вместо упрощающих предположений, которые искажают реальность, современные подходы стремятся к симуляции поведения каждого элемента и отслеживанию его влияния на другие. Такой метод, известный как агент-ориентированное моделирование, позволяет изучать возникающие свойства системы — непредсказуемые закономерности, которые проявляются из локальных взаимодействий. Например, распространение эпидемии или формирование экономических трендов гораздо точнее описываются, когда учитывается индивидуальное поведение каждого человека или компании, а не усредненные показатели. Этот переход к моделированию “снизу вверх” открывает новые возможности для понимания и прогнозирования сложных процессов, предоставляя инструменты для более реалистичного анализа и эффективного управления.

Нейронная сеть, основанная на моделировании агентами (ABM-NN), демонстрирует превосходство над базовой сетью графовых сверток (GCN) в предсказании траекторий, особенно при экстраполяции данных.
Нейронная сеть, основанная на моделировании агентами (ABM-NN), демонстрирует превосходство над базовой сетью графовых сверток (GCN) в предсказании траекторий, особенно при экстраполяции данных.

Синергия двух подходов: Агент-ориентированное моделирование и нейронные сети

Агент-ориентированное моделирование (АОМ) представляет собой мощный подход к симуляции сложных систем, основанный на моделировании поведения отдельных агентов и их взаимодействий. В отличие от традиционных методов, фокусирующихся на макроскопическом уровне, АОМ позволяет изучать возникающие свойства системы, исходя из микроскопического поведения её компонентов. Каждый агент в модели обладает собственными характеристиками, правилами поведения и способностью взаимодействовать с другими агентами и окружающей средой. Этот подход особенно полезен при анализе систем, где поведение на уровне целого не может быть предсказано на основе анализа отдельных частей, таких как социальные сети, рынки, эпидемии или транспортные потоки. Моделирование поведения агентов позволяет исследовать влияние различных факторов и параметров на общую динамику системы и прогнозировать её поведение в различных сценариях.

Агент-ориентированное моделирование (АОМ) часто требует значительных вычислительных ресурсов, особенно при моделировании систем с большим количеством агентов или сложных взаимодействий. Вычислительная сложность возрастает экспоненциально с увеличением размера модели и детализацией правил поведения агентов. Кроме того, точная калибровка этих правил является критически важной для обеспечения достоверности результатов моделирования. Некорректно заданные параметры могут привести к нереалистичным сценариям и искажению выводов. Процесс калибровки обычно включает в себя итеративную настройку параметров на основе сравнения результатов моделирования с наблюдаемыми данными, что может быть трудоемким и требовать значительных усилий по валидации.

Сеть, информированная агентно-ориентированной моделью (ABM-NN), объединяет преимущества обоих подходов. Гибкость нейронных сетей используется для аппроксимации сложных зависимостей, в то время как агентно-ориентированная модель обеспечивает включение механистических знаний о системе. Это позволяет ABM-NN обобщать полученные результаты на новые, ранее не встречавшиеся графы, что особенно важно для задач, где данные ограничены или структура системы динамически меняется. В отличие от традиционных нейронных сетей, ABM-NN учитывает взаимодействие между отдельными агентами, что повышает точность и интерпретируемость модели.

В отличие от обычной нейронной сети, сеть, обученная с учетом законов физики (Hamiltonian Neural Network), сохраняет энергию и обеспечивает физически правдоподобную динамику идеальной пружинной системы.
В отличие от обычной нейронной сети, сеть, обученная с учетом законов физики (Hamiltonian Neural Network), сохраняет энергию и обеспечивает физически правдоподобную динамику идеальной пружинной системы.

Под капотом: Как ABM-NN захватывают динамику системы

Агент-ориентированные нейронные сети (ABM-NN) используют обыкновенные дифференциальные уравнения (Neural ODE) для определения непрерывной эволюции состояний агентов. В отличие от дискретных шагов моделирования, Neural ODE описывают изменение состояния агента как решение дифференциального уравнения $ \frac{dz}{dt} = f(z(t), t) $, где $z(t)$ — состояние агента в момент времени $t$, а $f$ — функция, определяющая динамику. Такой подход обеспечивает большую гибкость в моделировании сложных систем, позволяя агентам адаптироваться к изменяющимся условиям и взаимодействовать друг с другом более реалистичным образом, чем традиционные дискретные методы. Это позволяет избежать ограничений, связанных с выбором фиксированного шага по времени и более точно описывать процессы, протекающие в непрерывном времени.

Ограниченные графовые нейронные сети (Restricted Graph Neural Networks) повышают способность моделировать локальные взаимодействия между агентами в рамках агентно-ориентированного моделирования (ABM) за счет ограничения области влияния каждого узла в графе. В отличие от стандартных графовых нейронных сетей, которые агрегируют информацию от всех соседей, ограниченные сети ограничивают эту агрегацию только ближайшими соседями, определяемыми структурой графа или заданным радиусом взаимодействия. Это снижает вычислительную сложность и позволяет сети фокусироваться на наиболее релевантных локальных связях, что критически важно для точного моделирования динамики взаимодействия между агентами в сложных системах. Ограничение области агрегации также способствует улучшению обобщающей способности модели и снижению переобучения, особенно при работе с разреженными графами.

Включение FiLM (Feature-wise Linear Modulation) адаптеров позволяет условно задавать сеть конкретными входными признаками, обеспечивая адаптацию к различным сценариям. FiLM адаптеры реализуют масштабирование и сдвиг активаций нейронной сети на основе входных признаков, что позволяет динамически изменять поведение сети в зависимости от контекста. Это достигается путем применения линейного преобразования к признакам, которое затем используется для вычисления параметров масштабирования ($\gamma$) и сдвига ($\beta$) для каждого канала активаций. Формула для модификации активаций $x$ выглядит следующим образом: $y = \gamma * x + \beta$. Использование FiLM адаптеров позволяет модели эффективно интегрировать информацию о различных факторах, влияющих на поведение системы, и адаптироваться к изменяющимся условиям без переобучения всей сети.

Архитектура ABM-NN может быть спроектирована с учетом законов сохранения, что обеспечивает физическую правдоподобность моделируемых процессов. В ходе тестирования на обобщающую выборку (out-of-sample generalization) такие сети демонстрируют более низкий уровень ошибок по сравнению с моделями GCN, SAGE и Graph Transformer. Данное преимущество обусловлено способностью сети учитывать фундаментальные принципы сохранения массы, энергии и импульса, что позволяет получать более точные и реалистичные результаты моделирования динамики агентов в сложных системах.

Несмотря на растущий уровень шума, модель ABM-NN сохраняет способность отслеживать базовую динамику и разделять прогнозы для обучающей выборки (отмеченной затенённой областью) и тестовой, демонстрируя устойчивость к помехам.
Несмотря на растущий уровень шума, модель ABM-NN сохраняет способность отслеживать базовую динамику и разделять прогнозы для обучающей выборки (отмеченной затенённой областью) и тестовой, демонстрируя устойчивость к помехам.

Расширяя рамки: Продвинутая нейронная динамика

Нейронные дифференциальные уравнения (Neural ODEs) представляют собой мощный инструмент для моделирования динамических систем, однако их применение ограничено требованием равномерной дискретизации временных рядов. Для преодоления этого ограничения были разработаны нейронные стохастические дифференциальные уравнения (Neural CDEs), которые оперируют с данными, имеющими нерегулярные интервалы между измерениями. В отличие от Neural ODEs, требующих фиксированного шага интегрирования, Neural CDEs используют стохастические процессы, позволяя модели эффективно обрабатывать пропущенные или неравномерно распределенные данные. Это значительно повышает устойчивость и гибкость модели, делая её применимой к широкому спектру реальных задач, где данные часто собираются с различной частотой или содержат пропуски. Такой подход позволяет более точно описывать сложные динамические процессы, не требуя предварительной интерполяции или других методов предобработки данных, что снижает риск внесения искажений и повышает общую точность моделирования.

Гамильтоновы нейронные сети представляют собой инновационный подход к моделированию динамических систем, особенно тех, где сохранение энергии является фундаментальным принципом. В отличие от традиционных нейронных сетей, эти сети построены на основе гамильтоновой механики, что позволяет им не только аппроксимировать сложные зависимости, но и гарантировать сохранение некоторой величины, аналогичной энергии, в процессе эволюции системы. Это достигается за счет использования специальных слоев и функций активации, которые обеспечивают соответствие уравнениям Гамильтона. В результате, модели, основанные на гамильтоновых нейронных сетях, демонстрируют повышенную стабильность и физическую правдоподобность, особенно при моделировании таких явлений, как движение частиц, колебания и другие физические процессы, где соблюдение законов сохранения имеет решающее значение. Такой подход открывает возможности для более точного и надежного прогнозирования поведения сложных систем, требующих учета энергетических ограничений.

Интеграция подходов, основанных на графах, открывает новые возможности для моделирования взаимодействий в сложных сетях, будь то социальные или экологические системы. Вместо рассмотрения отдельных элементов изолированно, такие модели представляют систему как сеть узлов и связей, где каждый узел представляет собой отдельный элемент, а связи — их взаимоотношения. Это позволяет учитывать каскадные эффекты и опосредованные влияния, которые часто встречаются в реальных системах. Например, распространение информации в социальной сети или динамика популяций в экосистеме могут быть эффективно смоделированы с использованием графовых нейронных сетей. Такой подход позволяет не только предсказывать поведение системы, но и выявлять ключевые узлы и связи, определяющие её устойчивость и динамику, что представляет ценность для анализа и управления сложными системами.

Новые подходы в области нейронных сетей демонстрируют значительный прорыв в решении задач, ранее считавшихся неразрешимыми. Модели, использующие расширенные динамические системы, способны с высокой точностью воспроизводить агрегированные кривые распространения эпидемий и соответствовать реальным данным, полученным в результате применения временных ограничений социального дистанцирования. Более того, эти модели успешно обобщают информацию и демонстрируют способность прогнозировать макроэкономические траектории на неиспользованных данных за период 2021-2024 годов, что подтверждает их потенциал для анализа и прогнозирования сложных социально-экономических процессов. Такая способность к обобщению и точности открывает возможности для разработки более эффективных стратегий управления в различных областях, от здравоохранения до экономики.

Использование раздельной оптимизации с разными коэффициентами обучения для параметров нейронных сетей и функциональных блоков позволило получить плавные градиенты и обучить функции G, H и HG, сохраняющие массу.
Использование раздельной оптимизации с разными коэффициентами обучения для параметров нейронных сетей и функциональных блоков позволило получить плавные градиенты и обучить функции G, H и HG, сохраняющие массу.

Работа демонстрирует стремление к созданию моделей, способных не просто предсказывать, но и объяснять поведение сложных систем. Авторы пытаются привнести принципы, лежащие в основе агентного моделирования, в нейронные сети, что выглядит как попытка обуздать хаос. Впрочем, даже самые элегантные архитектуры со временем обрастают техдолгами, и каждое добавление нового агента — это ещё один потенциальный источник ошибок. Как однажды заметил Дональд Кнут: «Преждевременная оптимизация — корень всех зол». В данном случае, стремление к структурной согласованности и интерпретируемости — благородная цель, но необходимо помнить, что реальный мир редко подстраивается под наши идеальные модели. Иногда проще принять неизбежное и смириться с тем, что даже самые сложные системы содержат в себе долю непредсказуемости.

Что дальше?

Предложенный подход, безусловно, добавляет ещё один уровень сложности в и без того запутанный мир нейронных сетей. И это хорошо. Каждая «революционная» архитектура, рано или поздно, обнаруживает свои пределы, а попытки навязать ей принципы агентного моделирования — это, по сути, попытка заставить её хотя бы притворяться, что понимает, что моделирует. Вопрос в том, насколько долго эта иллюзия будет удерживаться под натиском реальных данных.

Очевидно, что сохранение законов сохранения — это лишь первый шаг. Продакшен всегда найдёт способ сломать элегантную теорию, подсунув краевой случай, о котором никто не подумал. Следующим этапом, вероятно, станет разработка методов, позволяющих не просто конструировать сети, удовлетворяющие определённым ограничениям, но и верифицировать их соответствие реальным процессам. Задача, прямо скажем, нетривиальная.

В конечном итоге, вся эта работа — лишь ещё один способ отодвинуть момент, когда придётся признать, что сложные системы слишком сложны, чтобы их полностью понять. Но это, пожалуй, и есть главный двигатель прогресса. Мы не чиним продакшен — мы просто продлеваем его страдания, добавляя к нему ещё несколько слоёв абстракции. И в этом есть своя печальная красота.

Оригинал статьи: https://arxiv.org/pdf/2512.05764.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-08 10:02