Графы, которые сомневаются: Новая модель для работы с неопределенностью

от

Автор: Денис Аветисян

В новой работе представлена модель Credal Graph Neural Networks, позволяющая более надежно оценивать неопределенность в данных, представленных в виде графов.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал
Предложенная схема предсказаний, основанная на графовых нейронных сетях, итеративно агрегирует представления узлов, формируя латентное совместное представление $Z^{\text{joint}}$, позволяющее восстановить траекторию каждого узла и оценивать неопределенность посредством кредиального слоя, где зелёные множества указывают на надёжные прогнозы, а красные - на узлы, вероятно, находящиеся вне распределения из-за высокой алеаторной или эпистемической неопределённости.
Предложенная схема предсказаний, основанная на графовых нейронных сетях, итеративно агрегирует представления узлов, формируя латентное совместное представление $Z^{\text{joint}}$, позволяющее восстановить траекторию каждого узла и оценивать неопределенность посредством кредиального слоя, где зелёные множества указывают на надёжные прогнозы, а красные — на узлы, вероятно, находящиеся вне распределения из-за высокой алеаторной или эпистемической неопределённости.

Предлагаемый подход использует принципы кредального обучения для повышения устойчивости к гетерофилии и улучшения обнаружения данных, выходящих за рамки обучающей выборки.

Несмотря на растущую популярность графовых нейронных сетей, надежная оценка неопределенности предсказаний остается сложной задачей. В данной работе, посвященной ‘Credal Graph Neural Networks’, предложена новая методика, использующая принципы кредитального обучения для построения графовых нейронных сетей, выдающих предсказания в виде множеств, отражающих степень уверенности. Показано, что разработанные CGNN позволяют более точно оценивать эпистемическую неопределенность и демонстрируют превосходные результаты на гетерофильных графах при работе с данными, выходящими за рамки обучающей выборки. Способны ли подобные подходы открыть новые горизонты для применения графовых нейронных сетей в задачах, требующих высокой надежности и интерпретируемости?

Неуверенность в Прогнозах: Цена Игнорирования Риска

Многие современные модели машинного обучения выдают лишь точечные прогнозы, предоставляя конкретное значение, но не указывая степень своей уверенности в нем. Это означает, что, несмотря на кажущуюся точность, отсутствует оценка вероятности ошибки или диапазон возможных значений. Такой подход может быть опасен, поскольку пользователь склонен полагаться на прогноз как на абсолютную истину, не учитывая скрытую неопределенность. В отличие от статистических методов, которые традиционно предоставляют интервалы доверия или вероятностные распределения, многие алгоритмы машинного обучения фокусируются исключительно на предсказании наиболее вероятного исхода, игнорируя важность количественной оценки собственной неуверенности. Это особенно критично в областях, где цена ошибки высока, и требуется понимание рисков, связанных с каждым прогнозом.

Отсутствие откалиброванной уверенности в прогнозах машин имеет решающее значение в областях, связанных с высокими рисками, таких как здравоохранение и финансы. В медицинской диагностике, например, модель, предсказывающая вероятность заболевания, должна не только выдать результат, но и оценить степень своей уверенности в нем. Неверная оценка может привести к ошибочным решениям о лечении, с серьезными последствиями для пациента. Аналогичная ситуация возникает в финансовом секторе, где неточность в прогнозировании рыночных тенденций, особенно без учета степени неопределенности, способна привести к значительным финансовым потерям. Поэтому, в критически важных приложениях, способность модели достоверно оценивать собственные ошибки является не менее важной, чем точность прогноза.

Недооценка неопределенности в прогнозах машинного обучения может привести к чрезмерной уверенности в результатах и, как следствие, к катастрофическим решениям. В ситуациях, где цена ошибки высока — например, в медицине при постановке диагноза или в финансах при оценке рисков — полагаться на прогнозы, не подкрепленные оценкой вероятности ошибки, крайне опасно. Иллюзия точности, создаваемая моделью, способной выдать конкретный ответ, может заставить пользователя игнорировать потенциальные негативные последствия. В конечном итоге, отсутствие калиброванной уверенности в предсказаниях не только снижает надежность системы, но и подрывает доверие к ней, ставя под угрозу как финансовые, так и человеческие ресурсы.

Существенная сложность в построении надежных прогностических моделей заключается в различении истинной случайности данных от недостатка знаний у самой модели. Часто наблюдаемые отклонения в результатах могут быть обусловлены не только внутренним хаосом исследуемого процесса, но и неспособностью алгоритма адекватно учесть все значимые факторы. Отделить одно от другого — задача нетривиальная, требующая глубокого анализа структуры данных и применения методов, позволяющих оценить степень неопределенности прогноза. Неспособность модели корректно оценить собственную неполноту знаний приводит к завышенной уверенности в результатах, что может быть особенно опасно в областях, где ошибки чреваты серьезными последствиями, например, в медицине или финансах. Разработка методов, позволяющих модели различать эти два типа неопределенности, является ключевым направлением в развитии надежного машинного обучения.

Визуализация показывает, как модель различает неопределенность, вызванную шумом в данных (aleatoric uncertainty) и недостатком знаний (epistemic uncertainty), что проявляется в различных сценариях: уверенные предсказания, шумные данные, выход за пределы распределения и встреча с новыми данными, отражаясь в нижних и верхних границах вероятности классов в представлении credal set.
Визуализация показывает, как модель различает неопределенность, вызванную шумом в данных (aleatoric uncertainty) и недостатком знаний (epistemic uncertainty), что проявляется в различных сценариях: уверенные предсказания, шумные данные, выход за пределы распределения и встреча с новыми данными, отражаясь в нижних и верхних границах вероятности классов в представлении credal set.

Кредальное Обучение: Раскрытие Источников Неопределенности

Кредальное обучение представляет собой мощный подход к представлению неопределенности посредством наборов вероятностных распределений. Вместо единственной оценки вероятности, кредальное обучение оперирует множеством возможных распределений, каждое из которых соответствует правдоподобной модели реальности. Это достигается путем построения набора убеждений (belief set), который содержит все вероятностные распределения, совместимые с имеющимися данными и априорными знаниями. Формально, набор убеждений $\mathcal{P}$ представляет собой подмножество пространства вероятностных распределений над областью определения случайной величины. Использование наборов распределений позволяет количественно оценить степень неопределенности и эффективно представлять как случайную (алеаторную) неопределенность, связанную с природой самого процесса, так и эпистемическую неопределенность, возникающую из-за недостатка знаний или неточности данных.

Кредальное обучение позволяет различать два основных типа неопределенности: алеаторную (случайную) и эпистемическую (когнитивную). Алеаторная неопределенность, $ \sigma_a^2 $, обусловлена присущей случайностью данных и может быть уменьшена путем сбора большего количества данных. Эпистемическая неопределенность, $ \sigma_e^2 $, связана с недостатком знаний о модели или процессе, и отражает неуверенность в самой модели. Поддерживая диапазон правдоподобных убеждений, кредальное обучение позволяет явно моделировать оба типа неопределенности, что критически важно для надежной оценки рисков и принятия обоснованных решений в условиях ограниченной информации.

Детальное понимание источников неопределенности, обеспечиваемое кредальным обучением, позволяет существенно улучшить процессы принятия решений и оценки рисков. В отличие от традиционных методов, которые оперируют единой точкой оценки, кредальное обучение предоставляет набор правдоподобных вероятностных распределений, что позволяет количественно оценить как алеаторную неопределенность (внутреннюю случайность данных), так и эпистемическую неопределенность (недостаток знаний). Это, в свою очередь, позволяет учитывать различные сценарии и их вероятности при разработке стратегий, проводить более точный анализ чувствительности, а также эффективно управлять рисками, связанными с неполнотой или неточностью информации. Например, при оценке кредитоспособности заемщика, кредальный подход позволит учесть диапазон возможных значений его дохода и кредитной истории, а не только наиболее вероятные, что повысит надежность оценки и снизит вероятность ошибочных решений.

Традиционные методы машинного обучения, такие как нейронные сети с точечными оценками весов, испытывают трудности при моделировании и представлении неопределенности, особенно когда требуется различать источники неопределенности. Однако, существующие архитектуры могут быть расширены для решения этой задачи. Например, использование распределений вероятностей вместо точечных оценок для параметров модели, а также применение методов байесовского вывода, позволяют получить не только оценку предсказания, но и представление о его неопределенности. Кроме того, применение ансамблевых методов, таких как случайный лес или бустинг, также позволяет оценить неопределенность, хотя и менее точно, чем байесовские подходы. Для реализации этих расширений требуются модификации в архитектуре сети и алгоритмах обучения, направленные на поддержание и распространение информации о неопределенности на всех этапах процесса.

Кредальные Графовые Нейронные Сети: Надежный Фреймворк

Представляем Credal Graph Neural Networks (CGNN) — расширение принципов кредального обучения (Credal Learning) на область графовых данных. CGNN позволяют моделировать неопределенность в предсказаниях, представляя выходные вероятности не как единичные значения, а как интервалы. В отличие от традиционных Graph Neural Networks (GNN), которые возвращают точечные оценки вероятностей для каждого класса, CGNN оперируют с распределениями вероятностей, что позволяет более адекватно оценивать риски и принимать обоснованные решения в условиях неполной или противоречивой информации. Это достигается за счет использования кредальных слоев и интервального SoftMax, которые позволяют представлять и обрабатывать вероятностные интервалы.

Сеть Credal Graph Neural Network (CGNN) использует “Credal Layer” и “Interval SoftMax” для вывода вероятностных интервалов для каждого класса, что позволяет количественно оценить неопределенность предсказания. Вместо выдачи единичной вероятности для каждого класса, модель предсказывает нижнюю и верхнюю границы вероятности, формируя интервал. Этот интервал отражает степень уверенности модели в отнесении входного узла графа к конкретному классу. Интервал SoftMax является модификацией стандартной функции SoftMax, адаптированной для работы с интервалами вероятностей, обеспечивая корректную нормализацию и интерпретацию результатов. Таким образом, выход сети представляет собой не точечную оценку вероятности, а распределение вероятностей, выраженное в виде интервалов для каждого класса, что позволяет более адекватно оценить надежность предсказания и учитывать потенциальные риски.

Модель использует совместное латентное представление, формируемое посредством передачи сообщений (message passing) через слои графа. Этот процесс позволяет узлам графа агрегировать информацию от своих соседей, формируя вектор признаков, отражающий как атрибуты самого узла, так и контекст его окружения. Передача сообщений осуществляется итеративно, позволяя информации распространяться по всему графу и учитывать взаимосвязи между узлами. В результате формируется компактное и информативное латентное представление каждого узла, которое затем используется для задач классификации или регрессии. Эффективность данного подхода обусловлена способностью модели учитывать структурные свойства графа и зависимости между объектами.

Для повышения устойчивости модели используются методы $Distributionally\ Robust\ Optimization$ (DRO). DRO позволяет минимизировать риск в условиях неопределенности входных данных, фокусируясь на минимизации наихудшего случая риска, а не среднего риска. В рамках CGNN, DRO применяется для оптимизации параметров модели таким образом, чтобы минимизировать максимальную потерю, возникающую при изменении распределения входных данных в пределах определенного “бюджета неопределенности”. Это обеспечивает более надежные прогнозы, особенно в ситуациях, когда данные могут быть зашумлены или подвержены непредсказуемым изменениям, и позволяет модели эффективно справляться с отклонениями в данных, не включенными в обучающую выборку.

За Пределами Точности: Устойчивость и Обнаружение Выходящих За Рамки Распределения Данных

Исследования показали, что графовые нейронные сети с ковариационным учетом (CGNNs) демонстрируют повышенную устойчивость к шуму и неполноте данных по сравнению со стандартными графовыми нейронными сетями. В ситуациях, когда информация о графе повреждена или отсутствует, CGNNs способны сохранять более высокую точность предсказаний благодаря использованию механизмов, позволяющих оценивать ковариацию между различными параметрами сети. Этот подход позволяет моделям лучше адаптироваться к неидеальным условиям и выдавать более надежные результаты, что особенно важно в реальных приложениях, где данные часто бывают зашумлены или неполными. Повышенная устойчивость CGNNs делает их перспективным инструментом для анализа графов в условиях неопределенности и неполноты информации.

Особенностью графовых нейронных сетей (GNN) является их склонность к уверенным, но ошибочным предсказаниям при обработке данных, выходящих за рамки тренировочного распределения. В отличие от стандартных GNN, разработанная архитектура CGNN способна количественно оценивать неопределенность своих прогнозов. Этот механизм позволяет эффективно обнаруживать ситуации, когда входные данные значительно отличаются от тех, на которых модель обучалась — так называемое обнаружение данных “вне распределения” (Out-of-Distribution Detection). По сути, CGNN не просто выдает прогноз, но и оценивает его надежность, помечая потенциально недостоверные результаты. Это критически важно для приложений, где ошибочные предсказания могут иметь серьезные последствия, например, в системах рекомендаций, обнаружении мошенничества или медицинском анализе, где требуется повышенная степень уверенности в результатах.

Предложенная архитектура демонстрирует передовые результаты в обнаружении данных, выходящих за рамки распределения обучающей выборки, особенно на графах с гетерофилией — структурой, где соседние узлы часто принадлежат к разным классам. В отличие от традиционных графовых нейронных сетей, которые могут испытывать затруднения при анализе таких графов, данная система эффективно идентифицирует ненадежные предсказания, обеспечивая повышенную устойчивость к новым, ранее не встречавшимся данным. Достигнутые показатели подтверждают, что предложенный подход превосходит существующие методы в выявлении случаев, когда модель сталкивается с данными, значительно отличающимися от тех, на которых она была обучена, что критически важно для надежного применения в реальных сценариях.

Исследования показали, что разработанные графовые нейронные сети с ковариационной нормализацией (CGNN) демонстрируют превосходные результаты в задачах обнаружения данных, выходящих за рамки обучающей выборки, на сложных гетерофильных графах. В частности, CGNN достигли наивысшего зарегистрированного значения метрики AUROC (Area Under the Receiver Operating Characteristic curve) на стандартных бенчмарках, таких как Chameleon, Squirrel, ArXiv и Patents. Этот показатель свидетельствует о значительно улучшенной способности модели надежно идентифицировать узлы или связи, которые отличаются от тех, на которых она была обучена, что критически важно для применения в реальных сценариях, где данные могут быть неполными или содержать аномалии. Достигнутый результат подтверждает эффективность предложенного подхода к повышению устойчивости и надежности графовых нейронных сетей в условиях, когда структура графа характеризуется высокой степенью неоднородности и отсутствием четкой кластеризации.

Исследования показывают, что применение CGNN демонстрирует незначительное снижение метрики F1-score при анализе данных, непосредственно соответствующих тренировочному распределению, по сравнению со стандартными GNN. Однако, важно отметить, что данный компромисс напрямую связан с количеством классов в задаче классификации. В частности, чем больше классов необходимо различить, тем заметнее становится снижение F1-score, но одновременно возрастает способность модели к обнаружению аномалий и надежной работе с данными, выходящими за рамки тренировочного набора. Таким образом, наблюдаемое снижение можно рассматривать как закономерную цену за повышение устойчивости и способности к обобщению, особенно в задачах с высокой сложностью и большим количеством категорий.

Передача сообщений, являясь мощным механизмом в графовых нейронных сетях, подвержена влиянию топологии графа. Степень однородности связей, известная как гомофилия, когда узлы склонны соединяться с похожими, или гетерофилия, когда связи случайны, оказывает существенное воздействие на уверенность модели в своих предсказаниях. В графах с высокой гомофилией модель быстро приходит к уверенным выводам, но может быть уязвима к небольшим изменениям в структуре. Напротив, в гетерофильных графах, где связи между узлами разнообразны, модель проявляет большую осторожность и менее склонна к уверенным, но ошибочным прогнозам. Таким образом, понимание влияния гомофилии и гетерофилии критически важно для разработки надежных и точных графовых моделей, способных адекватно оценивать собственную уверенность.

Исследование, представленное в данной работе, демонстрирует, что построение надежных систем анализа графовых данных требует не просто разработки алгоритмов, но и глубокого понимания природы неопределенности. Авторы предлагают подход, основанный на кредальном обучении, позволяющий учитывать как эпистемическую, так и алеаторическую неопределенность, что особенно важно при работе с гетерофильными графами. Это напоминает о словах Дональда Дэвиса: «Система — это не машина, это сад; если его не поливать, вырастет техдолг». Подобно саду, требующему постоянного внимания и заботы, системы обработки графовых данных нуждаются в тщательном учете неопределенности, чтобы избежать накопления ошибок и обеспечить надежное обнаружение аномалий и выходящих за рамки распределения данных ситуаций. Игнорирование этих факторов приводит к хрупкости системы и невозможности ее адаптации к изменяющимся условиям.

Что Дальше?

Представленные в работе сети, оперирующие с доверием, — это не просто инструмент для количественной оценки неопределенности, а признание того, что любая модель графа — это лишь проекция, неизбежно искажающая сложность реальности. Уверенность в предсказаниях, даже если она выражена численно, — иллюзия, особенно когда речь идет о гетерофильных графах, где сама структура данных намекает на внутренние противоречия. Следующим шагом видится не столько в усовершенствовании алгоритмов, сколько в принятии этой фундаментальной неопределенности как отправной точки.

Акцент на выявлении распределений доверия — это не цель, а лишь способ осознанно бояться. Настоящая устойчивость системы не в способности предсказывать все возможные сбои, а в умении извлекать уроки из неизбежных моментов истины, когда модель сталкивается с реальностью, не соответствующей ее предположениям. Вместо поиска идеальной модели необходимо исследовать способы адаптации к непредсказуемому, к информации, выходящей за рамки привычных распределений.

Будущие исследования, вероятно, должны сосредоточиться на разработке систем, способных не просто детектировать отклонения от ожидаемого, но и активно использовать их для улучшения своей способности к обучению и адаптации. Ведь архитектура любой системы — это пророчество о будущей поломке, а умение признать это — первый шаг к созданию действительно надежной инфраструктуры.

Оригинал статьи: https://arxiv.org/pdf/2512.02722.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-03 22:18