Предсказывать банкротство: помогут ли большие языковые модели?

от

Автор: Денис Аветисян

Новое исследование ставит под сомнение эффективность использования передовых языковых моделей для прогнозирования финансовых затруднений компаний.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал
Распределение вероятностей выходных классификаций модели Llama-3.3 демонстрирует сравнимую производительность как в условиях нулевого обучения, так и при обучении с примерами, что указывает на устойчивость модели к различным стратегиям применения на разных наборах данных.
Распределение вероятностей выходных классификаций модели Llama-3.3 демонстрирует сравнимую производительность как в условиях нулевого обучения, так и при обучении с примерами, что указывает на устойчивость модели к различным стратегиям применения на разных наборах данных.

Анализ показывает, что традиционные методы машинного обучения превосходят большие языковые модели и TabPFN в задачах предсказания банкротства по точности, калибровке и вычислительной эффективности.

Несмотря на растущий интерес к применению базовых моделей в различных финансовых задачах, их эффективность в прогнозировании корпоратных банкротств оставалась недостаточно изученной. В работе, озаглавленной ‘Are Foundation Models Useful for Bankruptcy Prediction?’, проведено систематическое сравнение моделей Llama-3 и TabPFN с классическими алгоритмами машинного обучения на крупномасштабных данных компаний Центрально-Европейского региона. Полученные результаты свидетельствуют о том, что традиционные методы, такие как XGBoost и CatBoost, демонстрируют более высокую точность, калибровку и эффективность по сравнению с базовыми моделями. Остается ли перспектива для применения фундаметальных моделей в задачах оценки финансового риска, или же специализированные методы сохранят свои позиции?

Вызовы прогнозирования корпоративных кризисов

Точное прогнозирование корпоративных банкротств имеет решающее значение для поддержания экономической стабильности, однако традиционные методы сталкиваются со значительными трудностями при анализе сложных финансовых данных. Существующие модели часто не способны эффективно обрабатывать многомерные и взаимосвязанные финансовые показатели, упуская тонкие сигналы, предшествующие кризисным ситуациям. Особенно сложно выявлять закономерности в условиях динамично меняющейся экономической среды, когда факторы риска могут быстро трансформироваться. Неспособность своевременно определить компании, находящиеся под угрозой банкротства, может привести к цепной реакции, затрагивающей кредиторов, инвесторов и всю экономику в целом, что подчеркивает необходимость разработки более совершенных и адаптивных методов прогнозирования.

Несбалансированность данных представляет собой серьезную проблему при построении моделей прогнозирования финансового кризиса предприятий. В типичных наборах данных количество компаний, столкнувшихся с банкротством, значительно уступает количеству стабильных предприятий, что создает асимметрию. Это приводит к тому, что алгоритмы машинного обучения склонны отдавать предпочтение классу здоровых компаний, игнорируя признаки банкротства, и, следовательно, демонстрируют низкую точность в выявлении рискованных предприятий. Для решения данной проблемы применяются специальные методы, такие как взвешивание классов, генерация синтетических данных или использование метрик оценки, нечувствительных к дисбалансу, например, $F_1$-мера или AUC-ROC, позволяющие более адекватно оценивать эффективность моделей в условиях неравномерного распределения данных.

Существующие модели прогнозирования финансового кризиса предприятий часто демонстрируют недостаточную обобщающую способность, особенно при применении к экономическим условиям стран Вишеградской четверки (V4) — Чехии, Венгрии, Польши и Словакии. Это связано с тем, что данные, на которых обучаются эти модели, как правило, отражают специфику более развитых экономик, не учитывая структурные особенности, правовые нормы и бизнес-практики, характерные для Центральной Европы. Наблюдается, что алгоритмы, успешно работающие в США или Западной Европе, дают существенно худшие результаты при анализе данных компаний из V4, что подчеркивает необходимость разработки специализированных моделей, учитывающих региональную специфику и адаптированных к локальным финансовым реалиям. Такая адаптация требует учета специфических факторов, таких как влияние государственных субсидий, особенности банковской системы и преобладание малого и среднего бизнеса в экономике этих стран.

TabPFN: Трансформерная модель для прогнозирования банкротств

Модель TabPFN, основанная на архитектуре Transformer, представляет собой перспективную альтернативу традиционным статистическим методам в задачах прогнозирования банкротства. В отличие от логистической регрессии, деревьев решений или метода опорных векторов, TabPFN способна улавливать сложные нелинейные зависимости в табличных данных благодаря механизмам самовнимания (self-attention). Это позволяет модели более эффективно использовать информацию, содержащуюся в различных признаках финансовой отчетности и других релевантных показателях, для оценки кредитоспособности предприятий и прогнозирования вероятности банкротства. По сравнению с традиционными методами, TabPFN демонстрирует потенциал к улучшению точности прогнозов и снижению количества ложноположительных и ложноотрицательных результатов.

Для повышения эффективности обработки больших объемов данных в модели TabPFN применяется метод разбиения на основе решающих деревьев (Decision Tree Partitioning). Этот подход предполагает разделение исходного набора данных на несколько подмножеств, каждое из которых обрабатывается отдельной копией модели TabPFN. Решающие деревья используются для определения оптимальных критериев разделения, что позволяет снизить вычислительную сложность и ускорить процесс обучения и прогнозирования. Размер и количество подмножеств определяются на этапе предобработки данных, с учетом характеристик набора данных и доступных вычислительных ресурсов. Такой подход позволяет эффективно масштабировать модель TabPFN для работы с большими объемами финансовых данных, используемых в задачах прогнозирования банкротства.

Метод Bootstrap Ensemble повышает устойчивость модели TabPFN за счет обучения множества экземпляров TabPFN на повторно сэмплированных данных. Этот процесс, известный как бутстрэп, заключается в случайной выборке с возвращением из исходного набора данных, создавая несколько новых наборов данных, каждый из которых имеет тот же размер, что и исходный. Затем TabPFN обучается на каждом из этих бутстрэп-наборов, и прогнозы этих нескольких моделей объединяются (например, путем усреднения или голосования) для получения окончательного прогноза. Такой ансамблевый подход снижает дисперсию модели и уменьшает риск переобучения, что приводит к более стабильному и надежному предиктору банкротства.

Строгая оценка и сравнительный анализ производительности

Для оценки производительности моделей использовались стандартные метрики, такие как ROC AUC (Area Under the Receiver Operating Characteristic Curve) и F1 Score. ROC AUC позволяет оценить способность модели различать классы, в то время как F1 Score является гармоническим средним между точностью и полнотой, обеспечивая сбалансированную оценку производительности, особенно при несбалансированных классах. Использование данных метрик позволило провести всестороннюю оценку предсказательной силы и устойчивости моделей в различных сценариях, гарантируя объективное сравнение между TabPFN, его ансамблевыми вариациями и традиционными алгоритмами машинного обучения.

Для оценки эффективности TabPFN и его ансамблевых модификаций проводилось сравнение с общепринятыми базовыми моделями машинного обучения, включающими Логистическую Регрессию, XGBoost, CatBoost, LightGBM и Многослойный Персептрон. Данный бенчмаркинг позволил установить относительную производительность TabPFN в сравнении с алгоритмами, широко используемыми в задачах табличных данных и являющимися отраслевым стандартом. Использование этих моделей в качестве основы для сравнения обеспечивает объективную оценку преимуществ и недостатков TabPFN в конкретном контексте решаемой задачи.

Сравнительный анализ производительности показал, что классические методы машинного обучения демонстрируют стабильно более высокие результаты по сравнению с TabPFN и другими foundation моделями. Показатель ROC AUC для классических моделей варьируется от 0.85 до 0.99+, в то время как для TabPFN зафиксирован диапазон от 0.771 до 0.987. Значение F1-score для классических методов достигло 0.024 — 0.069 при горизонте прогнозирования h=4h, что существенно превышает показатели foundation моделей, составившие 0.012 — 0.024 при том же горизонте. Данные результаты свидетельствуют о превосходстве классических алгоритмов в задачах, рассматриваемых в данном исследовании.

Калибровка вероятностей LLM и перспективы развития

Несмотря на потенциал больших языковых моделей, таких как Llama-3.3-70B-Instruct, в прогнозировании банкротств, их самооценка вероятности зачастую оказывается недостаточно откалиброванной и дискретизированной. Это означает, что заявленные моделью вероятности не всегда точно отражают реальный риск финансового кризиса предприятия. Поэтому, при использовании подобных моделей в финансовом анализе, требуется тщательное рассмотрение и, возможно, применение методов калибровки, чтобы обеспечить надежность и достоверность прогнозов. Игнорирование этой проблемы может привести к ошибочным решениям и неверной оценке рисков, что особенно критично в сфере финансов.

Исследования показали, что точность предсказанных вероятностей, выдаваемых большими языковыми моделями, имеет критическое значение для оценки финансового риска. Неправильно откалиброванные вероятности могут привести к ошибочным решениям о кредитовании и инвестициях, а также к недооценке вероятности банкротства предприятий. Поэтому, применение методов калибровки моделей становится необходимым этапом в процессе анализа финансовой устойчивости. Эти методы позволяют привести предсказанные вероятности в соответствие с фактическим риском финансового кризиса, обеспечивая более надежные и точные прогнозы. Улучшение калибровки не только повышает эффективность моделей, но и способствует более ответственному использованию искусственного интеллекта в финансовом секторе.

Дальнейшие исследования должны быть направлены на совершенствование методов калибровки больших языковых моделей (LLM) и изучение гибридных подходов, объединяющих сильные стороны трансформаторных моделей с традиционным финансовым анализом. В ходе данного исследования было показано, что LLM последовательно демонстрируют значительно более низкие значения метрики ROC-AUC по сравнению как с классическими методами, так и с TabPFN, что подчеркивает необходимость разработки более точных и надежных методов оценки вероятностей. Комбинирование LLM с проверенными финансовыми моделями позволит создать системы, способные более эффективно прогнозировать финансовые затруднения и предлагать более обоснованные решения в области управления рисками. Улучшение калибровки LLM позволит более адекватно интерпретировать их прогнозы и использовать их в качестве ценного инструмента в финансовом анализе.

Исследование демонстрирует, что применение фундаментальных моделей, таких как Llama-3, к задаче прогнозирования банкротства предприятий не всегда приводит к ожидаемым результатам. Классические методы машинного обучения зачастую превосходят их по точности, калибровке и вычислительной эффективности. Как отмечал Дональд Дэвис: «Простота — это не минимализм, а чёткое различение необходимого и случайного». Эта мысль находит отражение в анализе, где подчеркивается важность выбора наиболее подходящего инструмента для конкретной задачи, а не слепого следования за технологическими трендами. Успешное прогнозирование банкротства требует не только сложных алгоритмов, но и глубокого понимания финансовых показателей и факторов риска, а также умения отделить существенное от несущественного.

Что Дальше?

Представленная работа демонстрирует, что увлечение «фундаментальными моделями» в контексте прогнозирования банкротств, несмотря на их впечатляющие возможности в обработке естественного языка, пока не оправдывает возложенных надежд. Элегантность и мощность алгоритма не измеряется количеством параметров, а ясностью решаемой задачи и эффективностью реализации. Применение этих моделей к финансовым данным, по всей видимости, лишь подтверждает старую истину: сложная система требует простого подхода.

Необходимо признать, что проблема прогнозирования банкротств, особенно в условиях дисбаланса данных, требует не столько поиска «волшебной» модели, сколько глубокого понимания структуры и взаимосвязей в экономических процессах. Простое увеличение вычислительной мощности не решит проблему, если сама постановка задачи ошибочна. Следующий этап исследований должен быть направлен на разработку методов, учитывающих специфику финансовых данных и позволяющих создавать более откалиброванные и интерпретируемые модели.

Будущие работы должны сместить фокус с «черных ящиков» на создание прозрачных и масштабируемых систем, где каждый элемент вносит вклад в общую картину. В конечном итоге, ценность модели определяется не ее способностью к абстракции, а ее способностью предсказывать реальные события, и, что не менее важно, — объяснять причины этих предсказаний.

Оригинал статьи: https://arxiv.org/pdf/2511.16375.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-21 14:29