Искусственный интеллект против кибербезопасности: как измерить угрозу?

Автор: Денис Аветисян

Новая методика позволяет количественно оценить риски, связанные с использованием искусственного интеллекта в кибератаках и защите.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

Количественное моделирование рисков позволяет выявить преимущества, связанные с более точной оценкой и управлением потенциальными угрозами, что, в свою очередь, способствует принятию обоснованных решений и оптимизации стратегий.

В статье представлена методология количественного моделирования рисков кибербезопасности, вызванных злоупотреблением искусственным интеллектом, включающая анализ девяти сценариев и применение больших языковых моделей для оценки факторов риска.

Несмотря на очевидные преимущества, широкое внедрение систем искусственного интеллекта сопряжено с возрастающими рисками в сфере кибербезопасности. В работе ‘Toward Quantitative Modeling of Cybersecurity Risks Due to AI Misuse’ предложена методология количественной оценки этих рисков, примененная к девяти сценариям атак, использующих возможности ИИ. Разработанный подход позволяет анализировать влияние ИИ на различные факторы риска, такие как количество атакующих, частота атак и вероятность успеха, с использованием как экспертных оценок, так и данных, полученных с помощью больших языковых моделей. Не станет ли подобный переход от качественной к количественной оценки рисков необходимым шагом для обеспечения безопасного развития и внедрения ИИ в будущем?

Традиционные методы против ИИ: Эра новых рисков

Традиционные методы кибербезопасности всё чаще оказываются неэффективными перед лицом растущей сложности кибератак, особенно тех, что используют искусственный интеллект. Если ранее злоумышленники полагались на относительно простые эксплойты и уязвимости, то современные атаки, управляемые алгоритмами машинного обучения, способны к самообучению, адаптации и обходу стандартных систем защиты. ИИ позволяет автоматизировать поиск уязвимостей, создавать полиморфный вредоносный код, который изменяется для уклонения от обнаружения, и даже имитировать поведение легитимных пользователей для обхода многофакторной аутентификации. Это создает ситуацию, когда скорость и сложность атак значительно превосходят возможности традиционных систем обнаружения и реагирования, требуя разработки принципиально новых подходов к защите информационных систем.

Масштаб потенциального ущерба от успешных кибератак стремительно возрастает, охватывая широкий спектр последствий — от утечек конфиденциальных данных до сбоев в работе критически важной инфраструктуры. Современные исследования демонстрируют экспоненциальный рост финансовых потерь, которые, по оценкам, варьируются от $165 000 до $815 000 на одну атаку. Этот значительный экономический ущерб обусловлен не только прямыми финансовыми потерями, но и косвенными последствиями, такими как репутационные риски, юридические издержки и потеря доверия клиентов. Учитывая тенденцию к усложнению атак и увеличению их частоты, прогнозируется дальнейшее увеличение среднего размера ущерба, что подчеркивает необходимость разработки эффективных стратегий защиты и смягчения последствий.

Понимание и количественная оценка постоянно меняющихся киберугроз является ключевым фактором для разработки эффективных стратегий защиты и смягчения последствий. Невозможно эффективно противостоять рискам, не оценив их масштаб и потенциальное воздействие. Современные методы оценки рисков зачастую не позволяют в полной мере учесть новые векторы атак, особенно связанные с использованием искусственного интеллекта и машинного обучения. Точная оценка вероятности и потенциального ущерба от кибератак позволяет организациям приоритизировать инвестиции в кибербезопасность, оптимизировать ресурсы и разработать проактивные меры по предотвращению инцидентов. Игнорирование необходимости количественной оценки рисков приводит к неэффективному распределению ресурсов и повышенной уязвимости перед лицом современных киберугроз, что может привести к значительным финансовым потерям и репутационному ущербу.

Современные методики оценки рисков зачастую оказываются неспособными адекватно отразить особенности атак, осуществляемых с применением искусственного интеллекта. Традиционные подходы, ориентированные на известные сигнатуры и паттерны поведения, неэффективны против самообучающихся и адаптирующихся систем. ИИ позволяет злоумышленникам автоматизировать поиск уязвимостей, маскировать вредоносное ПО и обходить системы обнаружения, создавая атаки, которые существенно отличаются по своей природе от тех, что анализировались ранее. Это приводит к недооценке вероятности успешной реализации угрозы и, как следствие, к недостаточно эффективной защите информационных систем. Более того, способность ИИ к генерации новых, ранее неизвестных эксплойтов требует пересмотра существующих моделей оценки вероятности и потенциального ущерба от кибератак.

В соответствии с современными подходами к безопасности ИИ, разработчики обычно полагаются на системы, основанные на сценариях «если-то».

Количественная оценка рисков, усиленных ИИ: Новый подход

Представленная методология количественной оценки рисков состоит из шести последовательных этапов, направленных на анализ и количественную оценку угроз, связанных с кибератаками, использующими возможности искусственного интеллекта. Первый этап включает определение критических активов и угроз. Второй — идентификацию вероятных векторов атак, использующих ИИ. На третьем этапе происходит оценка вероятности успешной эксплуатации каждой уязвимости. Четвертый этап посвящен оценке потенциального ущерба от успешной атаки. Пятый этап — расчет совокупного риска, агрегирующего вероятность и ущерб. И, наконец, шестой этап представляет собой процесс валидации модели и определения необходимых мер по снижению рисков, обеспечивая комплексный подход к управлению киберугрозами, использующими ИИ.

Методология использует комбинацию экспертных оценок, полученных от людей, и оценок, сгенерированных большими языковыми моделями (LLM), для всесторонней оценки критических факторов риска. Эксперты-люди предоставляют субъективные, но ценные знания, основанные на опыте и понимании текущих угроз. LLM-модели, обученные на больших объемах данных о кибербезопасности, позволяют дополнить эти оценки, обеспечивая более широкий охват и масштабируемость. Комбинирование этих подходов позволяет получить более точные и надежные оценки вероятностей и потенциального ущерба, необходимых для количественной оценки рисков, связанных с кибератаками, использующими возможности искусственного интеллекта.

В основе предлагаемой методологии количественной оценки киберрисков, связанных с использованием искусственного интеллекта, лежит фреймворк MITRE ATT&CK. Данный фреймворк представляет собой структурированную базу знаний, классифицирующую тактики, техники и процедуры (TTP) злоумышленников на различных этапах кибератаки. Он обеспечивает единый язык и общую модель понимания угроз, что позволяет систематизировать анализ атак и оценивать вероятности успешной реализации различных сценариев. Использование MITRE ATT&CK позволяет детализировать действия атакующих, идентифицировать наиболее вероятные векторы атак и, как следствие, более точно оценивать риски и разрабатывать эффективные меры защиты.

Целью предлагаемого подхода является переход от качественных оценок киберриска к количественным, основанным на данных. Модель, объединяющая экспертные оценки людей и больших языковых моделей, позволяет рассчитывать вероятность успешной атаки. На основании параметров модели, включающих оценку вероятностей различных стадий атаки и успешности используемых тактик, была получена оценка вероятности успешной атаки, равная 0.064. Данный результат позволяет не только оценить общий уровень риска, но и выявить наиболее критичные факторы, влияющие на вероятность успеха, что необходимо для разработки эффективных мер защиты и оптимизации ресурсов.

Сравнительный анализ показывает, что доступ злоумышленников к системам искусственного интеллекта значительно увеличивает общий риск, причем оценки, полученные с помощью больших языковых моделей, соответствуют экспертным оценкам, что подтверждается межквартильным размахом, отражающим неопределенность в оценке роста риска.

Оценка вероятности и ущерба: Основа количественной оценки рисков

Оценка факторов риска является центральным элементом нашей методологии, позволяя определить как вероятность успешной атаки, так и её потенциальное воздействие. Вероятность определяется на основе анализа тактик злоумышленников, соответствующих фреймворку MITRE ATT&CK, и уровня развития используемых ими инструментов искусственного интеллекта. Воздействие оценивается путем количественной оценки финансовых потерь, включая возможный выкуп ($165 тыс. при вероятности выплаты 30% и среднем размере выплаты $550 тыс.) и затраты на восстановление после инцидента ($650 тыс. на основе данных Sophos 2025 для малого и среднего бизнеса). Комбинирование этих параметров позволяет рассчитать общий риск, который в нашей модели составляет $815 тыс. на одну атаку.

Тактики злоумышленников, классифицированные в рамках фреймворка MITRE ATT&CK, оказывают прямое влияние на вероятность успешной компрометации. ATT&CK предоставляет детальную матрицу тактик и техник, используемых злоумышленниками на различных этапах атаки — от разведки до эксплуатации и сохранения доступа. Каждая техника имеет определенную вероятность успешного применения, зависящую от уязвимостей целевой инфраструктуры и применяемых мер защиты. Анализ используемых тактик позволяет оценить вероятность успешного выполнения каждой фазы атаки, а затем, агрегируя эти вероятности, определить общую вероятность успешной компрометации. Использование конкретных техник, таких как фишинг, использование уязвимостей нулевого дня или эксплуатация неправильно настроенных сервисов, напрямую коррелирует с повышением вероятности успеха атаки и, следовательно, с увеличением общего риска.

Уровень развития искусственного интеллекта (ИИ) оказывает значительное влияние на возможности атакующих. Более совершенные ИИ-инструменты позволяют злоумышленникам автоматизировать и масштабировать атаки, повышая их эффективность и сложность обнаружения. Это включает в себя автоматизированный поиск уязвимостей, генерацию фишинговых писем, обход систем защиты и адаптацию тактик в реальном времени. Повышенная скорость и точность атак, обеспечиваемые ИИ, приводят к увеличению вероятности успешной компрометации и, как следствие, к росту потенциального ущерба для организации.

Для учета присущих рискам неопределенностей применяется метод Монте-Карло, моделирующий диапазон возможных исходов. Общая оценка риска, связанного с атакой, составляет $815 тыс., рассчитываемая на основе предполагаемой суммы выкупа в $165 тыс. (определенной исходя из вероятности выплаты выкупа в 30% и средней выплаты в $550 тыс.) и затрат на восстановление в $650 тыс., согласно данным Sophos за 2025 год, относящимся к малым и средним предприятиям (МСП). Моделирование Монте-Карло позволяет учитывать вариативность факторов, влияющих на стоимость атаки, и получить более реалистичную оценку потенциального ущерба.

Анализ Shapley показывает, что насыщение KRI вносит наибольший вклад в повышение вероятности успешного выполнения шагов атаки по различным тактикам MITRE ATT&CK.

Валидация и уточнение модели: Обеспечение точности и применимости

Для подтверждения надёжности и точности разработанной методологии, проводилась валидация посредством использования общепризнанных бенчмарков, таких как BountyBench Benchmark и Cybench Benchmark. Эти инструменты позволили оценить способность системы к адекватному выявлению и анализу факторов риска, связанных с уязвимостями в программном обеспечении. Применение данных бенчмарков гарантирует, что предложенный подход способен реалистично оценивать потенциальные угрозы и предоставлять достоверную информацию для специалистов в области кибербезопасности, обеспечивая возможность точной оценки масштаба и характера возможных атак.

Используемые эталонные тесты, такие как BountyBench и Cybench, обеспечивают правдоподобную оценку возможностей искусственного интеллекта в обнаружении и использовании уязвимостей в системах безопасности. Эти тесты имитируют реальные сценарии атак, позволяя оценить, насколько эффективно AI может находить слабые места, аналогичные тем, что используют злоумышленники. В отличие от теоретических моделей, эталонные тесты предоставляют практические данные о производительности алгоритмов в условиях, близких к реальным, что критически важно для определения надежности и применимости AI в сфере кибербезопасности. Такой подход позволяет получить объективную картину сильных и слабых сторон AI, а также определить области, требующие дальнейшей оптимизации для повышения эффективности защиты от современных угроз.

Результаты исследований демонстрируют эффективность предложенного подхода в предоставлении практических сведений для специалистов по кибербезопасности. Анализ данных позволяет оценить количество активных злоумышленников в сети примерно в 10, при среднем показателе 200 атак в год на одного актора. Такая детализация позволяет организациям не только понимать масштаб угроз, но и прогнозировать потенциальные атаки, эффективно распределяя ресурсы для превентивной защиты и снижения рисков. Полученные оценки предоставляют ценную информацию для формирования стратегий кибербезопасности, позволяя своевременно реагировать на возникающие вызовы и укреплять защиту от постоянно развивающихся угроз.

Предложенная структура позволяет организациям эффективно распределять ресурсы, сосредотачиваясь на наиболее вероятных и опасных угрозах. Вместо распыления усилий и средств на все возможные сценарии, система предоставляет возможность ранжировать риски и концентрироваться на их нейтрализации. Такой подход не только снижает финансовую нагрузку на обеспечение безопасности, но и повышает общую устойчивость к кибератакам. Оценивая вероятные векторы атак и потенциальный ущерб, организации могут своевременно внедрять необходимые меры защиты, минимизируя возможность успешной реализации угроз и обеспечивая непрерывность бизнес-процессов. Это позволяет перейти от реактивной защиты к проактивному управлению рисками, значительно повышая уровень безопасности информационных систем.

Полностью параметризованная модель риска вредоносного ПО OC3 использует данные из BountyBench и Cybench для оценки угроз.

Работа демонстрирует попытку придать хоть какую-то определенность хаосу, который несет в себе использование искусственного интеллекта в кибербезопасности. Авторы, словно алхимики, пытаются перевести расплывчатые угрозы в цифры, используя моделирование Монте-Карло. Однако, как справедливо заметил Эдсгер Дейкстра: «Программирование — это не столько искусство разработки алгоритмов, сколько искусство организации сложности». И данное исследование — яркое тому подтверждение. Ведь даже самые изощренные модели лишь упрощают реальность, а истинная сложность всегда найдёт способ ускользнуть, особенно когда речь идет о непредсказуемости злоумышленников и постоянно меняющемся ландшафте угроз. Попытка количественно оценить риски, связанные с использованием LLM, безусловно, важна, но стоит помнить, что любые оценки — это лишь приближение к истине, а не её абсолютное отражение.

Куда же это всё ведёт?

Представленная методология, как и любая попытка количественно оценить хаос, неизбежно сталкивается с проблемой «улучшения» модели. Заманчиво использовать большие языковые модели для оценки факторов риска, но не стоит забывать: LLM — это, в сущности, продвинутые генераторы правдоподобных, но не обязательно истинных утверждений. В конечном итоге, оценка рисков, усиленная искусственным интеллектом, просто перекладывает проблему с человеческой субъективности на субъективность алгоритма — и, возможно, усложняет её диагностику. Багтрекер теперь будет заполнен не ошибками кода, а неточностями в вероятностных оценках.

Более фундаментальная проблема заключается в самой идее «количественного» риска. Риск, особенно в сфере кибербезопасности, часто возникает из неожиданных взаимодействий, «чёрных лебедей». Монте-Карло симуляции могут показать «вероятные» сценарии, но они не предвидят принципиально новые векторы атак. Вместо того чтобы стремиться к «точной» цифре, возможно, стоит сосредоточиться на разработке систем, устойчивых к непредсказуемым событиям — систем, которые, как и хороший DevOps, принимают неизбежность сбоев.

В конечном итоге, не стоит забывать: эта работа — лишь ещё один шаг в бесконечном цикле. Мы не «решаем» проблему киберриска, мы просто усложняем её. И, как показывает практика, любое «революционное» решение быстро превращается в техдолг. Мы не деплоим модели — мы отпускаем их в дикую природу, надеясь, что они не сломают всё вокруг.

Оригинал статьи: https://arxiv.org/pdf/2512.08864.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-10 14:18