Искусственный интеллект и кибербезопасность: опасный компромисс?

Автор: Денис Аветисян

Новое исследование показывает, что современные языковые модели не готовы к использованию в критически важных системах защиты информации.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

Анализ рисков и несоответствий требованиям европейского законодательства в области кибербезопасности и регулирования ИИ.

Несмотря на растущий интерес к использованию больших языковых моделей (LLM) в сфере кибербезопасности, их надежность и соответствие нормативным требованиям остаются под вопросом. В работе, озаглавленной ‘Large Language Models as a (Bad) Security Norm in the Context of Regulation and Compliance’, анализируется потенциал LLM в создании и поддержке систем безопасности, а также выявляются риски, связанные с их применением. Исследование показывает, что существующие LLM часто не соответствуют установленным стандартам безопасности и противоречат требованиям европейского законодательства, включая будущие нормативные акты в области киберустойчивости. Возможно ли разработать эффективные стратегии управления рисками и обеспечить соответствие требованиям, чтобы безопасно использовать LLM в критически важных инфраструктурах?

Эволюция угроз и фундамент безопасности

Современные нормы кибербезопасности, закрепленные директивами вроде NIS2 и Акта о киберустойчивости, сталкиваются с растущими трудностями из-за усложнения систем. Ранее эффективные подходы к защите информации оказываются недостаточными перед лицом постоянно возрастающей сложности программного и аппаратного обеспечения, а также расширяющейся сетевой инфраструктуры. Увеличение числа взаимосвязанных устройств и сервисов создает экспоненциально увеличивающееся количество потенциальных точек уязвимости, которые становятся все сложнее обнаруживать и устранять. Это усложнение требует от специалистов по кибербезопасности не только глубоких технических знаний, но и способности адаптироваться к быстро меняющейся обстановке, а также применять инновационные подходы к обеспечению защиты данных и инфраструктуры.

Современные нормы кибербезопасности, основанные на проверенных практиках и стандартах, всё чаще оказываются под давлением новых уязвимостей и растущей сложности атак. Традиционные подходы, такие как регулярное обновление программного обеспечения и использование межсетевых экранов, хотя и остаются важными, уже не всегда способны эффективно противостоять целенаправленным и изощрённым атакам, использующим новейшие технологии. Увеличение числа подключенных устройств, развитие облачных технологий и появление новых векторов атак, включая эксплуатацию цепочек поставок программного обеспечения, создают сложные вызовы для существующих систем защиты. Постоянно возникающие «нулевые» уязвимости, используемые злоумышленниками до того, как разработчики успевают выпустить исправления, подчеркивают необходимость в более адаптивных и проактивных подходах к обеспечению безопасности, которые учитывают динамичность современной киберугрозы.

Появление больших языковых моделей (БЯМ) значительно расширяет спектр киберугроз и требует пересмотра традиционных подходов к обеспечению безопасности. Исследования показали, что существующие стандарты и практики информационной безопасности не приспособлены к новым векторам атак, использующим возможности БЯМ. Эти модели, обученные на огромных объемах данных, могут быть использованы для создания высокореалистичных фишинговых атак, автоматизации поиска уязвимостей и даже для обхода существующих систем обнаружения вторжений. Наши аналитические данные демонстрируют, что БЯМ способны генерировать вредоносный код, имитировать поведение легитимных пользователей и эффективно обходить существующие механизмы защиты, что делает их серьезной угрозой для современных информационных систем и требует разработки принципиально новых стратегий кибербезопасности.

В эпоху развития искусственного интеллекта защита интеллектуальной собственности приобретает первостепенное значение. Крупные языковые модели (LLM), обучаемые на обширных объемах данных, могут непреднамеренно раскрывать конфиденциальную информацию, содержащуюся в этих данных. Этот риск обусловлен способностью LLM к запоминанию и воспроизведению фрагментов текста, включая коммерческую тайну, персональные данные или другие защищенные сведения. Анализ показывает, что LLM способны выводить чувствительные данные в ответ на определенные запросы или даже включать их в генерируемый контент, создавая серьезную угрозу для организаций, использующих эти технологии. Обеспечение конфиденциальности данных, используемых для обучения и работы LLM, становится критически важной задачей для сохранения конкурентоспособности и соблюдения правовых норм.

БЯМ: Сдвиг парадигмы в уязвимостях

Большие языковые модели (LLM) подвержены атакам, основанным на манипулировании входными данными (adversarial attacks), а также на компрометации обучающих данных (data poisoning). Атака типа adversarial attack предполагает создание специально подобранных входных данных, вызывающих неверные или нежелательные результаты от модели, даже если эти данные незначительно отличаются от нормальных. Data poisoning подразумевает внедрение вредоносных данных в обучающий набор, что приводит к предвзятости или снижению производительности модели в дальнейшем. Обе эти угрозы напрямую влияют на целостность и надежность LLM, делая их уязвимыми для злоумышленников и потенциально приводя к непредсказуемым последствиям в различных приложениях, от чат-ботов до систем анализа данных.

Большие языковые модели (LLM) вводят новые типы уязвимостей в коде, отличные от традиционных программных ошибок. Эти уязвимости обусловлены архитектурой моделей, основанной на трансформерах, и методами обучения, включающими огромные объемы данных. Для выявления и устранения этих недостатков требуется глубокое понимание внутренних механизмов LLM, включая слои внимания, механизмы встраивания и процессы генерации текста. Традиционные инструменты статического и динамического анализа кода часто оказываются неэффективными применительно к LLM, поскольку они не учитывают специфику вероятностных моделей и распределенного представления знаний. Необходимы специализированные методы тестирования, направленные на выявление атак, связанных с инъекциями запросов, манипуляциями с данными обучения и обходом механизмов защиты.

В отличие от символического ИИ, где логика принятия решений прозрачна и отслеживаема, большие языковые модели (LLM) функционируют как “черный ящик”. Это означает, что внутренние механизмы обработки данных и формирования ответов остаются непрозрачными для внешнего анализа. Отсутствие прозрачности существенно затрудняет оценку рисков, связанных с использованием LLM, а также проведение цифровой криминалистики в случае инцидентов безопасности или ошибочных результатов. Невозможность отследить путь принятия решения моделью препятствует идентификации источников ошибок, уязвимостей и предвзятостей, что делает эффективное управление рисками и расследование инцидентов значительно сложнее.

Архитектура Transformer, лежащая в основе современных больших языковых моделей (LLM), несмотря на свою эффективность в задачах обработки естественного языка, демонстрирует принципиальную несовместимость с общепринятыми нормами кибербезопасности, а также требованиями регуляторных актов, таких как CRA, NIS2 и AI Act. Наше исследование подтверждает, что встроенные механизмы обработки данных и генерации ответов в Transformer не соответствуют существующим стандартам защиты информации, затрудняют аудит и отслеживание происхождения данных, и не обеспечивают требуемый уровень контроля над обработкой конфиденциальной информации. Отсутствие возможности прозрачного отслеживания логики принятия решений и несовместимость с принципами безопасной разработки программного обеспечения создают значительные риски для применения LLM в критически важных инфраструктурах и сферах, регулируемых законодательством.

Построение устойчивости: Проактивные стратегии безопасности

Укрепление кибербезопасности требует комплексного подхода, включающего обеспечение безопасности цепочки поставок и внедрение соответствующих положений в договоры с поставщиками. Это подразумевает оценку рисков, связанных с каждым звеном цепочки, от разработки программного обеспечения до физической доставки оборудования, и реализацию мер контроля для предотвращения компрометации. Договорные условия должны четко определять обязанности поставщиков в отношении безопасности, включая требования к шифрованию данных, управлению уязвимостями и реагированию на инциденты. Внедрение стандартов безопасности и проведение регулярных аудитов поставщиков являются ключевыми элементами для минимизации рисков, связанных с третьими сторонами, и обеспечения целостности всей системы.

Принципы криптографии, в частности принцип Керкгоффса, утверждают, что безопасность системы не должна зависеть от секретности алгоритма, а от секретности ключа. В контексте разработки безопасных систем искусственного интеллекта это означает, что полагаться на сокрытие архитектуры или логики работы модели как основного метода защиты является ошибочным подходом. Аналитики могут реконструировать функциональность системы даже без знания её внутренних деталей, что делает защиту, основанную на сокрытии, неэффективной. Надежная защита AI-систем требует применения криптографических методов, управления доступом, а также постоянного мониторинга и аудита, независимо от того, насколько «закрытой» кажется модель.

Несмотря на меньшую вычислительную мощность и объем данных для обучения по сравнению с большими языковыми моделями (LLM), малые языковые модели (SLM) могут представлять собой более безопасную и понятную альтернативу в определенных сценариях применения. Уменьшенный размер и упрощенная архитектура SLM облегчают анализ и верификацию их работы, что позволяет более эффективно выявлять и устранять уязвимости. Кроме того, более прозрачная логика работы SLM способствует лучшей интерпретируемости принимаемых решений, что критически важно в областях, требующих объяснимости, таких как финансовый анализ или медицинская диагностика. В ситуациях, где не требуется максимальная производительность, а приоритетом является безопасность и понятность, SLM представляют собой рациональный выбор.

Эффективное снижение рисков требует непрерывного цикла, включающего идентификацию потенциальных угроз, оценку их вероятности и потенциального ущерба, а также реализацию мер по их смягчению. В рамках этого цикла, проактивная цифровая криминалистика играет ключевую роль, позволяя выявлять уязвимости и признаки компрометации на ранних стадиях, до того, как инцидент нанесет значительный ущерб. Это подразумевает сбор и анализ цифровых данных для выявления аномалий, паттернов поведения злоумышленников и следов их активности, что позволяет оперативно реагировать на возникающие угрозы и предотвращать их дальнейшее развитие. Постоянный мониторинг, автоматизированный анализ логов и сетевого трафика, а также регулярное проведение аудитов безопасности являются неотъемлемой частью этого процесса.

Будущее AI-безопасности: Регулирование и инновации

Законодательный акт об искусственном интеллекте (AI Act) представляет собой комплексную попытку установить правовые рамки для регулирования систем искусственного интеллекта, уделяя особое внимание аспектам кибербезопасности. Этот акт стремится классифицировать ИИ-системы по уровню риска, вводя более строгие требования к приложениям, представляющим значительную угрозу для безопасности, таким как системы распознавания лиц или алгоритмы, используемые в критически важной инфраструктуре. В частности, документ нацелен на обеспечение соответствия ИИ-систем базовым принципам безопасности, включая защиту от несанкционированного доступа, целостность данных и конфиденциальность. Реализация AI Act предполагает создание системы сертификации и аудита для подтверждения соответствия ИИ-систем установленным стандартам, а также введение механизмов ответственности за нарушения в области кибербезопасности, что является важным шагом к формированию надежной и безопасной экосистемы искусственного интеллекта.

Инструмент разработки на основе искусственного интеллекта, Copilot, ярко демонстрирует необходимость внедрения безопасных практик кодирования и автоматизированного обнаружения уязвимостей. Его способность генерировать код, хотя и ускоряет процесс разработки, одновременно подчеркивает риски, связанные с потенциальными ошибками и брешами в безопасности, которые могут быть незаметны при ручной проверке. Copilot стимулирует разработчиков к более внимательному отношению к вопросам безопасности на каждом этапе создания программного обеспечения, акцентируя внимание на важности использования статического и динамического анализа кода, а также на применении принципов безопасного проектирования. Внедрение подобных инструментов требует от специалистов не только навыков программирования, но и глубокого понимания современных угроз и методов защиты от них, что способствует повышению общей безопасности цифровых систем.

Переход к объяснимому искусственному интеллекту (XAI) становится ключевым фактором для формирования доверия и обеспечения ответственности в системах искусственного интеллекта. Традиционные модели машинного обучения, часто функционирующие как «черные ящики», затрудняют понимание процесса принятия решений, что создает риски в критически важных областях, таких как здравоохранение и финансы. XAI позволяет не только проследить логику работы алгоритма, но и выявить потенциальные уязвимости и предвзятости, способствуя более эффективному управлению рисками. Внедрение методов XAI, таких как визуализация значимости признаков и генерация контрфактических объяснений, позволяет специалистам проверять и подтверждать корректность работы систем искусственного интеллекта, повышая их надежность и прозрачность, что особенно важно для соблюдения нормативных требований и обеспечения безопасности.

Непрерывное совершенствование технологий и методологий безопасности является критически важным для опережения возникающих угроз и поддержания устойчивой кибербезопасности. Аналитические исследования, проведенные в данной работе, демонстрируют несовместимость современных больших языковых моделей (LLM) с существующими стандартами безопасности. Это подчеркивает необходимость разработки новых подходов к защите систем, использующих LLM, и адаптации существующих протоколов к особенностям этих технологий. Инновации в области обнаружения и предотвращения атак, а также в создании самовосстанавливающихся систем, становятся ключевыми факторами обеспечения надежности и безопасности в условиях постоянно меняющегося ландшафта киберугроз. Акцент на проактивные меры защиты и постоянное обновление стратегий безопасности позволит эффективно противостоять новым вызовам и поддерживать доверие к системам искусственного интеллекта.

Исследование указывает на фундаментальную проблему современных больших языковых моделей (LLM) в контексте кибербезопасности — их неспособность соответствовать устоявшимся нормам и требованиям регуляторов. Данный анализ подчеркивает, что надежность LLM, критически важная для защиты информационных систем, остается под вопросом. В связи с этим, замечательно, что Дональд Кнут однажды сказал: «Оптимизм — это вера в то, что все будет хорошо. Пессимизм — это знание, что так и будет». Это высказывание особенно актуально, когда речь идет о внедрении LLM в критически важные системы. Вера в их потенциал должна быть подкреплена строгим анализом рисков и пониманием текущих ограничений, особенно в свете новых европейских регулятивных актов, таких как Закон об искусственном интеллекте и Закон о киберустойчивости.

Куда Ведет Эта Дорога?

Представленная работа, подобно эрозии, обнажила фундаментальную несовместимость текущего поколения больших языковых моделей с требованиями кибербезопасности. Речь идет не просто о недостатках в реализации, а о принципиальной неспособности соответствовать устоявшимся нормам, особенно в контексте регуляторных инициатив, таких как AI Act и Cyber Resilience Act. Надежды на быстрое исправление, вероятно, иллюзорны; эти системы, как и любая сложная инфраструктура, накапливают «технический долг», который со временем становится все более обременительным.

Будущие исследования должны сместить фокус с попыток «приладить» LLM к задачам безопасности на разработку принципиально новых подходов, учитывающих их внутреннюю ненадежность. Интересным направлением представляется изучение систем, в которых LLM выступают не как автономные агенты, а как вспомогательные инструменты, контролируемые человеком или более надежными алгоритмами. Аптайм, в этом контексте, предстает не как постоянное состояние, а как редкая фаза гармонии во времени, требующая постоянного внимания и поддержки.

В конечном итоге, вопрос заключается не в том, смогут ли LLM «стать» безопасными, а в том, насколько осознанно и ответственно мы будем использовать эти инструменты, признавая их ограничения и потенциальные риски. Все системы стареют — вопрос лишь в том, делают ли они это достойно, и как долго мы будем игнорировать неизбежность этого процесса.

Оригинал статьи: https://arxiv.org/pdf/2512.16419.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-19 20:23