Сладкие речи и горькая правда: как искусственный интеллект вовлекает в любовные аферы

Автор: Денис Аветисян

Новое исследование показывает, что возможности генеративных моделей языка позволяют автоматизировать схемы обмана, используя эмоциональную манипуляцию в романтических отношениях.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

Изучение механизмов мошенничества, основанного на романтических уловках, выявило трёхэтапную схему, названную “Крючок, Леска и Грузило”, основанную на реальных сообщениях пострадавших, и показало, что автоматизация подобных схем с использованием больших языковых моделей становится всё более вероятной.

Большие языковые модели (LLM) все чаще используются для создания правдоподобных, автоматизированных афер, направленных на выманивание средств у доверчивых пользователей.

Рост киберпреступлений часто маскируется сложностью их реализации и необходимостью человеческого взаимодействия. В настоящем исследовании, озаглавленном «Love, Lies, and Language Models: Investigating AI’s Role in Romance-Baiting Scams», анализируется роль больших языковых моделей (LLM) в схемах романтического мошенничества, представляющих собой серьезную финансовую и эмоциональную угрозу. Полученные данные свидетельствуют о том, что LLM уже активно используются преступными организациями для автоматизации этапа установления доверительных отношений с жертвами, превосходя по эффективности человеческих операторов в убеждении и получении согласия. Не станут ли LLM катализатором для полномасштабной автоматизации мошеннических схем и как можно укрепить защиту от подобных манипуляций?

Романтические Аферы: Искусство Обмана и Эксплуатации Доверия

Романтические аферы, или «романс-бейтинг», представляют собой стремительно растущую форму финансового мошенничества, эксплуатирующую человеческую потребность в близости и доверии. Эти схемы активно используют эмоциональную уязвимость жертв, создавая иллюзию глубокой привязанности и романтических отношений, чтобы постепенно манипулировать ими в финансовых целях. В отличие от традиционных мошенничеств, эти аферы часто длятся неделями или даже месяцами, позволяя злоумышленникам установить прочную эмоциональную связь, прежде чем перейти к вымогательству денег под различными предлогами. Растущая распространенность подобных схем указывает на необходимость повышения осведомленности общественности о тактиках, используемых мошенниками, и важности критического мышления при установлении онлайн-отношений.

Мошенники, практикующие так называемые “романтические” аферы, активно используют техники социального инжиниринга для установления доверительных отношений со своими жертвами. Этот процесс начинается с тщательного изучения профилей в социальных сетях, позволяющего выявить уязвимости и интересы потенциальной жертвы. Затем следует целенаправленное общение, наполненное комплиментами, проявлениями внимания и созданием иллюзии общих ценностей. Постепенно, злоумышленники укрепляют эмоциональную связь, вызывая у жертвы чувство привязанности и доверия, что делает её более восприимчивой к последующим просьбам о финансовой помощи, часто завуалированным под жизненные трудности или экстренные ситуации. Именно постепенное построение доверия, а не прямая просьба о деньгах, является ключевым элементом успеха подобных мошеннических схем.

Современные аферы, использующие романтические уловки, демонстрируют растущую сложность и изощренность, что требует более глубокого анализа их механизмов и технологий, способствующих их распространению. Аферисты активно используют инструменты цифровой коммуникации, включая социальные сети и мессенджеры, для создания убедительных, но ложных личностей и установления эмоциональной связи с жертвами. Они осваивают методы социальной инженерии, адаптируя свои подходы к индивидуальным психологическим особенностям потенциальных жертв. Кроме того, широкое распространение искусственного интеллекта и генеративных моделей позволяет создавать все более реалистичные поддельные профили и сообщения, затрудняя выявление мошеннических схем. Понимание этих технологических аспектов и методов манипулирования необходимо для разработки эффективных стратегий предотвращения и защиты от подобных афер.

Мошенническая схема разворачивается в три этапа: на этапе 'зацепки' происходит массовая рассылка сообщений и первичный отбор жертв, затем на этапе 'удочки' выстраивается доверие и создается образ успешности при участии нескольких операторов, и, наконец, на этапе 'погружения' жертву под давлением заставляют инвестировать в мошеннические платформы, что приводит к значительным потерям. — Мошенническая схема разворачивается в три этапа: на этапе ‘зацепки’ происходит массовая рассылка сообщений и первичный отбор жертв, затем на этапе ‘удочки’ выстраивается доверие и создается образ успешности при участии нескольких операторов, и, наконец, на этапе ‘погружения’ жертву под давлением заставляют инвестировать в мошеннические платформы, что приводит к значительным потерям.

Искусственный Интеллект на Службе Мошенничества: Новая Эра Обмана

В последнее время наблюдается значительный рост использования больших языковых моделей (LLM), таких как ChatGPT, для автоматизации и масштабирования мошеннических схем, связанных с романтическим обманом. LLM позволяют злоумышленникам создавать большое количество убедительных профилей и поддерживать продолжительные, персонализированные переписки с потенциальными жертвами, что существенно увеличивает эффективность мошенничества. Автоматизация процесса позволяет охватить гораздо большее количество людей, чем при использовании исключительно ручного труда, и снижает затраты на поддержание коммуникации с жертвами. Увеличение объема и скорости осуществляемых контактов приводит к росту числа успешных мошеннических операций и, соответственно, финансовых потерь.

Большие языковые модели (LLM) значительно повышают эффективность так называемого “этапа налаживания контакта” в мошеннических схемах. LLM способны создавать правдоподобные личности и вести убедительные диалоги, что позволяет им быстро устанавливать доверительные отношения с жертвами. Согласно проведенным исследованиям, уровень доверия к взаимодействиям, осуществляемым с использованием LLM, статистически значимо выше (p=0.007) по сравнению с аналогичными взаимодействиями, осуществляемыми людьми-операторами. Это достигается за счет автоматизированного анализа и адаптации к стилю общения жертвы, что позволяет LLM эффективно имитировать эмпатию и личную заинтересованность.

Автоматический перевод, осуществляемый с помощью больших языковых моделей (LLM), значительно расширяет возможности мошенников, позволяя им общаться с жертвами, говорящими на разных языках, и преодолевать языковые барьеры. В ходе моделирования взаимодействия установлено, что LLM-агенты демонстрируют 46%-ный уровень выполнения поставленных задач, в то время как у людей этот показатель составляет всего 18%. Это свидетельствует о повышенной эффективности LLM в манипулировании и убеждении жертв, что делает их особенно опасными в контексте мошеннических схем.

Инфраструктура Обмана: Организация и Масштабирование Мошеннических Операций

Организованные мошеннические схемы всё чаще базируются в так называемых «Мошеннических Кампусах» — физических локациях, обеспечивающих инфраструктуру и координацию действий. Эти кампусы предоставляют необходимые ресурсы, включая рабочие места, компьютерное оборудование, каналы связи и обучение персонала. Они функционируют как централизованные операционные базы, позволяя злоумышленникам масштабировать свои операции и эффективно координировать усилия по обману большого числа жертв. Внутри таких кампусов часто присутствует чёткая иерархия и разделение труда, направленное на оптимизацию процесса мошенничества и максимизацию прибыли.

В структуре мошеннических операций широко используются так называемые “Playbooks” — детально проработанные сценарии, служащие руководством для сотрудников. Эти сценарии включают в себя заранее подготовленные тексты сообщений, ответы на типичные вопросы жертв и инструкции по манипулированию ими. Playbooks обеспечивают единообразие действий и сообщений всех участников, что повышает эффективность мошенничества и затрудняет выявление закономерностей. В них четко прописаны этапы взаимодействия с потенциальными жертвами, включая способы установления доверия и убеждения в выгодности предлагаемых схем. Регулярное обновление Playbooks позволяет адаптироваться к меняющимся условиям и новым методам противодействия.

В структуре мошеннических операций значительная часть ресурсов, а именно 87% персонала, направлена на этапы первоначального контакта и установления доверия — так называемые этапы «Hook» и «Line». На этапе «Hook» для массовой рассылки сообщений используются большие языковые модели (LLM), что позволяет автоматизировать процесс установления контакта с потенциальными жертвами. Последующий этап, «Sinker», предполагает использование поддельных инвестиционных платформ для изъятия денежных средств. Такое распределение ресурсов указывает на приоритет мошенников в отношении первичного вовлечения и создания иллюзии надежности перед переходом к фактическому хищению средств.

Сокрытие Следов: Инструменты и Методы Обхода Защиты

Мошенники активно используют виртуальные частные сети (VPN) для сокрытия своего фактического местоположения и защиты своей онлайн-деятельности. Такая практика позволяет им обходить географические ограничения, маскировать IP-адреса и затруднять отслеживание их действий правоохранительными органами или системами безопасности. VPN создают зашифрованный туннель для интернет-трафика, что усложняет перехват и анализ данных, позволяя злоумышленникам действовать анонимно и избегать обнаружения при осуществлении мошеннических схем, распространении вредоносного ПО или осуществлении других незаконных действий в сети. Использование VPN является ключевым элементом в стратегии обхода защиты и поддержания конфиденциальности при совершении киберпреступлений.

Для создания убедительных и адаптируемых личностей мошенники активно используют так называемые системные подсказки (System Prompts) в больших языковых моделях (LLM). Эти подсказки представляют собой инструкции, задающие рамки поведения модели, определяя её стиль общения, тон, даже убеждения и манеры. В отличие от простого ввода текста, системные подсказки позволяют формировать «характер» виртуального собеседника, делая его более правдоподобным и сложным для обнаружения. Например, мошенник может настроить LLM на роль эксперта в определенной области, используя специфическую терминологию и аргументацию, или имитировать стиль общения конкретного человека. Подобная тонкая настройка позволяет обходить стандартные фильтры и системы обнаружения, поскольку модель не просто генерирует текст, а ведет себя как личность, что значительно повышает эффективность мошеннических схем.

Несмотря на внедрение систем защиты на основе искусственного интеллекта и фильтров пост-контента, мошеннические схемы продолжают оставаться в значительной степени незамеченными благодаря своей способности к адаптации. Эти системы, разработанные для выявления и блокировки подозрительной активности, часто оказываются неэффективными против злоумышленников, использующих постоянно меняющиеся стратегии и генерирующих контент, который обходит установленные правила. Мошенники активно используют новые методы, чтобы обойти защиту, создавая персонализированные сообщения и имитируя естественный язык, что делает обнаружение особенно сложным. Постоянная эволюция тактик обмана требует непрерывного совершенствования систем безопасности, но злоумышленники, как правило, опережают их, находя новые способы маскировки и эксплуатации уязвимостей.

Анализ интервью с 34 инсайдерами, проведенный с середины 2024 года, показал, что различные слои искусственного интеллекта часто используются совместно в рамках одной операции.

Исследование показывает, что большие языковые модели способны не просто имитировать человеческую речь, но и выстраивать доверительные отношения, что делает их опасным инструментом в руках злоумышленников. Эта способность к масштабированию и обходу существующих мер безопасности представляет собой серьезную угрозу, особенно в контексте романтических афер. Как говорил Пол Эрдёш: «Если система не может быть сломана, значит, вы её не поняли». Этот принцип применим и здесь: понимание механизмов работы LLM необходимо для разработки эффективных стратегий защиты от автоматизированных мошеннических схем, использующих эмоциональную манипуляцию. По сути, злоумышленники взламывают систему доверия, используя уязвимости в восприятии человека, а LLM становятся инструментом для реализации этой атаки.

Что дальше?

Представленное исследование обнажило лишь верхушку айсберга. Реальность, как открытый исходный код, который мы ещё не прочитали, демонстрирует, что языковые модели способны не просто имитировать общение, но и эффективно эксплуатировать базовые человеческие потребности — в частности, потребность в привязанности. Возникает вопрос: насколько глубоко эта имитация может проникнуть, прежде чем станет невозможно отличить подлинное от сгенерированного? Проблема не в совершенствовании моделей, а в понимании уязвимостей самой человеческой психики, которые они используют.

Очевидным направлением дальнейших исследований является изучение методов обнаружения сгенерированных текстов, однако это — гонка вооружений. Более перспективным представляется разработка систем, способных оценивать эмоциональный контекст общения и выявлять манипулятивные паттерны. Необходимо переосмыслить подходы к цифровой безопасности, сместив акцент с защиты данных на защиту когнитивных способностей человека.

В конечном счете, настоящая проблема заключается не в технологиях, а в нашей готовности доверять. Пока мы продолжаем искать любовь и понимание в цифровом пространстве, языковые модели будут продолжать учиться обходить наши защиты. И тогда вопрос не в том, смогут ли они нас обмануть, а в том, как долго мы будем позволять это делать.

Оригинал статьи: https://arxiv.org/pdf/2512.16280.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-20 03:05