Память о предпочтениях: долгосрочные векторные представления для персонализации

Автор: Денис Аветисян

Новый подход к рекомендациям позволяет учитывать устойчивые долгосрочные интересы пользователя, не теряя при этом актуальность краткосрочных запросов.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

Асимметричный автоэнкодер, предназначенный для тонкой настройки LTE, проецирует историю пользователя [latex]\bm{h}_{u}[/latex] в латентное пространство [latex]\bm{z}_{u}[/latex], используя обучаемый энкодер, и, благодаря применению замороженной матрицы контент-встраиваний [latex]\bm{E}[/latex] в качестве декодера, обеспечивает изучение поведенческих закономерностей при сохранении стабильного семантического пространства, где реконструкция вычисляется как [latex]\bm{\hat{y}}_{u}=\bm{z}_{u}\bm{E}^{\in tercal}[/latex], гарантируя совместимость с эвристическим усреднением на основе контента. — Асимметричный автоэнкодер, предназначенный для тонкой настройки LTE, проецирует историю пользователя $\bm{h}_{u}$ в латентное пространство $\bm{z}_{u}$ , используя обучаемый энкодер, и, благодаря применению замороженной матрицы контент-встраиваний $\bm{E}$ в качестве декодера, обеспечивает изучение поведенческих закономерностей при сохранении стабильного семантического пространства, где реконструкция вычисляется как $\bm{\hat{y}}_{u}=\bm{z}_{u}\bm{E}^{\in tercal}$ , гарантируя совместимость с эвристическим усреднением на основе контента.

В статье представлен фреймворк долгосрочных векторных представлений (LTE) для рекомендательных систем, обеспечивающий согласованность и стабильность в производственной среде.

Современные рекомендательные системы, основанные на трансформерах, превосходно улавливают краткосрочные предпочтения пользователей, но часто страдают от предвзятости новизны, игнорируя устойчивые долгосрочные интересы. В работе ‘Long-Term Embeddings for Balanced Personalization’ предложен фреймворк долгосрочных представлений (LTE) как высокоинерционный контекстный якорь для преодоления этого разрыва, обеспечивающий согласованность модели во времени и устойчивость к изменениям в инфраструктуре. Авторы демонстрируют, что ограничение представлений фиксированной семантической базой контент-фильтруемых элементов гарантирует совместимость между различными версиями признаков, что особенно важно для стабильной работы в продакшене. Каким образом можно эффективно интегрировать долгосрочные представления в существующие архитектуры рекомендательных систем, минимизируя утечку данных и максимизируя прирост вовлеченности пользователей?

Постановка Проблемы: Устойчивость Долгосрочных Предпочтений

Традиционные системы рекомендаций часто испытывают трудности с определением устойчивых, долгосрочных предпочтений пользователя, склонные к тому, чтобы отдавать приоритет немедленным взаимодействиям. Это означает, что алгоритмы, как правило, фокусируются на самых последних действиях, таких как недавние клики или покупки, и используют их для прогнозирования будущих интересов. В результате, система может предложить контент, который кажется актуальным в данный момент, но не отражает истинные, устоявшиеся вкусы пользователя. Данный подход приводит к тому, что долгосрочные предпочтения, сформированные на протяжении длительного времени, игнорируются в пользу краткосрочной активности, снижая общую релевантность и удовлетворенность от рекомендаций. Вместо того, чтобы строить прочный профиль пользователя, основанный на его истории, система постоянно перестраивает его на основе последних действий, что создает иллюзию персонализации, но не обеспечивает действительно индивидуальный подход.

Традиционные системы рекомендаций часто демонстрируют выраженную предвзятость к недавним взаимодействиям пользователя, уделяя непропорционально большое внимание последним действиям при формировании предложений. Это приводит к тому, что долгосрочные предпочтения и устойчивые вкусы остаются неучтенными, что снижает релевантность и удовлетворенность от рекомендаций. Представленное исследование направлено на смягчение данной проблемы, и результаты показывают значительное снижение внимания к последнему взаимодействию — на 7.64%. Такое уменьшение предвзятости к недавним данным позволяет более эффективно выявлять и учитывать долгосрочные предпочтения, что, в свою очередь, способствует построению более персонализированных и точных рекомендаций, отвечающих истинным потребностям пользователя.

Формирование действительно персонализированного опыта взаимодействия требует понимания устойчивых предпочтений пользователя, а не только учета его недавних действий. Вкусы и интересы человека формируются со временем, и системы, игнорирующие этот фактор, предлагают лишь поверхностные рекомендации. Понимание долгосрочных предпочтений позволяет создавать более релевантный контент, предвосхищать потребности и, как следствие, значительно повышать удовлетворенность пользователя. Именно эта способность адаптироваться к глубоким, стабильным интересам отличает эффективные системы рекомендаций от тех, что ориентированы исключительно на краткосрочную активность, обеспечивая долгосрочное вовлечение и лояльность.

Последовательные Рекомендации: Моделирование Пути Пользователя

Последовательные рекомендации представляют собой подход к моделированию поведения пользователей, основанный на анализе временных последовательностей их взаимодействий. В отличие от традиционных методов, учитывающих только историю покупок или просмотров без учета порядка, последовательные рекомендации позволяют выявлять закономерности, обусловленные именно последовательностью действий пользователя. Это особенно важно для понимания намерений и прогнозирования будущих предпочтений, поскольку порядок взаимодействия может нести существенную информацию о текущем контексте и потребностях пользователя. Например, просмотр определенной категории товаров непосредственно перед покупкой может указывать на более сильное намерение, чем просто наличие этих товаров в истории просмотров. Такой подход позволяет создавать более релевантные и персонализированные рекомендации, повышая эффективность системы и удовлетворенность пользователей.

Модели последовательных рекомендаций, такие как SASRec, BERT4Rec и HPMN, используют историю взаимодействий пользователя для предсказания его будущих предпочтений. SASRec применяет механизм самовнимания (self-attention) для оценки релевантности предыдущих элементов последовательности, BERT4Rec использует архитектуру Transformer для двунаправленного анализа последовательности взаимодействий, а HPMN (Hierarchical Pointer Mixture Network) объединяет механизм внимания с иерархической структурой для моделирования сложных паттернов поведения пользователей. Все эти модели обрабатывают последовательность действий пользователя (например, просмотры товаров, покупки) как входные данные и прогнозируют наиболее вероятный следующий элемент, который может заинтересовать пользователя.

Эффективное моделирование долгосрочных зависимостей в последовательностях взаимодействий пользователей представляет собой значительную проблему в области последовательных рекомендаций. Традиционные модели, такие как SASRec, BERT4Rec и HPMN, часто испытывают трудности при улавливании связей между событиями, разделенными большим количеством промежуточных действий. Наш фреймворк Long-Term Embedding решает эту проблему за счет разработки механизма, позволяющего агрегировать информацию из более ранних этапов последовательности и эффективно интегрировать ее в процесс предсказания, тем самым улучшая точность рекомендаций на больших временных промежутках. Это достигается путем формирования компактных векторных представлений, отражающих долгосрочные предпочтения пользователя, которые затем используются для уточнения прогнозов на основе текущего контекста.

Кодирование Долгосрочной Привязанности с Помощью Трансформеров

Архитектура Transformer стала доминирующей в задачах последовательной рекомендации благодаря своей способности моделировать сложные зависимости между элементами последовательности. В отличие от рекуррентных нейронных сетей (RNN), Transformer использует механизм внимания (attention), позволяющий учитывать взаимосвязи между всеми элементами последовательности одновременно, что существенно повышает точность моделирования долгосрочных предпочтений пользователя. Это позволяет учитывать не только недавние взаимодействия, но и более ранние, формируя более полное представление о предпочтениях пользователя и обеспечивая более релевантные рекомендации. Способность параллельной обработки данных в Transformer также значительно ускоряет обучение и вывод по сравнению с RNN, делая его более эффективным решением для больших наборов данных.

Долгосрочные вложения (Long-Term Embeddings, LTE) расширяют возможности архитектуры Transformer, предоставляя сжатое представление долгосрочных предпочтений пользователя. В отличие от традиционных подходов, учитывающих лишь недавнюю историю взаимодействия, LTE кодируют информацию о всей истории действий пользователя в векторном представлении фиксированной длины. Это позволяет модели Transformer учитывать более широкий контекст при формировании рекомендаций, улучшая способность к обобщению и повышая точность прогнозирования предпочтений в долгосрочной перспективе. Данные вложения формируются на основе всей последовательности действий пользователя и интегрируются в процесс обработки последовательности, предоставляя модели информацию о его долгосрочных интересах.

Модели, такие как DMT (Dynamic Memory Transformer), GPSD (Generative Preference Sharing and Diffusion) и LONGER, активно используют долгосрочные эмбеддинги (LTE) для улучшения качества рекомендаций на длительном горизонте. В этих архитектурах LTE служат сжатым представлением устойчивых предпочтений пользователя, позволяя моделям учитывать прошлые взаимодействия, выходящие за рамки недавней истории. Интеграция LTE позволяет более эффективно моделировать долгосрочные зависимости и снижать влияние эффекта новизны, что приводит к повышению релевантности и точности рекомендаций при прогнозировании предпочтений пользователя в будущем.

Результаты экспериментов показали, что разработанный нами фреймворк долгосрочных эмбеддингов (LTE) обеспечивает относительное улучшение метрики NDCG@500 на 2.1% при использовании поведенческого дообучения. Данное улучшение свидетельствует об эффективности LTE в снижении влияния эффекта новизны (recency bias) и повышении точности рекомендаций за счет более полного учета долгосрочных предпочтений пользователей. Использование поведенческого дообучения позволяет адаптировать эмбеддинги к специфическим паттернам взаимодействия пользователей с системой, что способствует более релевантным рекомендациям.

Анализ статистической согласованности миграции внимания LTE показывает, что модель умеренно сглаживает колебания в середине сессии, восстанавливая долю внимания для более ранней истории, что подтверждается 95% доверительным интервалом (серые полосы), полученным на отложенном наборе данных.

Обеспечение Согласованности Рекомендаций Во Времени

Для надежных рекомендательных систем критически важна согласованность рекомендаций во времени, известная как “согласованность в момент времени”. Это особенно актуально при откате моделей или их обновлении, поскольку изменения в алгоритмах могут привести к резким колебаниям в предлагаемых элементах. Без поддержания согласованности, пользователи могут столкнуться с непредсказуемыми и потенциально нерелевантными рекомендациями, что негативно сказывается на их опыте и доверии к системе. Сохранение стабильности рекомендаций даже при внутренних изменениях является ключевым фактором для долгосрочного успеха и удержания пользователей, поскольку позволяет избежать внезапных изменений в их персонализированном опыте.

Для обеспечения стабильности рекомендаций во времени используются методы, такие как Ортогональный Прокруст и Сингулярное Разложение (SVD). Эти алгоритмы позволяют преобразовывать новые векторные представления (embeddings) таким образом, чтобы они соответствовали заранее определенному стандартному пространству. Фактически, происходит выравнивание новых данных с существующими, что предотвращает резкие изменения в рекомендациях при обновлении моделей или откате к предыдущим версиям. Такое преобразование сохраняет относительные отношения между элементами, обеспечивая согласованность результатов, даже если сами векторы меняются. Это особенно важно в динамичных системах, где постоянное качество рекомендаций критически необходимо для поддержания пользовательского доверия и вовлеченности.

Архитектура “Двух Башен” в сочетании с методами, такими как ортогональный прокруст и сингулярное разложение $SVD$ , представляет собой практичный подход к поддержанию стабильной производительности рекомендательных систем во времени. Данная архитектура позволяет независимо обрабатывать данные о пользователях и товарах, формируя векторные представления (embeddings). Сопоставление этих представлений в стандартизированное опорное пространство с помощью указанных методов гарантирует, что новые модели, даже после обновлений или откатов, будут генерировать рекомендации, сопоставимые с предыдущими, что критически важно для поддержания пользовательского доверия и предотвращения внезапных изменений в качестве рекомендаций. Такой подход обеспечивает плавный переход между версиями моделей, минимизируя влияние обновлений на пользовательский опыт и общую эффективность системы.

Масштабные онлайн A/B-тестирования продемонстрировали значительное повышение эффективности предложенного подхода к обеспечению стабильности рекомендаций. В ходе экспериментов зафиксировано увеличение общей вовлеченности пользователей на 0.61%, что свидетельствует о более релевантных и привлекательных предложениях. Более того, применение данной методики привело к росту дохода на 0.42%, подтверждая её практическую ценность и положительное влияние на ключевые бизнес-показатели. Полученные результаты не только подтверждают эффективность предложенных алгоритмов, но и подчеркивают важность поддержания стабильности рекомендаций во времени для оптимизации пользовательского опыта и достижения ощутимых экономических выгод.

Данная работа демонстрирует стремление к созданию рекомендательных систем, способных учитывать не только текущие запросы пользователя, но и его долгосрочные предпочтения. Авторы предлагают подход, основанный на высокоинерционных долгосрочных встраиваниях, что позволяет обеспечить стабильность и предсказуемость рекомендаций. Этот акцент на последовательности и устойчивости особенно важен в производственных системах, где даже небольшие отклонения могут привести к значительным последствиям. Как заметил Брайан Керниган: «Простота — это главное. Сложность — это враг простоты.» Это высказывание напрямую отражает подход, представленный в статье, где стремление к элегантности и минимизации избыточности служит основой для создания надежной и эффективной системы рекомендаций.

Что Дальше?

Представленная работа, несомненно, вносит вклад в борьбу с эфемерностью пользовательских предпочтений. Однако, истинная сложность заключается не в создании «долгосрочных» представлений, а в доказательстве их устойчивости к непредвиденным изменениям в поведении пользователя. Подобные векторы, зафиксированные во времени, неизбежно столкнутся с проблемой «чёрного лебедя» — событиями, радикально меняющими траекторию интересов. Необходимо сосредоточиться на алгоритмах, способных не просто адаптироваться, но и предсказывать подобные сдвиги, основываясь на мета-анализе динамики предпочтений.

Настоящим вызовом представляется не столько повышение точности предсказаний, сколько обеспечение их математической доказуемости. Простая «работа на тестах» — это лишь иллюзия контроля. Необходимо стремиться к созданию моделей, для которых можно строго доказать предел масштабируемости и асимптотическую устойчивость. Использование автоэнкодеров, безусловно, перспективно, но требует более глубокого анализа влияния архитектуры и параметров обучения на обобщающую способность.

В конечном счёте, подлинный прогресс в области рекомендательных систем заключается не в увеличении количества параметров модели, а в упрощении её логики. Элегантность алгоритма измеряется не количеством строк кода, а его способностью выдерживать испытание временем и непредсказуемостью человеческой природы. Необходимо переосмыслить саму концепцию «долгосрочных предпочтений», возможно, отказавшись от её абсолютизации в пользу более гибких и адаптивных моделей.

Оригинал статьи: https://arxiv.org/pdf/2604.08181.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-04-13 00:35