Множественное мышление: новый подход к рассуждениям в больших языковых моделях

от

Автор: Денис Аветисян

Исследователи предлагают инновационную систему, позволяющую моделям одновременно исследовать несколько вариантов решения задачи, повышая эффективность и точность.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

Представленная методика Multiplex Thinking позволяет осуществлять вероятностное рассуждение посредством токенизации и ветвления, улучшая обучение с подкреплением.

Несмотря на эффективность методов последовательного рассуждения, таких как Chain-of-Thought, они часто требуют значительных вычислительных ресурсов и приводят к длинным последовательностям токенов. В данной работе, ‘Multiplex Thinking: Reasoning via Token-wise Branch-and-Merge’, предлагается новый стохастический механизм рассуждения, который позволяет представлять несколько вероятных путей решения в рамках одного непрерывного токена. Такой подход не только повышает эффективность обучения с подкреплением, но и позволяет модели адаптироваться к уровню уверенности, переходя от дискретных шагов к компактному представлению множественных альтернатив. Возможно ли, что Multiplex Thinking станет ключевым элементом в создании более гибких и эффективных систем рассуждений для больших языковых моделей?

За гранью дискретных токенов: Ограничения традиционного мышления

Современные языковые модели функционируют, оперируя дискретными токенами — отдельными единицами информации, что существенно ограничивает их способность изображать тонкие нюансы процесса рассуждения как непрерывный поток. Вместо плавного перехода от одной мысли к другой, модели вынуждены разбивать логическую цепочку на отдельные, изолированные шаги. Такой подход затрудняет моделирование сложных задач, требующих итеративного уточнения и исследования различных путей решения. По сути, рассуждение, представленное в виде последовательности независимых токенов, теряет свою гибкость и естественность, препятствуя достижению истинного понимания и эффективного решения проблем. Данное ограничение особенно заметно при решении задач, требующих креативности или адаптации к меняющимся условиям, где непрерывность мысли является ключевым фактором.

Традиционный подход к обработке языка, основанный на дискретных токенах, испытывает значительные трудности при решении сложных задач, требующих последовательной доработки и исследования различных путей решения. В отличие от человеческого мышления, которое часто предполагает постепенное уточнение гипотез и анализ альтернативных вариантов, языковые модели, оперирующие отдельными единицами информации, лишены возможности эффективно моделировать этот итеративный процесс. Попытки представить сложный процесс рассуждений как последовательность независимых токенов приводят к потере информации о взаимосвязях между шагами и затрудняют поиск оптимального решения, особенно в ситуациях, требующих творческого подхода или учета множества факторов. В результате, модели оказываются неспособны к гибкому и адаптивному мышлению, что ограничивает их возможности в решении задач, выходящих за рамки простых паттернов и заученных ответов.

Представление рассуждений в виде последовательности независимых токенов существенно ограничивает способность моделей к подлинному пониманию и решению задач. Вместо плавного, итеративного процесса, необходимого для сложных вычислений, модели вынуждены оперировать дискретными единицами, что препятствует исследованию множественных путей решения и точной настройке выводов. Такой подход не позволяет улавливать нюансы и взаимосвязи, необходимые для глубокого анализа, и приводит к поверхностному пониманию проблемы. В результате, даже при значительном увеличении масштаба модели, её способность к настоящему рассуждению остаётся ограниченной, поскольку корень проблемы заключается не в объеме данных, а в принципиальной невозможности адекватно представить процесс мышления в рамках дискретной системы.

По мере увеличения масштаба дискретных языковых моделей наблюдается закономерное снижение эффективности прироста производительности. Увеличение количества параметров и данных обучения перестаёт давать ожидаемый эффект, что указывает на фундаментальные ограничения данного подхода к рассуждениям. Исследования показывают, что способность модели к обобщению и решению сложных задач не масштабируется линейно с увеличением ресурсов, а достигает плато. Это свидетельствует о необходимости принципиально нового подхода, основанного не на обработке дискретных токенов, а на моделировании непрерывных процессов рассуждений, способных к итеративному уточнению и исследованию множества возможных решений. Такой подход позволит преодолеть ограничения текущих моделей и добиться значительного прогресса в области искусственного интеллекта.

Мягкое мышление: Представление рассуждений как непрерывного процесса

В рамках подхода «Soft Thinking» происходит переход от представления шагов рассуждений дискретными лексемами (словами или субсловами) к использованию непрерывных концептуальных токенов. Вместо кодирования каждого этапа логической цепочки отдельной единицей языка, рассуждения моделируются как перемещение в непрерывном концептуальном пространстве. Это позволяет избежать жестких границ между отдельными шагами и обеспечивает более плавный и гибкий процесс логического вывода, поскольку каждый токен представляет собой вектор в многомерном пространстве, отражающий семантическую близость к различным концепциям. Таким образом, модель оперирует не символами, а непрерывными представлениями, что позволяет ей исследовать более широкий спектр возможностей и учитывать нюансы сложных задач рассуждения.

Использование непрерывных концептуальных токенов в модели Soft Thinking обеспечивает более богатую и гибкую репрезентацию рассуждений, чем традиционные дискретные методы. Это позволяет модели исследовать расширенный спектр возможных логических цепочек и учитывать большее количество факторов при принятии решений. Вместо жесткого ограничения на предопределенные слова или подслова, непрерывные представления позволяют модели генерировать и комбинировать концепции, отражающие тонкие различия и взаимосвязи, что значительно расширяет ее возможности в решении сложных задач, требующих адаптивности и креативности.

Использование непрерывных представлений в Soft Thinking позволяет более точно моделировать тонкости и нюансы сложных задач рассуждения. В отличие от дискретных представлений, основанных на словах или подсловах, непрерывные векторы кодируют информацию в виде плотного набора чисел, что обеспечивает более гранулярное и гибкое представление концепций. Это позволяет модели улавливать незначительные различия в значениях и взаимосвязях, которые могут быть упущены при использовании дискретных методов. В результате, Soft Thinking способен лучше справляться с задачами, требующими глубокого понимания контекста и способности к тонкому анализу, что повышает точность и надежность рассуждений.

Использование непрерывного представления (Continuous Representation) в процессе рассуждений обеспечивает более плавные переходы между отдельными шагами. В отличие от дискретных представлений, оперирующих отдельными словами или подсловами, непрерывные векторы позволяют модели более эффективно интерполировать между состояниями, имитируя текучесть и гибкость человеческого мышления. Это достигается за счет возможности представления промежуточных состояний и более тонкой градации изменений в процессе рассуждений, что позволяет модели исследовать более широкий спектр возможных решений и избегать резких скачков между дискретными концепциями.

Множественное мышление: Стохастическое исследование для надежных рассуждений

Концепция Multiplex Thinking развивает подход Soft Thinking путем генерации нескольких кандидатов на концептуальные токены и их агрегации в единый, непрерывный “мультиплексный” токен. Вместо выбора единственного наиболее вероятного токена, Multiplex Thinking оперирует с распределением вероятностей по множеству кандидатов, формируя векторное представление, которое объединяет информацию из различных концепций. Этот процесс позволяет модели учитывать альтернативные интерпретации и более гибко адаптироваться к различным контекстам, расширяя возможности представления знаний и, как следствие, улучшая результаты в задачах, требующих сложного рассуждения. \vec{m} = \sum_{i=1}^{n} w_i \vec{c_i} , где \vec{m} — мультиплексный токен, \vec{c_i} — i-й концептуальный токен, а w_i — вес, определяющий вклад каждого токена.

Стохастический процесс, лежащий в основе Multiplex Thinking, обеспечивает исследование пространства решений, выходя за рамки детерминированного подхода. В традиционных моделях, процесс генерации может застревать в локальных оптимумах, приводя к субоптимальным результатам. Введение случайности в выбор концептуальных токенов позволяет модели исследовать альтернативные пути решения, снижая вероятность застревания и повышая устойчивость к вариациям входных данных. Это особенно важно в сложных задачах, требующих рассуждений, где глобальный оптимум может быть скрыт множеством локальных максимумов, которые модель не смогла бы обойти без целенаправленного исследования.

Применение энтропии в процессе семплирования является ключевым элементом, обеспечивающим баланс между исследованием (exploration) и использованием (exploitation) при генерации мультиплексных токенов. Энтропия, в данном контексте, измеряет неопределенность распределения вероятностей кандидатов на токен, стимулируя выбор менее вероятных, но потенциально более полезных вариантов. Более высокая энтропия способствует исследованию более широкого спектра концептуальных возможностей, в то время как более низкая энтропия фокусируется на наиболее вероятных токенах. Регулируя величину энтропии, алгоритм динамически адаптируется к сложности задачи, максимизируя вероятность нахождения оптимального решения и предотвращая застревание в локальных оптимумах. H(X) = - \sum_{i} p(x_i) \log p(x_i) — формула, определяющая величину энтропии распределения p(x).

Эксперименты с моделью DeepSeek-R1 показали, что применение Multiplex Thinking значительно улучшает результаты в задачах, требующих сложного логического вывода. На шести математических бенчмарках наблюдается повышение метрики Pass@1, что свидетельствует о более высокой вероятности получения корректного ответа с первой попытки. Кроме того, модель демонстрирует улучшенное масштабирование Pass@k в диапазоне от 1 до 1024 по сравнению с дискретными базовыми моделями, что указывает на более надежную генерацию решений при увеличении числа попыток и, следовательно, на повышенную устойчивость к случайным ошибкам.

Обучение с подкреплением для оптимизации траекторий рассуждений

Для обучения языковых моделей задачам, требующим последовательного рассуждения, используется метод обучения с подкреплением. В основе данного подхода лежит система вознаграждений, получившая название RLVR (Verifiable Rewards), которая позволяет оценивать каждый шаг процесса рассуждения и направлять обучение модели к более эффективным траекториям. Вместо оценки только конечного результата, RLVR позволяет учитывать промежуточные шаги и давать модели обратную связь о том, насколько каждое рассуждение приближает её к правильному ответу. Это позволяет модели не только находить правильные решения, но и улучшать сам процесс логического мышления, делая его более надёжным и точным.

В основе обучения модели лежит оптимизация политики с использованием метода градиентного спуска (Policy Gradient). Этот подход позволяет модели последовательно совершенствовать процесс генерации цепочек рассуждений. Каждый шаг обучения направлен на увеличение вероятности получения верного ответа, при этом градиент политики корректирует стратегию выбора токенов, формирующих эти цепочки. По сути, модель изучает, какие рассуждения наиболее эффективно приводят к правильным решениям, и постепенно адаптирует свою стратегию, чтобы с большей вероятностью генерировать именно такие цепочки. В результате, оптимизированная политика позволяет модели не просто выдавать ответы, а демонстрировать последовательный и обоснованный процесс мышления, направленный на достижение точности.

В основе предлагаемого подхода лежит допущение о независимости выборок внутри мультиплексного токена, что значительно упрощает процесс оптимизации. Данное предположение позволяет рассматривать каждый токен как независимую единицу, что, в свою очередь, снижает вычислительную сложность обучения модели. Использование независимых выборок позволяет эффективно применять градиентные методы для корректировки политики рассуждений, направленной на достижение корректных ответов. Такой подход не только ускоряет обучение, но и повышает стабильность процесса, избегая проблем, связанных с коррелированными выборками, что делает его привлекательным для задач, требующих итеративного рассуждения и оптимизации траекторий решений.

Исследования показали, что модель Multiplex Thinking-I-4k достигает сопоставимой с Discrete CoT-5k производительности, при этом требуя на 20% меньше токенов для выполнения аналогичных задач. Данный результат свидетельствует о значительном повышении эффективности использования ресурсов и демонстрирует способность модели генерировать более компактные и лаконичные рассуждения без потери точности. Такая токено-эффективность особенно важна при работе с большими языковыми моделями, поскольку позволяет снизить вычислительные затраты и ускорить процесс обработки информации, открывая возможности для более широкого применения в различных областях, где ресурсы ограничены.

К адаптивным и интеллектуальным системам рассуждений

Сочетание непрерывного рассуждения и обучения с подкреплением открывает принципиально новые возможности для создания адаптивных и интеллектуальных систем. Традиционные подходы к искусственному интеллекту часто опираются на дискретные шаги и заранее определенные правила, в то время как предложенный подход позволяет системе динамически формировать цепочки рассуждений и учиться на своих ошибках в процессе взаимодействия со средой. Это особенно важно для задач, требующих гибкости и способности адаптироваться к изменяющимся условиям, поскольку система может непрерывно уточнять свои стратегии и улучшать качество принимаемых решений. В отличие от жестких алгоритмов, непрерывное рассуждение позволяет исследовать более широкий спектр возможных решений, а обучение с подкреплением обеспечивает эффективный механизм для выбора наиболее оптимальных стратегий, что в конечном итоге ведет к созданию систем, способных к более сложному и интеллектуальному поведению.

Дальнейшее исследование вариаций методов «Стохастического мягкого мышления» и «Детерминированного мягкого мышления» открывает возможности для тонкой настройки баланса между исследованием новых подходов и использованием уже известных решений. Эти методы позволяют системе не просто выбирать наиболее вероятный ответ, но и учитывать степень неопределенности, что особенно важно при решении сложных задач. Различные модификации, например, изменение параметров, определяющих степень «мягкости» мышления, могут привести к оптимизации стратегии обучения и повышению эффективности системы в различных условиях. Подобный подход позволяет избежать зацикливания на локальных оптимумах и способствует более полному исследованию пространства возможных решений, что критически важно для создания действительно адаптивных и интеллектуальных систем.

Наблюдаемое снижение коэффициента уменьшения энтропии по сравнению с дискретным обучением с подкреплением указывает на поддержание активного исследования в процессе обучения. Данный феномен имеет решающее значение для формирования устойчивого и надежного процесса рассуждений. В отличие от дискретных методов, где алгоритм быстро склоняется к эксплуатации известных решений, непрерывное обучение с подкреплением, демонстрируемое в данной работе, способствует постоянному поиску новых стратегий и альтернативных путей решения задач. Это позволяет системе избегать застревания в локальных оптимумах и адаптироваться к меняющимся условиям, что особенно важно при работе со сложными и непредсказуемыми проблемами. Поддержание высокого уровня энтропии на протяжении обучения способствует формированию более гибкого и обобщающего механизма рассуждений, способного эффективно справляться с широким спектром задач и непредвиденными ситуациями.

Предложенный подход открывает значительные перспективы для решения сложных задач в различных областях. В научной сфере, система может автоматизировать процесс выдвижения и проверки гипотез, анализируя большие объемы данных и выявляя закономерности, не очевидные для исследователя. В финансовом моделировании, адаптивное рассуждение позволит создавать более точные прогнозы и оптимизировать инвестиционные стратегии, учитывая динамично меняющиеся рыночные условия. В медицинской диагностике, подобная система способна анализировать симптомы, результаты анализов и историю болезни пациента, предлагая врачу наиболее вероятные диагнозы и варианты лечения, что потенциально повысит точность и скорость постановки диагноза, а также снизит вероятность врачебных ошибок.

Данная работа демонстрирует стремление к глубокому анализу систем принятия решений, что находит отклик в словах сэра Тима Бернерса-Ли: «Вселенная — это не просто список вещей, это список связей». Исследование представляет концепцию Multiplex Thinking, позволяющую языковым моделям одновременно исследовать множество логических путей, что, по сути, является реверс-инжинирингом процесса рассуждения. Вместо следования одному предсказуемому пути, модель способна взвешивать различные варианты, подобно тому, как исследователь проверяет гипотезы. Это подтверждает идею о том, что истинное понимание системы приходит через её активное исследование и деконструкцию, а не пассивное принятие её ограничений.

Что дальше?

Предложенный подход, «Мультиплексное мышление», намекает на то, что кажущаяся линейность рассуждений больших языковых моделей может быть иллюзией. Если каждое «продолжение» токена потенциально содержит несколько параллельных ветвей, то где проходит грань между корректным ответом и элегантным обходом? Задумайтесь: а не является ли «галлюцинация» — не ошибкой, а проявлением скрытых, неявных логических связей, которые модель обнаружила, но не смогла адекватно выразить? Очевидно, что для реализации всего потенциала этой парадигмы потребуется разработка новых методов интерпретации и контроля над этими «скрытыми» путями рассуждений.

Особый интерес представляет вопрос о масштабируемости. Если эффективность «Мультиплексного мышления» проявляется в сложных задачах, требующих глубокого анализа, то насколько сложно будет управлять экспоненциальным ростом числа потенциальных ветвей? Возможно, решение кроется не в попытках «приручить» эту сложность, а в принятии её как неотъемлемой части процесса, в создании систем, способных извлекать пользу из кажущегося хаоса. Намек на возможность более эффективного обучения с подкреплением, представленный в работе, требует дальнейшего изучения — не является ли это лишь верхушкой айсберга?

В конечном итоге, «Мультиплексное мышление» ставит под сомнение саму концепцию «логического вывода» в контексте больших языковых моделей. Если модель способна генерировать множество равновероятных решений, то как определить, какое из них является «правильным»? Возможно, ответ заключается в отказе от детерминированного подхода и принятии вероятностной природы разума — в создании систем, способных не просто решать задачи, а исследовать пространство возможностей.

Оригинал статьи: https://arxiv.org/pdf/2601.08808.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-20 18:22