Игры разума: как оценить стратегическое мышление больших языковых моделей

Автор: Денис Аветисян

Новое исследование предлагает метод оценки способности больших языковых моделей понимать намерения и предсказывать поведение других игроков, используя принципы теории игр.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

Наблюдается тенденция к снижению параметра рациональности QRE λ при увеличении среднего рейтинга ELO по информативным осям (ESM, RSR, RSM), что согласуется с гипотезой о том, что равновесная игра обеспечивает минимальный уровень выигрыша, а не его максимизацию, хотя данная зависимость ([latex]\rho = -0.45[/latex], [latex]p = 0.31[/latex], [latex]n = 7[/latex]) и не является статистически значимой при данном размере выборки. — Наблюдается тенденция к снижению параметра рациональности QRE λ при увеличении среднего рейтинга ELO по информативным осям (ESM, RSR, RSM), что согласуется с гипотезой о том, что равновесная игра обеспечивает минимальный уровень выигрыша, а не его максимизацию, хотя данная зависимость ( $\rho = -0.45$ , $p = 0.31$ , $n = 7$ ) и не является статистически значимой при данном размере выборки.

Представлен GToM-Bench — эталон для оценки возможностей теории разума в больших языковых моделях на основе равновесия Квантового ответа и гарантий сходимости.

Оценка «теории разума» в больших языковых моделях часто опирается на агрегированные показатели, не имеющие четкой теоретической основы. В работе ‘Quantal Response Equilibrium as a Measure of Strategic Sophistication: Theory and Validation for LLM Evaluation’ предложен новый игровой подход, основанный на равновесии квантовых ответов ( $\text{QRE}$ ), для анализа стратегического мышления моделей. Авторы вывели аналитические решения для четырех игр, позволяющие оценить рациональность моделей по шкале, откалиброванной на данных о человеческом поведении (λ), и доказали сходимость оценок при небольшом числе игр. Может ли предложенный подход, GToM-Bench, стать стандартом для оценки способности больших языковых моделей к стратегическому взаимодействию и прогнозированию поведения других агентов?

Стратегическое Моделирование: За пределами Простых Прогнозов

Понимание стратегического поведения является основополагающим для моделирования сложных взаимодействий, поскольку простые прогнозы зачастую оказываются недостаточными для адекватного описания реальности. В отличие от предсказания исхода, основанного на линейной причинно-следственной связи, анализ стратегического поведения требует учета того, что действия одного участника зависят от ожидаемых действий других. Это создает динамическую систему, где оптимальная стратегия определяется не только текущей ситуацией, но и предвидением реакций оппонентов. Игнорирование этой взаимозависимости приводит к неточным моделям, неспособным отразить тонкости человеческого и социального поведения. Поэтому, для адекватного моделирования, необходимо использовать инструменты, позволяющие учитывать стратегические соображения и предвидение, выходящие за рамки простой экстраполяции.

Игротеоретический подход представляет собой мощный математический инструмент для анализа разнообразных взаимодействий, охватывающих широкий спектр дисциплин — от экономики и политологии до биологии и компьютерных наук. В основе этого подхода лежит формализация стратегий, действий и выигрышей участников, что позволяет моделировать сложные сценарии и предсказывать вероятные исходы. Благодаря своей строгости и универсальности, он предоставляет возможность не только описывать наблюдаемое поведение, но и выявлять оптимальные стратегии в условиях конфликта или сотрудничества. Использование таких математических понятий, как $матрицы выплат$ и $функции полезности$ , позволяет количественно оценить преимущества и недостатки различных стратегий, что делает данный подход незаменимым в исследованиях, требующих точного анализа и прогнозирования поведения.

Успешное применение теории игр в моделировании социальных взаимодействий напрямую зависит от точной идентификации состояний равновесия. В этих состояниях ни одному участнику не выгодно менять свою стратегию, учитывая стратегии других игроков. Определение таких равновесий — сложная задача, поскольку предполагает не только математическую точность, но и понимание того, что отклонение от выбранной стратегии не принесет никаких преимуществ. Именно стабильность, обеспечиваемая равновесием, позволяет прогнозировать поведение участников в различных ситуациях и анализировать последствия их действий. Точное определение равновесия — это краеугольный камень в построении реалистичных и полезных моделей социального взаимодействия, позволяющих лучше понять и предсказать коллективное поведение.

Для точного моделирования социального взаимодействия необходимо отходить от допущения о полной рациональности участников. Традиционные модели часто предполагают, что люди обладают безграничными когнитивными ресурсами и способны оптимально оценивать все возможные варианты, однако в реальности на принятие решений влияют ограниченность времени, неполнота информации, когнитивные искажения и эвристики. Исследования в области поведенческой экономики и когнитивной психологии показали, что люди склонны к упрощению сложных задач, полагаясь на интуитивные суждения и эвристические методы, что приводит к систематическим отклонениям от рационального выбора. Учет этих когнитивных ограничений позволяет создавать более реалистичные и точные модели социального взаимодействия, способные предсказывать поведение людей в различных ситуациях и объяснять наблюдаемые отклонения от теоретических предсказаний. В частности, моделирование с использованием концепций ограниченной рациональности и эвристического принятия решений открывает новые возможности для анализа сложных социальных явлений, таких как принятие коллективных решений, формирование общественного мнения и динамика рынков.

Анализ стратегий блефа показывает, что модели разделяются на три группы: активные блефёры (Gemini 2.5, Claude Haiku, DeepSeek V3; [latex]\beta > 0.40[/latex]), умеренные стратеги (Gemini 2.0; [latex]\beta \approx 0.19[/latex]) и игроки, стремящиеся к равновесию (GPT-5-mini, GPT-4o-mini, Kimi K2; [latex]\beta < 0.15[/latex]), при этом динамика игры по раундам выявляет закономерности, которые не отражаются в общих статистических данных. — Анализ стратегий блефа показывает, что модели разделяются на три группы: активные блефёры (Gemini 2.5, Claude Haiku, DeepSeek V3; $\beta > 0.40$ ), умеренные стратеги (Gemini 2.0; $\beta \approx 0.19$ ) и игроки, стремящиеся к равновесию (GPT-5-mini, GPT-4o-mini, Kimi K2; $\beta < 0.15$ ), при этом динамика игры по раундам выявляет закономерности, которые не отражаются в общих статистических данных.

Игровые Модели: Прокси-Показатели Стратегического Поведения

Для изучения стратегий поведения используются игровые модели, такие как “Strategic Claim Game”, “Repeated Prisoner’s Dilemma” и “Text-Dixit Game”. Эти игры позволяют регистрировать конкретные действия игроков в контролируемых ситуациях, предоставляя данные для анализа. В “Strategic Claim Game” фиксируются стратегии захвата ресурсов, в “Repeated Prisoner’s Dilemma” — паттерны сотрудничества и предательства, а в “Text-Dixit Game” — способы передачи и интерпретации информации. Наблюдаемые в ходе этих взаимодействий решения и реакции служат прокси-показателями когнитивных процессов, лежащих в основе стратегического мышления.

Игры, используемые в исследованиях стратегии, опираются на концепцию «теории разума» и позволяют изучать способность игроков делать выводы о намерениях других участников, прогнозировать их действия и оценивать степень их надежности. В процессе игры фиксируются поведенческие паттерны, позволяющие количественно оценить, насколько успешно участники приписывают ментальные состояния другим, предсказывают их реакцию на различные стимулы и определяют, насколько можно доверять их заявленным мотивам. Анализ этих данных позволяет выявить корреляции между поведенческими показателями и когнитивными способностями, связанными с пониманием и прогнозированием поведения других людей.

Игра “Скажи то же самое” представляет собой специфический подход к изучению когнитивных процессов, акцентируя внимание на установлении общего концептуального базиса и сближении значений между взаимодействующими сторонами. В ходе игры участникам предлагается описать визуальный стимул таким образом, чтобы их описания максимально совпадали. Анализ степени конвергенции в описаниях позволяет оценить эффективность коммуникации, а также выявить общие точки зрения и представления участников о конкретных понятиях. Данный метод отличается от традиционных тестов на понимание, поскольку оценивает не только способность к распознаванию, но и способность к формированию общего семантического пространства.

Тщательно разработанные игровые взаимодействия позволяют исследовать когнитивные процессы, лежащие в основе стратегического принятия решений, путем измерения наблюдаемого поведения игроков в контролируемых условиях. Анализируя выбор и действия участников, можно получить данные о процессах, таких как оценка вероятностей, прогнозирование действий оппонентов и учет потенциальных последствий. Измеряемые показатели, включая время реакции, частоту определенных действий и паттерны взаимодействия, предоставляют количественные данные, которые можно использовать для построения моделей когнитивных процессов и проверки гипотез о стратегическом мышлении. Подобный подход позволяет отделить когнитивные механизмы, лежащие в основе стратегии, от других факторов, влияющих на поведение, таких как эмоциональное состояние или индивидуальные предпочтения.

В ходе многократных игр в «Дилемму заключенного», большинство моделей демонстрировали устойчивое сотрудничество, однако модель Kimi K2 показала резкое снижение уровня сотрудничества с 77% до 5%, что указывает на стратегическое стремление к дефекции, в то время как GPT-4o-mini поддерживала почти идеальное сотрудничество (99.5%), а остальные модели демонстрировали умеренную склонность к дефекции на финальных этапах игры.

За Пределами Рациональности: Признание Ограниченных Возможностей

Концепция ограниченной рациональности (bounded rationality) признает, что агенты принимают решения в условиях ограниченных когнитивных ресурсов, времени и информации. Это означает, что в реальности, в отличие от классических экономических моделей, предполагающих полную оптимизацию, агенты не всегда стремятся к абсолютно наилучшему решению. Вместо этого, они довольствуются «достаточно хорошим» решением, которое позволяет достичь приемлемого результата с учетом имеющихся ограничений. Данный подход учитывает, что процесс принятия решений требует затрат, и агенты рационально ограничивают свои поиски оптимальных вариантов, выбирая те, которые позволяют минимизировать эти затраты. Это отклонение от идеальной оптимизации является фундаментальной характеристикой реального поведения агентов в различных ситуациях.

Квантовое равновесие откликов (Quantal Response Equilibrium, QRE) представляет собой практический метод моделирования ограниченной рациональности, основанный на предположении о вероятностном характере выбора агентов. В отличие от классического равновесия Нэша, где агенты всегда выбирают оптимальную стратегию, в QRE вероятность выбора стратегии пропорциональна ожидаемой полезности, но не является детерминированной. Вероятность выбора определяется функцией отклика (response function), обычно лоджистической или нормальной, что позволяет учитывать ошибки и неоптимальное поведение. Параметр «температуры» в функции отклика контролирует степень отклонения от оптимального выбора: более высокая температура означает большее случайное поведение и большее отклонение от оптимальной стратегии, а более низкая температура приближает модель к классическому равновесию Нэша. $p_i = \frac{e^{\beta u_i}}{\sum_{j} e^{\beta u_j}}$ , где $p_i$ — вероятность выбора стратегии $i$ , $u_i$ — ожидаемая полезность стратегии $i$ , а β — параметр температуры.

В основе подхода лежит использование байесовского вывода для обновления убеждений агентов на основании наблюдаемых результатов. Этот процесс позволяет учитывать предшествующие знания (априорные вероятности) и комбинировать их с новой информацией, полученной в ходе взаимодействия. В частности, после каждого принятого решения и полученного результата, агент пересчитывает вероятности различных стратегий противника, используя теорему Байеса. Это обеспечивает более тонкое понимание процесса принятия решений, поскольку агент не просто выбирает стратегию с максимальной ожидаемой полезностью, а постоянно корректирует свои оценки, основываясь на эмпирических данных. $P(A|B) = \frac{P(B|A)P(A)}{P(B)}$ — данная формула является ключевой для реализации процесса обновления убеждений.

Наша методология GToM-Bench продемонстрировала, что агенты сходятся к равновесию Нэша в процессе игры, с коэффициентом сходимости 93% в игре Strategic Claim. Это указывает на то, что даже при ограниченной рациональности и вероятностном выборе стратегий, агенты способны к адаптации и достижению стабильного состояния, близкого к оптимальному. Данный результат был получен посредством многократных симуляций и анализа поведения агентов в заданном игровом сценарии, что подтверждает эффективность GToM-Bench как инструмента для оценки и моделирования процессов принятия решений в условиях ограниченной информации и вычислительных ресурсов.

Анализ апостериорных сред параметра рациональности λ в модели QRE с 95% HDI показывает, что большинство моделей демонстрируют значения ниже человеческих, что может быть связано с ограничениями идентифицируемости QRE при игре вблизи равновесия, однако различия между моделями остаются информативными для диагностики.

Количественная Оценка Навыков и Гарантия Сходимости

Основой для прогнозирования исходов попарных сравнений служит модель Брэдли-Терри, которая предполагает, что вероятность победы одного игрока над другим зависит от разницы в их скрытых навыках. Данная модель получила практическое применение и развитие в рейтинговой системе Эло, широко используемой в шахматах и других соревновательных играх. Система Эло, используя статистические методы, позволяет количественно оценить относительный уровень мастерства игроков, корректируя рейтинги после каждой игры в зависимости от результата и ожидаемой вероятности победы. Благодаря этому, система не только предсказывает будущие результаты, но и обеспечивает динамическую оценку навыков, отражающую изменения в игре каждого участника. $P(i > j) = \frac{1}{1 + 10^{(R_j - R_i)/400}}$ — эта формула, лежащая в основе системы Эло, показывает вероятность победы игрока i над игроком j, где $R_i$ и $R_j$ — их соответствующие рейтинги.

Гарантии сходимости в рейтинговых системах, таких как модель Брэдли-Терри и система Эло, играют ключевую роль в обеспечении надежной оценки навыков игроков. Эти гарантии математически доказывают, что рейтинги со временем стабилизируются и приближаются к истинным значениям способностей участников. Важно отметить, что сходимость не означает мгновенного достижения идеальной точности, а скорее демонстрирует, что система постепенно уменьшает погрешность оценок, особенно при достаточном количестве сыгранных партий. В результате, даже при наличии некоторой неопределенности на начальном этапе, рейтинговая система со временем обеспечивает все более достоверное ранжирование игроков, позволяя прогнозировать результаты будущих соревнований с высокой степенью уверенности.

Анализ параметров рациональности QRE (λ) в рамках Стратегической Игры Претензий выявил значительный диапазон значений — от 0.05 до 0.61 в различных моделях. Этот разброс указывает на гетерогенность когнитивных процессов у участников игры и степень, в которой они отклоняются от полностью рационального поведения. Более низкие значения λ свидетельствуют о большей подверженности ошибкам и влиянию нерациональных факторов, в то время как более высокие значения указывают на более последовательное принятие решений, близкое к оптимальному. Таким образом, диапазон значений λ отражает разнообразие стратегий и уровней когнитивной сложности, проявляющихся в Стратегической Игре Претензий, и подчеркивает важность учета поведенческих факторов при моделировании взаимодействия.

Анализ взаимодействия когнитивных стратегий в Стратегической Игре Претензий выявил выраженную отрицательную корреляцию (-0.95, p < 0.05, n=7) между эмпатическим и антагонистическим мышлением, что указывает на компромисс между этими когнитивными осями. Игроки, демонстрирующие склонность к эмпатии, как правило, проявляли меньшую склонность к антагонистическим стратегиям, и наоборот. Определенный коэффициент сжатия для данной игры составил 0.81, что свидетельствует о неоднородности скорости обучения между различными моделями игроков — некоторые игроки адаптировались к стратегии быстрее, чем другие, что может быть связано с индивидуальными особенностями когнитивных процессов и стилями принятия решений.

Траектории сходимости для каждой модели в Strategic Claim демонстрируют различные скорости обучения, при этом коэффициент сжатия [latex]ho[/latex] оценивается посредством экспоненциальной аппроксимации частоты блефа, обусловленной скоростью не более [latex]3v[/latex], что подтверждается наложенными экспоненциальными кривыми. — Траектории сходимости для каждой модели в Strategic Claim демонстрируют различные скорости обучения, при этом коэффициент сжатия $ho$ оценивается посредством экспоненциальной аппроксимации частоты блефа, обусловленной скоростью не более $3v$ , что подтверждается наложенными экспоненциальными кривыми.

Исследование представляет собой не просто оценку возможностей больших языковых моделей, но и попытку понять принципы, лежащие в основе стратегического мышления. Авторы, словно архитекторы, строят сложную систему оценки GToM-Bench, основанную на равновесии квантовых ответов. Этот подход позволяет измерить не только способность модели к моделированию убеждений других агентов, но и степень её рациональности в условиях ограниченной информации. Барбара Лисков однажды заметила: «Проектирование должно быть основано на абстракциях, а не на конкретных реализациях». Эта фраза прекрасно отражает суть предложенной методологии: GToM-Bench — это не набор тестов, а абстрактная рамка для оценки способности моделей к стратегическому взаимодействию, позволяющая предсказать их поведение в различных сценариях.

Что дальше?

Предложенный подход, оценивающий «теорию разума» через призму квантового равновесия, не столько решает проблему, сколько обнажает её истинный масштаб. Каждая новая метрика, обещающая измерение «разумности» машин, неизбежно становится очередным пророчеством о будущей точке отказа. Ведь модели, успешно проходящие текущие тесты, лишь оттачивают способность к симуляции, а не к истинному пониманию. Это подобно строительству сложной системы кэширования, чтобы временно скрыть хаос, который рано или поздно прорвётся.

Более глубокое исследование должно быть направлено не на создание всё более изощрённых тестов, а на понимание границ применимости таких моделей. Вместо стремления к абсолютному измерению «разумности» следует сосредоточиться на выявлении конкретных сценариев, где симуляция приводит к катастрофическим последствиям. Потому что каждая архитектура, претендующая на «теорию разума», рано или поздно потребует жертвоприношений в области надежности и предсказуемости.

В конечном счете, оценка стратегического мышления машин — это не столько инженерная задача, сколько философский вызов. Это попытка построить модель разума, который по своей природе не поддается полному моделированию. И, возможно, истинное прозрение заключается в том, чтобы признать, что порядок — это лишь временный кэш между сбоями, а любая система, претендующая на «разумность», обречена на эволюцию в сторону непредсказуемости.

Оригинал статьи: https://arxiv.org/pdf/2603.10029.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-13 00:55