Размер имеет значение: как масштаб влияет на эффективность обучения языковых моделей

Автор: Денис Аветисян

Новое исследование показывает, что размер модели — ключевой фактор, определяющий качество обучения с подкреплением, затмевая различия между используемыми алгоритмами.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

При обучении моделей объемом 0.5 миллиарда параметров, метод DPO демонстрирует сходимость к более низким значениям функции потерь, в то время как SimPO поддерживает более высокие и зашумленные потери, проявляющиеся в плоском графике потерь на валидационном наборе данных, что указывает на различия в стабильности и эффективности обучения.

Контролируемое исследование различных алгоритмов постобработки показало, что масштаб модели оказывает доминирующее влияние на производительность, приводя к инверсии рейтингов на разных масштабах.

Несмотря на обилие алгоритмов постобработки больших языковых моделей, практикам зачастую не хватает контролируемых сравнений для обоснованного выбора. В работе ‘Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions’ представлен OXRL — унифицированный фреймворк, позволяющий провести масштабное сравнение 51 алгоритма постобработки при идентичной инфраструктуре. Ключевой вывод исследования заключается в том, что масштаб модели является доминирующим фактором, определяющим производительность, существенно превосходя влияние различных функций потерь и онлайн/оффлайн подходов ( $~50~\text{pp}$ против $~1-{10}~\text{pp}$ ). Не является ли это сигналом к переосмыслению подходов к оценке и разработке алгоритмов постобработки, с акцентом на многомасштабные бенчмарки и адаптацию к конкретному размеру модели?

Пророчество о Выравнивании: Мост между LLM и Человеческими Целями

Современные большие языковые модели (БЯМ) демонстрируют впечатляющие возможности в генерации текста и понимании языка, однако часто оказываются неспособными полностью соответствовать человеческим предпочтениям и целям, что существенно ограничивает их практическое применение. Несмотря на способность генерировать грамматически верный и контекстуально релевантный текст, БЯМ нередко выдают результаты, которые могут быть нелогичными, предвзятыми или просто не соответствовать ожиданиям пользователя. Это несоответствие связано с тем, что обучение моделей происходит на огромных объемах данных, не всегда отражающих нюансы человеческих ценностей и намерений, а также с тем, что оптимизация происходит по метрикам, не всегда коррелирующим с качеством, воспринимаемым человеком. В результате, даже самые мощные БЯМ требуют дополнительных механизмов для согласования их поведения с человеческими ожиданиями, что является ключевой задачей в области искусственного интеллекта.

Традиционные методы контролируемого обучения зачастую оказываются неспособны уловить тонкости и нюансы человеческих предпочтений и оценок. Это связано с тем, что человеческая обратная связь редко бывает представлена в виде четких, однозначных меток, необходимых для обучения стандартных моделей. Вместо этого, люди склонны выражать свои суждения в более сложных и субъективных формах, таких как ранжирование вариантов или предоставление оценок по шкале. В связи с этим, исследователи все чаще обращаются к методам обучения с подкреплением и оптимизации предпочтений, позволяющим модели обучаться на основе неявной обратной связи и постепенно адаптироваться к сложным и изменчивым критериям, характерным для человеческих оценок. Эти подходы позволяют учитывать более широкий спектр человеческих суждений и создавать модели, более точно соответствующие намерениям и ожиданиям пользователей.

Современные большие языковые модели (LLM) демонстрируют впечатляющие возможности, однако их дальнейшее совершенствование требует особого подхода к обучению. Исследования показывают, что увеличение масштаба модели — то есть количества параметров — оказывает значительно большее влияние на производительность (около 50 процентных пунктов), чем модификация функций потерь (около 1 процентного пункта). Следовательно, при разработке методов пост-обучения, направленных на улучшение соответствия модели человеческим предпочтениям, необходимо уделять первостепенное внимание вычислительной эффективности. Иными словами, оптимизация алгоритмов и использование параллельных вычислений становятся критически важными, чтобы добиться значимых улучшений, не требуя при этом непомерных вычислительных ресурсов. Этот баланс между производительностью и эффективностью представляет собой ключевую задачу в области развития LLM.

Результаты тестирования на GSM8K показывают, что при масштабировании моделей наблюдается инверсия ранжирования (особенно ярко выраженная от 3B до 7B), при этом SGRPO демонстрирует наивысшую точность (58.0%) на модели размером 1.5B, а разброс данных при 3B для DPO (σ=2.01pp) указывает на реальное изменение результатов при разных начальных условиях; модели от 0.5B до 3B обучались методом полного fine-tuning, а 7B - с использованием LoRA. — Результаты тестирования на GSM8K показывают, что при масштабировании моделей наблюдается инверсия ранжирования (особенно ярко выраженная от 3B до 7B), при этом SGRPO демонстрирует наивысшую точность (58.0%) на модели размером 1.5B, а разброс данных при 3B для DPO (σ=2.01pp) указывает на реальное изменение результатов при разных начальных условиях; модели от 0.5B до 3B обучались методом полного fine-tuning, а 7B — с использованием LoRA.

Спектр Постобучения: Онлайн RL и Оффлайн Оптимизация Предпочтений

Методы онлайн-обучения с подкреплением (RL), такие как PPO и GRPO, предоставляют высокую гибкость в процессе обучения, однако характеризуются значительными вычислительными затратами. Это обусловлено необходимостью непрерывного взаимодействия агента с окружающей средой для сбора данных и постоянного моделирования функции вознаграждения. Каждое взаимодействие требует вычислений для определения оптимальных действий и обновления модели, а процесс моделирования вознаграждения сам по себе может быть сложным и ресурсоемким, особенно в задачах с высокой размерностью пространства состояний или действий. Таким образом, несмотря на свою гибкость, онлайн RL требует значительных вычислительных ресурсов и времени для достижения оптимальной производительности.

Методы оптимизации на основе предпочтений, такие как DPO, обходят этап моделирования функции вознаграждения, что значительно упрощает процесс обучения. Вместо этого, DPO непосредственно оптимизирует политику, используя данные о предпочтениях между различными траекториями. Хотя это позволяет избежать сложностей, связанных с разработкой и отладкой функции вознаграждения, это также может привести к потере контроля над детальными аспектами поведения модели. Отсутствие явной функции вознаграждения ограничивает возможность целенаправленной модификации конкретных аспектов поведения, поскольку обучение основано исключительно на ранжировании предпочтений, а не на количественной оценке желаемого поведения.

Выбор между онлайн-обучением с подкреплением (RL) и оптимизацией предпочтений в автономном режиме определяется спецификой задачи и доступными ресурсами, поскольку каждый подход имеет свои компромиссы. Онлайн-методы, такие как PPO и GRPO, требуют значительных вычислительных затрат из-за необходимости постоянного взаимодействия со средой и моделирования вознаграждения. Оптимизация предпочтений, в свою очередь, упрощает процесс, исключая этап моделирования вознаграждения, однако может приводить к снижению точности управления. Важно отметить, что анализ 20 вариантов алгоритма DPO не выявил статистически значимых улучшений по сравнению с базовым вариантом DPO после применения поправки Бонферрони, что указывает на ограниченность потенциала модификаций данного алгоритма в текущей реализации.

Анализ точности GSM8K для 20 вариантов DPO с параметрами 1.5B (в общей сложности 100 прогонов) показал, что SimPO является единственным вариантом, статистически отличающимся от базового DPO (p<0.0026 после коррекции Бонферрони), при этом демонстрируя худшие результаты.

Инновации в Постобучении: Расширение Ландшафта Вариантов GRPO и DPO

Различные варианты алгоритма GRPO, такие как SGRPO, GSPO и CISPO, исследуют модификации функции потерь и стратегии оптимизации для повышения производительности и стабильности обучения. SGRPO, в частности, использует стохастический подход к вычислению градиентов, что позволяет снизить вычислительные затраты и улучшить обобщающую способность модели. GSPO (Gradient Scaling Preference Optimization) применяет масштабирование градиентов для предотвращения нестабильности обучения, особенно при использовании больших пакетов данных. CISPO (Constrained Importance Sampling Preference Optimization) использует взвешенную выборку для более эффективного использования данных предпочтений, что приводит к улучшению результатов при ограниченном объеме обучающей выборки. Все эти подходы направлены на преодоление ограничений стандартного GRPO и повышение эффективности процесса пост-тренировки.

Метод DPO (Direct Preference Optimization) был расширен за счет таких подходов, как SimPO и KTO, направленных на повышение устойчивости и обобщающей способности модели. SimPO (Simple Preference Optimization) упрощает функцию потерь DPO, снижая вычислительную сложность и улучшая стабильность обучения. KTO (Kernelized Trajectory Optimization) использует ядровые методы для более эффективного моделирования предпочтений, что позволяет добиться лучшей производительности на невидимых данных. Модификации функции потерь в SimPO и KTO позволяют более эффективно использовать данные о предпочтениях, что приводит к улучшению обобщающей способности модели и снижению риска переобучения.

Метод ORPO (Online Reinforcement learning with Preference Optimization) представляет собой гибридный подход к постобучению языковых моделей, объединяющий преимущества онлайн-обучения с подкреплением и оптимизации на основе предпочтений. В отличие от чисто RL-подходов, требующих значительного времени на взаимодействие со средой, и чисто оффлайн-методов, зависящих от качества данных предпочтений, ORPO использует онлайн-обучение для адаптации модели в реальном времени, опираясь на сигналы предпочтений для формирования функции вознаграждения. Это позволяет модели более эффективно обучаться и достигать оптимальных результатов, сочетая скорость адаптации онлайн-RL с точностью и стабильностью оптимизации предпочтений. Такой подход позволяет использовать преимущества обоих методов, что может привести к улучшению производительности и обобщающей способности модели.

Наблюдается тенденция к усложнению и адаптации методов пост-тренировки языковых моделей. В частности, вариант SGRPO демонстрирует повышенную точность, достигая 58.0% ± 0.57 при размере модели 1.5B. Это превосходит показатели Supervised Fine-Tuning (SFT) на 3.6 процентных пункта и Direct Preference Optimization (DPO) на 8.9 процентных пункта, что указывает на эффективность применения усовершенствованных алгоритмов оптимизации и функций потерь для улучшения производительности.

При обучении модели объемом 0.5B, пять из шести алгоритмов демонстрируют идентичную точность на наборе данных GSM8K, в то время как алгоритм IPO показывает небольшое отклонение ([latex]\sigma = 0.27[/latex]). — При обучении модели объемом 0.5B, пять из шести алгоритмов демонстрируют идентичную точность на наборе данных GSM8K, в то время как алгоритм IPO показывает небольшое отклонение ( $\sigma = 0.27$ ).

Оценка Производительности: Валидация Методов на GSM8K и За Его Пределами

Набор данных GSM8K является основным инструментом для оценки способностей больших языковых моделей (LLM) к математическому рассуждению после их дообучения. Этот бенчмарк состоит из 8000 задач, требующих решения математических задач, сформулированных на естественном языке. Каждая задача представляет собой текстовое описание проблемы, которую необходимо решить, и требует от модели не только понимания задачи, но и способности выполнять необходимые математические операции для получения правильного ответа. GSM8K широко используется для сравнения различных LLM и отслеживания прогресса в области математического рассуждения, позволяя исследователям количественно оценить способность моделей решать задачи, требующие логического мышления и математических навыков.

В дополнение к набору данных GSM8K, для всесторонней оценки способностей моделей к решению математических задач используются и другие эталонные наборы, такие как MATH. MATH содержит более широкий спектр математических проблем, включая задачи из алгебры, геометрии, тригонометрии, исчисления и вероятности, а также требует более сложных рассуждений и многоэтапных вычислений. В отличие от GSM8K, ориентированного на текстовые задачи, MATH требует от моделей не только понимания задачи, но и способности выполнять символьные манипуляции и применять математические формулы, что позволяет оценить более глубокое понимание математических концепций и навыки решения проблем. $\in t_{a}^{b} f(x) dx$ — пример математической задачи, часто встречающейся в наборе данных MATH.

Стандартизированные протоколы оценки, такие как oxRL, играют ключевую роль в обеспечении сопоставимости результатов, полученных при тестировании различных моделей. oxRL определяет четкий набор правил и процедур для оценки математических способностей больших языковых моделей (LLM), включая формат входных данных, критерии оценки решений и метрики производительности. Это позволяет исключить влияние субъективных факторов и различий в методологии, обеспечивая объективное сравнение эффективности различных подходов и алгоритмов. Использование стандартизированных протоколов необходимо для валидации новых методов и отслеживания прогресса в области математического рассуждения LLM.

Для повышения эффективности обучения и оценки больших языковых моделей (LLM) применяются такие методы, как DeepSpeedZeRO3 и vLLM. В частности, модель SimPO с 7 миллиардами параметров продемонстрировала точность в 85.8% на бенчмарке GSM8K, что является значительным улучшением по сравнению с базовыми моделями и другими методами аналогичного масштаба. Использование DeepSpeedZeRO3 позволило оптимизировать распределенное обучение, снижая потребление памяти, а vLLM обеспечил ускорение процесса инференса, что в совокупности позволило достичь высокой производительности при относительно небольшом размере модели.

Будущие Направления: Масштабирование Постобучения для Все Более Крупных Моделей

По мере непрерывного увеличения масштаба больших языковых моделей (LLM), например, от 0.5 миллиарда до 1.5, 3 и даже 7 миллиардов параметров, вычислительные затраты на пост-тренировку экспоненциально возрастают. Этот процесс, необходимый для адаптации модели к конкретным задачам и данным, становится всё более ресурсоёмким, требуя значительных объемов памяти, вычислительной мощности и времени. Растущий размер моделей напрямую влияет на сложность обновления параметров и требует разработки новых, более эффективных алгоритмов и инфраструктуры для обеспечения возможности их дальнейшего масштабирования и практического применения. Без оптимизации процесса пост-тренировки, дальнейший прогресс в области LLM может столкнуться со значительными ограничениями, связанными с доступностью ресурсов.

Методы эффективной тонкой настройки параметров, такие как LoRA (Low-Rank Adaptation), представляют собой перспективное решение для снижения вычислительных затрат при обучении больших языковых моделей, не жертвуя при этом качеством их работы. Вместо обновления всех параметров модели, LoRA фокусируется на обучении небольшого количества низкоранговых матриц, что существенно уменьшает объем необходимых вычислений и потребление памяти. Этот подход позволяет адаптировать предварительно обученные модели к новым задачам и данным гораздо быстрее и экономичнее, открывая возможности для масштабирования обучения даже на ограниченных аппаратных ресурсах. Благодаря LoRA, исследователи и разработчики могут более эффективно использовать существующие модели, избегая необходимости полной переподготовки и сохраняя при этом высокую производительность.

Для успешного масштабирования постобучения всё более крупных языковых моделей необходимы инновационные алгоритмы оптимизации и стратегии распределенного обучения. По мере увеличения числа параметров моделей, традиционные методы становятся вычислительно неподъемными, требуя новых подходов к эффективному обновлению весов. Исследования в области адаптивных алгоритмов, таких как варианты Adam и SGD, а также разработка техник, позволяющих распараллеливать процесс обучения на множестве устройств, имеют решающее значение. Особое внимание уделяется методам, минимизирующим коммуникационные издержки между узлами и обеспечивающим эффективное использование памяти. Дальнейшее совершенствование этих технологий позволит преодолеть текущие ограничения и открыть путь к созданию еще более мощных и эффективных языковых моделей.

В конечном счете, усилия в области разработки больших языковых моделей (LLM) направлены на создание не просто мощных инструментов, но и систем, соответствующих человеческим ценностям и способных решать сложные задачи реального мира. Исследования показывают, что именно масштабирование — увеличение количества параметров модели — оказывает наиболее значительное влияние на прирост производительности, обеспечивая примерно 50 процентных пунктов улучшения. В то время как выбор парадигмы обучения дает около 10 процентных пунктов прироста, а оптимизация функции потерь — всего около 1 процента, именно экспоненциальный рост масштаба представляется ключевым фактором для достижения качественно нового уровня возможностей LLM. Это подчеркивает важность дальнейших исследований в области эффективного масштабирования моделей, а также разработки методов, обеспечивающих их надежность и соответствие этическим нормам.

Исследование демонстрирует, что масштаб модели является определяющим фактором в производительности больших языковых моделей после дополнительного обучения. Этот аспект, как ни странно, превосходит влияние различных функций потерь, используемых в процессе оптимизации. Наблюдаемые инверсии в рейтингах моделей разного масштаба подчеркивают потребность в строгих, многомасштабных оценочных бенчмарках, способных выявить истинные различия. Как однажды заметил Брайан Керниган: «Отладка — это удаление ошибок; программирование — это внесение их». Эта фраза отражает суть системного подхода, где неизбежность сбоев является неотъемлемой частью эволюции и совершенствования, а не признаком несостоятельности. Система, стремящаяся к идеалу, лишается гибкости и способности адаптироваться к меняющимся условиям.

Что Дальше?

Исследование, представленное в данной работе, скорее подтверждает старую истину о масштабе, чем открывает новые пути. Утверждения о превосходстве конкретных алгоритмов пост-обучения оказываются призрачными, когда их затмевает грубая сила увеличения размера модели. Система не ломается — она эволюционирует, демонстрируя, что архитектурные изыски — лишь временные приспособления к неизбежному доминированию вычислительных ресурсов. Долгосрочная стабильность метрик, столь желанная, является признаком скрытой катастрофы — иллюзией контроля над сложной системой.

Основная проблема, однако, заключается не в несостоятельности алгоритмов, а в неадекватности инструментов оценки. Используемые бенчмарки, даже в своей многомасштабной версии, являются лишь статичными снимками, не способными уловить динамику эволюции модели. Истинный тест — не соответствие формату, а способность системы неожиданно адаптироваться к новым, непредсказуемым условиям. Необходимо создавать оценочные среды, имитирующие хаотичную реальность, а не искусственные, контролируемые сценарии.

Будущее исследований лежит в отказе от поиска «лучшего» алгоритма и переходе к пониманию закономерностей масштабирования. Важно исследовать не только количественные показатели, но и качественные изменения в поведении моделей при увеличении размера. В конечном итоге, система не строится — она вырастает, и задача исследователя — не управлять ею, а наблюдать за ее развитием, стараясь уловить закономерности в кажущемся хаосе.

Оригинал статьи: https://arxiv.org/pdf/2603.19335.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-23 18:22