Обучение языковых моделей: фокус на главном

от

Автор: Денис Аветисян

Новый подход к дообучению больших языковых моделей позволяет повысить точность ответов, не жертвуя способностью к рассуждениям.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал
На графике, сравнивающем потери на уровне ответов для модели Qwen2.5-7B при решении задач GSM8K, продемонстрировано, что стратегии обучения, включающие структурированные теги и оптимизацию, ориентированную на ключевые слова (SFT-Tag и Key-Tag), способствуют более быстрой сходимости и повышению точности ответов по сравнению с базовым подходом SFT.
На графике, сравнивающем потери на уровне ответов для модели Qwen2.5-7B при решении задач GSM8K, продемонстрировано, что стратегии обучения, включающие структурированные теги и оптимизацию, ориентированную на ключевые слова (SFT-Tag и Key-Tag), способствуют более быстрой сходимости и повышению точности ответов по сравнению с базовым подходом SFT.

Предложена двухэтапная методика дообучения, SFTKey-Tag, выделяющая ключевые токены ответа для улучшения производительности в различных бенчмарках.

Несмотря на значительный прогресс в обучении больших языковых моделей (LLM), стандартная процедура контролируемой тонкой настройки (SFT) часто упускает из виду важность ключевых токенов, определяющих правильность ответа. В статье ‘Rethinking Supervised Fine-Tuning: Emphasizing Key Answer Tokens for Improved LLM Accuracy’ предложен метод SFTKey — двухэтапная схема обучения, фокусирующаяся на оптимизации финальных токенов ответа, при сохранении способности к рассуждению. Эксперименты показывают, что SFTKey обеспечивает прирост точности более чем на 5% по сравнению с традиционной SFT, не жертвуя корректностью формата ответов. Возможно ли дальнейшее повышение эффективности LLM за счет более тонкой балансировки между обучением рассуждениям и оптимизацией ключевых токенов?

Фундамент: Большие языковые модели и контролируемая тонкая настройка

Современные большие языковые модели (БЯМ) демонстрируют впечатляющие возможности в решении широкого спектра задач обработки естественного языка. Этот прогресс обусловлен двумя ключевыми факторами: колоссальным масштабом моделей — миллиардами параметров, позволяющих захватывать сложные лингвистические закономерности, — и архитектурой Transformer. Transformer, в отличие от предшествующих рекуррентных сетей, эффективно обрабатывает последовательности данных параллельно, что значительно ускоряет обучение и позволяет учитывать контекст на больших расстояниях. Благодаря этому, БЯМ способны не только генерировать связные и грамматически правильные тексты, но и выполнять задачи, требующие понимания смысла, такие как машинный перевод, суммаризация текста и ответы на вопросы, приближаясь к человеческому уровню понимания языка.

Процесс контролируемой тонкой настройки (SFT) играет ключевую роль в адаптации предварительно обученных больших языковых моделей (LLM) для решения конкретных задач. Изначально обученные на огромных объемах текстовых данных, LLM обладают широким спектром знаний, однако для эффективной работы в узкоспециализированных областях требуется дополнительная настройка. SFT предполагает обучение модели на размеченном наборе данных, содержащем примеры желаемого поведения и ответов. Благодаря этому, модель не просто генерирует текст, но и учится следовать инструкциям, понимать контекст запроса и выдавать релевантные и точные результаты. Именно SFT позволяет значительно повысить производительность LLM в задачах, таких как машинный перевод, ответы на вопросы, суммаризация текста и генерация контента, делая их пригодными для практического применения в различных сферах.

Несмотря на впечатляющие возможности больших языковых моделей, достижение надежных способностей к рассуждению остается сложной задачей. Исследования показывают, что модели часто испытывают трудности при решении комплексных задач, требующих многоступенчатого логического вывода. Это проявляется в неспособности последовательно применять знания и делать обоснованные заключения, особенно в ситуациях, где требуется анализ информации из разных источников или учет множества факторов. Проблемы возникают не только в абстрактных рассуждениях, но и в практических задачах, требующих планирования и прогнозирования последствий действий. Таким образом, развитие методов, позволяющих моделям эффективно выполнять многоступенчатый вывод и демонстрировать более глубокое понимание контекста, является ключевым направлением исследований в области искусственного интеллекта.

Сравнение четырех стратегий обучения - SFT, SFT-Tag, Key-Tag и SFTKey-Tag - показало, что комбинирование выделения ответов специальными тегами (SFT-Tag) с обучением исключительно на ключевых ответах (Key-Tag) в двухэтапном подходе (SFTKey-Tag) позволяет повысить эффективность обучения.
Сравнение четырех стратегий обучения — SFT, SFT-Tag, Key-Tag и SFTKey-Tag — показало, что комбинирование выделения ответов специальными тегами (SFT-Tag) с обучением исключительно на ключевых ответах (Key-Tag) в двухэтапном подходе (SFTKey-Tag) позволяет повысить эффективность обучения.

Усиление фокусировки ответа: Представляем SFTKey и Key-Tag

Метод SFTKey представляет собой усовершенствование процесса тонкой настройки (fine-tuning), направленное на повышение приоритета генерации корректных ответов за счет акцентирования внимания на токенах, составляющих сам ответ, в процессе обучения. Это достигается путем модификации стандартной процедуры SFT, когда веса, присваиваемые токенам ответа, увеличиваются по сравнению с весами контекстуальных токенов. Повышение значимости токенов ответа позволяет модели более эффективно учиться выделять и воспроизводить правильную информацию, улучшая точность генерируемых ответов без ущерба для способности к логическому рассуждению и пониманию контекста.

Метод SFTKey реализуется путем расширения стандартной процедуры тонкой настройки (SFT) с использованием двухэтапной схемы. На первом этапе модель обучается на полном наборе данных, сохраняя способность к контекстному рассуждению. На втором этапе применяется взвешивание, которое увеличивает значимость токенов, составляющих ответ, во время обратного распространения ошибки. Это достигается путем применения повышенного веса к потерям, связанным с токенами ответа, что заставляет модель уделять больше внимания генерации корректных ответов, не ухудшая при этом ее способность к логическому выводу и пониманию контекста.

Метод Key-Tag представляет собой дальнейшее развитие подхода SFTKey, концентрируясь исключительно на токенах, формирующих ответ. В отличие от SFTKey, который учитывает как контекст рассуждений, так и ответ, Key-Tag обеспечивает более прямой сигнал для генерации корректного вывода, обучая модель выделять и воспроизводить только значимые токены ответа. Это достигается путем специальной обработки и взвешивания исключительно токенов, составляющих финальный ответ, в процессе обучения, что позволяет модели более эффективно учиться предоставлять точные и релевантные ответы.

Для обучения модели различению процесса рассуждения и окончательного ответа используется система специальных токенов, таких как `` и ``. Токен `` служит для обозначения промежуточных шагов рассуждения, ведущих к решению, в то время как токен `` маркирует непосредственно сам ответ. Использование этих токенов позволяет модели явно разделить эти два компонента, что способствует более точному генерированию ответов и улучшает интерпретируемость процесса принятия решений. В процессе обучения модель учится ассоциировать определенные последовательности токенов `` с конкретными этапами рассуждений, а токен `` — с конечным результатом.

Сравнительный анализ точности моделей Key-Tag и SFT-Tag на различных наборах данных показал, что распределение различий в точности варьируется между моделями, при этом средняя точность по всем моделям демонстрирует определенную стабильность.
Сравнительный анализ точности моделей Key-Tag и SFT-Tag на различных наборах данных показал, что распределение различий в точности варьируется между моделями, при этом средняя точность по всем моделям демонстрирует определенную стабильность.

Валидация и производительность на сложных эталонных показателях

Проведено всестороннее тестирование SFTKey с использованием моделей Qwen2.5-3B, Qwen2.5-7B, Qwen3-8B-Base, SmolLM3-3B-Base и Qwen2.5-1.5B для оценки его эффективности в различных задачах. Результаты показывают, что SFTKey демонстрирует стабильную работоспособность и улучшенные показатели на широком спектре задач, включая математические рассуждения и понимание научных данных, что подтверждается результатами тестирования на различных наборах данных.

Оценка эффективности проводилась на специализированных наборах данных, включающих GSM8K, предназначенный для проверки навыков решения математических задач; OpenR1-Math-220K, содержащий 220 тысяч математических задач различной сложности; OpenBookQA, ориентированный на оценку понимания научных концепций и здравого смысла; и CoT-Collection, требующий от моделей логического мышления и применения цепочки рассуждений (Chain-of-Thought) для решения задач. Эти наборы данных специально разработаны для выявления слабых мест в моделях, требующих глубокого понимания математики и естественных наук.

В ходе экспериментов стратегия SFTKey-Tag демонстрирует стабильное превосходство над стандартным SFT. На различных моделях, включая Qwen2.5-3B, Qwen2.5-7B, Qwen3-8B-Base, SmolLM3-3B-Base и Qwen2.5-1.5B, и на широком спектре бенчмарков, таких как GSM8K, OpenR1-Math-220K, OpenBookQA и CoT-Collection, наблюдается приблизительное увеличение точности на 5%. Данный результат указывает на эффективность предложенного подхода к обучению, позволяющего улучшить качество генерации ответов и повысить надежность моделей в задачах, требующих математического мышления и понимания научных концепций.

В процессе обучения моделей использовалась функция потерь Negative Log-Likelihood (NLL), что позволило существенно повысить точность предсказаний и оптимизировать генерацию ответов. NLL измеряет разницу между предсказанным распределением вероятностей и истинным распределением, эффективно штрафуя неверные прогнозы. Минимизация NLL приводит к более калиброванным вероятностям и, как следствие, к улучшению качества генерируемого текста и повышению общей производительности модели на задачах, требующих точного вывода и рассуждений. Применение данной функции потерь является ключевым фактором в достижении стабильных результатов и повышении надежности модели.

Перспективы развития: Масштабирование рассуждений и расширение влияния

Дальнейшие исследования направлены на масштабирование представленных методов для применения к ещё более крупным языковым моделям. Увеличение размера модели, в сочетании с усовершенствованными техниками обучения, потенциально способно существенно расширить возможности в решении сложных задач, требующих глубокого логического анализа и абстрактного мышления. Ожидается, что модели, обученные на больших объемах данных и обладающие большей вычислительной мощностью, смогут не только генерировать более связные и правдоподобные тексты, но и демонстрировать более высокий уровень понимания и способности к решению проблем, приближаясь к человеческому уровню когнитивных способностей. Такое масштабирование открывает перспективы для создания интеллектуальных систем, способных к самостоятельному обучению, адаптации и решению задач в различных областях науки и техники.

Исследования показывают, что комбинирование передовых методов тонкой настройки, в частности, SFT-GO, с существующими подходами может привести к значительному повышению эффективности языковых моделей. SFT-GO, оптимизируя процесс обучения с подкреплением на основе человеческих предпочтений, позволяет более точно настроить модель на решение сложных задач. Сочетание этой технологии с другими методами тонкой настройки открывает возможности для создания синергетического эффекта, когда преимущества каждого подхода усиливают друг друга. Такой подход позволит не только повысить точность и надежность генерируемых ответов, но и расширить спектр решаемых задач, приближая языковые модели к уровню человеческого интеллекта в различных областях знаний.

Точность генерации ответов открывает широкие перспективы для применения в различных областях. В сфере образования, это может привести к созданию персонализированных систем обучения, способных адаптироваться к индивидуальным потребностям каждого ученика и предоставлять мгновенную обратную связь. В науке, возможность автоматизированного анализа данных и генерации гипотез ускорит процесс научных открытий и позволит исследователям сосредоточиться на наиболее перспективных направлениях. Автоматизированная помощь, основанная на точном понимании и генерации ответов, способна значительно облегчить повседневные задачи, предоставляя пользователям доступ к информации и решениям в режиме реального времени. Подобные технологии, обладая потенциалом для глубокого влияния на различные аспекты жизни, требуют дальнейшей разработки и внедрения для максимального раскрытия их возможностей.

Непрерывное совершенствование технологий, лежащих в основе больших языковых моделей (LLM), сулит раскрытие их полного потенциала как мощных инструментов для приобретения знаний и принятия обоснованных решений. Исследования в этой области направлены на создание систем, способных не просто генерировать текст, но и анализировать информацию, выявлять закономерности и предлагать оптимальные стратегии в различных областях — от научных исследований до повседневной жизни. Ожидается, что дальнейшее развитие LLM позволит автоматизировать сложные когнитивные процессы, значительно расширив возможности человека в решении проблем и открывая новые горизонты для инноваций. По мере увеличения вычислительных мощностей и усовершенствования алгоритмов, языковые модели станут незаменимыми помощниками в обработке огромных объемов данных, ускорении научных открытий и повышении эффективности принятия решений в самых разных сферах деятельности.

Исследование демонстрирует стремление к оптимизации процесса обучения больших языковых моделей, выделяя ключевые токены ответов как приоритетную область для улучшения точности. Подход SFTKey-Tag, с акцентом на финальные токены, перекликается с принципом элегантности, ведь простота фокусировки на наиболее значимом позволяет достичь существенного прогресса. Как однажды заметил Г.Х. Харди: «Математика — это наука о том, что можно доказать». Аналогично, эффективность SFTKey-Tag подтверждается эмпирически, демонстрируя, что акцент на ключевых элементах — верный путь к достижению желаемого результата, а излишняя сложность лишь усложняет понимание и масштабирование системы.

Куда дальше?

Представленная методика, акцентируя внимание на ключевых токенах ответа, демонстрирует, что даже в сложных системах, вроде больших языковых моделей, простота может стать ключом к повышению эффективности. Однако, подобное выделение финальной части ответа неизбежно наводит на мысль о скрытой цене: не рискует ли подобный подход превратить модель в эхо-камеру, повторяющую заученные шаблоны, вместо настоящего понимания? Каждая новая зависимость — это скрытая цена свободы, и необходимо тщательно исследовать, не ослабляет ли акцент на финальных токенах способность модели к генерации действительно новых, творческих решений.

В дальнейшем, представляется важным исследовать, как предложенный двухэтапный подход к тонкой настройке взаимодействует с различными архитектурами моделей и размерами данных. Устойчивость к «забыванию» ранее приобретенных знаний, особенно в условиях ограниченных ресурсов, остается открытым вопросом. Более того, необходимо разработать метрики, способные оценить не только точность ответа, но и качество рассуждений, лежащих в его основе — ведь элегантный дизайн рождается из простоты и ясности, но ясность без глубины — лишь иллюзия.

В конечном счете, будущее исследований в данной области, вероятно, лежит в поиске баланса между акцентом на конкретных элементах ответа и сохранением способности модели к комплексному, контекстуальному мышлению. Ведь структура определяет поведение, и лишь понимание целостной системы позволит создать действительно интеллектуального помощника.

Оригинал статьи: https://arxiv.org/pdf/2512.21017.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-28 06:15