Обучение языковых моделей: новый подход к управлению градиентами
![Предлагаемый трехэтапный фреймворк обучения EG-SPO сначала использует демонстрации экспертов для предварительной настройки политики с помощью чистого SFT-подхода, затем генерирует траектории модели, вычисляя энтропию для каждого токена, и, наконец, направляет токены с высокой энтропией на полное обновление PPO для поощрения исследования, а токены с низкой энтропией - на PPO с φ-атенюацией для снижения дисперсии и сохранения знаний, при этом обе ветви сохраняют преимущество [latex]A_{t}[/latex] для обеспечения градиентов, учитывающих преимущество и избегающих усиления уверенных ошибок.](https://arxiv.org/html/2602.03309v1/figures/fig1_eg-spo.png)
В статье представлен инновационный метод гибридного обучения, позволяющий повысить стабильность и эффективность больших языковых моделей.
Наука
Интеллектуальный поиск материалов: новый подход к адаптивному моделированию
В статье представлен инновационный метод, объединяющий различные модели для эффективного исследования многомерного пространства материалов и ускорения процесса разработки.
Оптимизация сложных моделей: новый алгоритм для минимизации риска
Исследователи представили эффективный метод, позволяющий улучшить обучение моделей машинного обучения, работающих со сложными вероятностными зависимостями.
Управление рисками в обучении с подкреплением: новый подход к CVaR
В статье представлена инновационная методика перераспределения наград для обучения с подкреплением, позволяющая эффективно управлять рисками и обеспечивать стабильность в условиях неопределенности.
Финансовый интеллект машин: новый тест на прочность
Исследователи представили комплексный набор данных FinMTM для оценки способности моделей понимать финансовую информацию и принимать решения в сложных ситуациях.