Обучение языковых моделей: новый взгляд на смешение данных
Исследование предлагает инновационный подход к обучению больших языковых моделей, динамически подстраивая смешение данных для достижения лучшего баланса и производительности.
Наука
Децентрализованная оптимизация: новый подход к борьбе со смещенными градиентами
Исследование предлагает алгоритм Biased-DMT, позволяющий повысить эффективность децентрализованной оптимизации в условиях неоднородности данных и неточных оценок градиентов.
Тонкое искусство подстройки: как обучение с учителем искажает и восстанавливает поведение больших языковых моделей
Новое исследование показывает, как методы обучения с учителем могут намеренно вывести большие языковые модели из строя и вернуть их к безопасной работе, открывая новые возможности для как атак, так и защиты.
Оптимизация экспертов: как повысить эффективность моделей Mixture-of-Experts
![В рамках предложенной архитектуры Alloc-MoE, система сначала оценивает чувствительность каждого слоя к активации с помощью динамического программирования для оптимального распределения бюджета [latex]\mathbf{K}^{\*}[/latex] при заданном глобальном бюджете [latex]B[/latex], а затем адаптивно перераспределяет активации экспертов между токенами, максимизируя общий вес маршрутизации при соблюдении установленных ограничений по каждому слою.](https://arxiv.org/html/2604.08133v1/x5.png)
Новый подход позволяет динамически распределять нагрузку между экспертами в моделях Mixture-of-Experts, сохраняя высокую производительность при ограниченных вычислительных ресурсах.
Пространственные данные: новый подход к оценке сложных связей
В статье представлен эффективный метод регуляризованной оценки ковариационных структур в многомерных пространственных данных, позволяющий справляться с задачами высокой размерности.