Управляя риском: Новый подход к обучению больших языковых моделей с подкреплением

Исследователи предлагают инновационный метод, позволяющий повысить стабильность и эффективность обучения языковых моделей с подкреплением за счет динамической адаптации границ обрезки.

Слияние языковых моделей: новый подход к повышению стабильности и эффективности

Предлагаемый метод слияния моделей, основанный на вычислении среднего Ка́ршера на многообразии Фи́шера-Рао, демонстрирует стабильность и превосходство в производительности при увеличении числа объединяемых моделей и их разнообразии, в отличие от евклидовых методов, которые подвержены резкому снижению качества с ростом неоднородности объединяемого набора.

В статье представлен метод объединения больших языковых моделей, основанный на геометрическом анализе и позволяющий добиться лучших результатов, особенно при работе с моделями, обученными на разных данных.

Восемь Токенов для Планирования: Сжатие Изображений для ИИ

Предложенная модель латентного мира отображает входное изображение в компактные латентные токены [latex]{\bm{z}}[/latex], после чего, используя полученные токены, обучает модель [latex]f\_{\phi}({\bm{z}}\_{t},{\bm{a}}\_{t})[/latex] для моделирования условного распределения будущего состояния [latex]p\_{\phi}({\bm{z}}\_{t+1}|{\bm{z}}\_{t},{\bm{a}}\_{t})[/latex] посредством маскированного генеративного моделирования, что позволяет осуществлять планирование действий [latex]{\bm{a}}\_{0:H-1}[/latex] во время принятия решений для минимизации расстояния между предсказанным конечным состоянием и целевым изображением.

Новый подход к токенизации изображений позволяет значительно уменьшить объем данных, необходимых для обучения систем искусственного интеллекта, не теряя при этом возможности планирования сложных действий.