Совместная работа моделей: как использовать корреляции в федеративном обучении
![В ходе обучения корреляция между слоями модели оценивалась с учетом количества параметров каждого слоя, при этом в условиях неоднородного распределения данных каждый клиент оперировал не более чем четырьмя из десяти возможных меток; структурная корреляция измерялась как [latex]MCorrPCA(\{{\bm{g}}\_{k,i}^{(t)}\}\_{i\in[n]},0.2)[/latex], временная - как [latex]MCorrPCA(\{{\bm{g}}\_{k}^{(t-t^{\prime})}\}\_{t^{\prime}=0,\dots,4},0.2)[/latex], а пространственная - как [latex]MCorrPCA(\{{\bm{g}}\_{k}^{(t)}\}\_{k\in[K]},0.2)[/latex], усредненная по [latex]K=20[/latex] клиентам, при [latex]\tau=32[/latex] и [latex]\gamma=0.001[/latex], с заполнением, отображающим стандартное отклонение, рассчитанное на основе десяти повторных запусков.](https://arxiv.org/html/2604.14751v1/x8.png)
Новое исследование посвящено анализу корреляций между моделями в федеративном обучении для оптимизации коммуникационных затрат и повышения эффективности процесса.
Наука
Оркестровка Чувств: Новый Подход к Мультимодальным ИИ
Исследователи предлагают динамическую систему, позволяющую искусственному интеллекту более эффективно использовать информацию из разных источников, таких как текст, изображения и звук.
Управление потоком: новый подход к обучению с подкреплением
![На основе анализа гиперпараметров на эталонном наборе данных Ant-v3 установлено, что эффективность алгоритма MFPO напрямую зависит от количества шагов выборки [latex]TT[/latex] и числа образцов, используемых для оценки мгновенной скорости и расхождения [latex]NN[/latex], при этом фиксированное соотношение между двумя предложениями позволяет оптимизировать процесс обучения.](https://arxiv.org/html/2604.14698v1/x8.png)
Исследователи предлагают инновационный метод обучения политик, использующий модели потока для достижения высокой эффективности и снижения вычислительных затрат.
Умная регуляризация: Новый подход к анализу данных
Исследователи предложили адаптивный метод Multi-Prior Lasso, позволяющий повысить точность статистического моделирования в условиях высокой размерности и ограниченных данных.
Обучение языковых моделей: от подражания к эффективному вознаграждению
![В предложенном подходе, названном GFT, вычисляются стандартизированные относительные преимущества [latex]A_{k}[/latex] на основе гибридных групп ответов - демонстраций экспертов, результатов обучения с учителем и выборок из rollouts - а для ограничения весов важности применяется динамическая коррекция коэффициентов посредством обрезки градиентов для каждого токена.](https://arxiv.org/html/2604.14258v1/x1.png)
Новый подход к постобработке больших языковых моделей позволяет улучшить обобщающую способность, исследование пространства решений и предотвратить катастрофическое забывание.