Обучение языковых моделей: когда градиент заслуживает доверия
![Распределение градиентов на уровне токенов демонстрирует, как различные функции потерь влияют на обучение, причем для моделей с высокой производительностью градиенты концентрируются в области высокой вероятности и низкой энтропии [latex] p(x), H(x) [/latex], в то время как модели с низкой производительностью демонстрируют более рассеянное распределение, указывающее на менее эффективное использование информации о потерях.](https://arxiv.org/html/2602.11424v1/x4.png)
Новый подход к обучению больших языковых моделей позволяет динамически балансировать между исследованием и использованием знаний, повышая их эффективность и обобщающую способность.
Наука
Гарантии справедливости в машинном обучении: новый взгляд на обобщающую способность
Исследователи разработали алгоритмы, позволяющие одновременно контролировать точность и справедливость моделей машинного обучения, обеспечивая надежные гарантии обобщения.
Циклические пептиды: новый подход к генерации конформаций
![Разработана трехступенчатая схема MuCO, в которой генерация молекулярной структуры разделена на последовательное создание базового каркаса с использованием [latex]\mathrm{SE(3)}[/latex]-потокового соответствия, условную выборку боковых цепей посредством циклического RPE-потокового соответствия и физически обоснованную оптимизацию с применением силового поля Charmm36 для получения энергетически минимизированной конформации.](https://arxiv.org/html/2602.11189v1/figures/MuCO.png)
Исследователи разработали метод, позволяющий эффективно создавать разнообразные и физически правдоподобные структуры циклических пептидов с использованием искусственного интеллекта.
Прогнозирование будущего: как учить модели на опыте экспертов
![Оптимальный вес первого эксперта, определяемый как [latex]w\_{1}^{\*}[/latex], демонстрирует зависимость от априорного веса [latex]w\_{1}s\_{1}[/latex] и квадратичного отклонения [latex](\mu\_{1}-\mathbb{E}(\mu))^{2}[/latex], при фиксированном прогнозе второго эксперта, причем характер этой зависимости варьируется в зависимости от выбранных преобразований [latex]f[/latex] и штрафных функций Φ.](https://arxiv.org/html/2602.11379v1/Figure/Simulation/v4/log_Dir.png)
Новый метод регулярного ансамблевого прогнозирования позволяет повысить точность предсказаний, используя исторические данные и текущие оценки экспертов.
Когда языковым моделям стоит упрощать?
Новый подход позволяет большим языковым моделям повысить надежность длинных текстов, заменяя сомнительные утверждения на более общие, но проверенные.