Наука

Обучение языковых моделей: новый подход к стабильности и эффективности

от

Жесткое отсечение, применяемое к вероятностям действий, подавляет ценные, хотя и маловероятные, прорывы в процессе рассуждений, в то время как предлагаемая регуляризация дисперсии, демонстрирующая тесное соответствие истимой расходимости Жансен-Шеннона, обеспечивает стабильность оптимизации даже при стремлении вероятности отклоняющегося действия к нулю, предотвращая коллапс обучения.

Исследователи предлагают метод, позволяющий более эффективно и предсказуемо настраивать большие языковые модели, используя регуляризацию на основе соотношения и дисперсии.

Геополитические риски и корпоративный кредит: поиск критических точек

от

В рамках исследования обратной задачи напряжения, граница разрушения [latex]R(g,x) = R^{\star}[/latex] определяет предел стабильности, при котором красная зона [latex]\mathcal{S}\_{\mathrm{red}}=\{(g,x):R(g,x)\leq R^{\star}\}[/latex] представляет собой набор сценариев, приводящих к нарушению целостности, а окрестность точки обратной напряженности [latex]s^{\star}=(g^{\star},x^{\star})[/latex], полученной как точка касания границы разрушения и наименьшего контура правдоподобия при условии [latex]g\geq 0[/latex], определяется локальным шаром [latex]\mathcal{B}\_{\eta}(s^{\star})[/latex] и служит для анализа локального окружения сценариев обратного напряжения [latex]\mathcal{S}\_{\eta}=\mathcal{S}\_{\mathrm{red}}\cap\mathcal{B}\_{\eta}(s^{\star})[/latex], что позволяет понять пределы стабильности системы.

В статье представлена методика выявления наиболее вероятных геополитических сценариев, способных привести к существенным потерям в корпоративных кредитных портфелях.