Устойчивость моделей атомистического машинного обучения: мультизадачная настройка против потери представлений

Многозадачная тонкая настройка демонстрирует повышенную эффективность использования данных в задачах предсказания ширины запрещенной зоны QM9 и диэлектрической проницаемости MatBench, превосходя обучение с нуля и стандартную тонкую настройку, при этом анализ абляции выявляет, что передача предварительно обученных компонентов и выбор вспомогательных задач, основанных на силовых полях, существенно влияют на общую производительность, отражаясь в среднем увеличении среднеквадратичной ошибки (RMSE) для задач предсказания HOMO, LUMO и ширины запрещенной зоны по сравнению с базовой конфигурацией.

Новое исследование показывает, как стандартная настройка предобученных моделей для предсказания молекулярных свойств приводит к снижению обобщающей способности на новых данных, и предлагает эффективное решение этой проблемы.

Разреженность как ключ к стабильности агентов в широком мире действий

Новое исследование показывает, что эффективное обучение языковых моделей, управляющих большим набором инструментов, возможно только при использовании принципа разреженности — когда активно задействована лишь небольшая часть доступных возможностей.