Устойчивость моделей атомистического машинного обучения: мультизадачная настройка против потери представлений

Автор: Денис Аветисян

Новое исследование показывает, как стандартная настройка предобученных моделей для предсказания молекулярных свойств приводит к снижению обобщающей способности на новых данных, и предлагает эффективное решение этой проблемы.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

Многозадачная тонкая настройка демонстрирует повышенную эффективность использования данных в задачах предсказания ширины запрещенной зоны QM9 и диэлектрической проницаемости MatBench, превосходя обучение с нуля и стандартную тонкую настройку, при этом анализ абляции выявляет, что передача предварительно обученных компонентов и выбор вспомогательных задач, основанных на силовых полях, существенно влияют на общую производительность, отражаясь в среднем увеличении среднеквадратичной ошибки (RMSE) для задач предсказания HOMO, LUMO и ширины запрещенной зоны по сравнению с базовой конфигурацией.

Мультизадачная тонкая настройка позволяет избежать коллапса представлений и значительно улучшить предсказательную мощность атомистических моделей на неизученных данных.

Несмотря на успехи предобученных атомистических моделей в предсказании свойств молекул и материалов, их надежность в условиях, выходящих за рамки тренировочных данных, остается под вопросом. В работе ‘Multi-Task Fine-Tuning Enables Robust Out-of-Distribution Generalization in Atomistic Models’ выявлена критическая проблема: стандартная дообучающая процедура приводит к коллапсу представлений и потере ценных химических знаний, ухудшая обобщающую способность модели. Предлагаемый авторами подход — мультизадачная дообучающая процедура — позволяет сохранить эти знания и добиться существенного улучшения производительности на новых данных. Может ли данный метод стать ключевым элементом в создании надежных и эффективных моделей для открытия новых материалов и молекул?

Пределы Традиционного Атомистического Моделирования

Традиционные силовые поля, широко используемые в атомном моделировании, обеспечивают высокую скорость вычислений, что позволяет исследовать системы, содержащие миллионы атомов. Однако эта вычислительная эффективность достигается ценой точности в описании сложных химических взаимодействий. Силовые поля упрощают межатомные связи, представляя их в виде математических функций с ограниченным числом параметров. Это приводит к неточностям при моделировании таких явлений, как разрыв и образование химических связей, перенос заряда, и квантовые эффекты. В результате, предсказание свойств новых материалов, особенно тех, где эти взаимодействия играют ключевую роль, становится затруднительным, что существенно замедляет процесс открытия и разработки инновационных материалов с заданными характеристиками. Ограниченность точности традиционных подходов становится особенно заметной при изучении сложных систем, таких как дефектные материалы, поверхности и наноструктуры.

Методы машинного обучения, такие как AtomisticML, демонстрируют потенциал в повышении точности моделирования атомных систем, однако их применение сопряжено с существенными трудностями. Для эффективной работы этим алгоритмам требуются обширные наборы данных для обучения, что часто ограничивает их применимость к новым или малоизученным химическим соединениям. Проблема обобщения, то есть способности модели адекватно предсказывать свойства веществ, не включенных в обучающую выборку, остается серьезным препятствием. Недостаток данных для редких химических элементов или сложных молекулярных конфигураций может приводить к значительным ошибкам в предсказаниях, снижая надежность моделирования и ограничивая возможности открытия новых материалов с заданными свойствами. Разработка методов, позволяющих эффективно использовать ограниченные данные и улучшать способность к обобщению, является ключевой задачей в развитии атомного моделирования на основе машинного обучения.

Сравнение стратегий адаптации показывает, что ухудшение качества предобученных представлений, количественно оцениваемое индексом Дэвиса-Боулдина [latex]DB[/latex] и визуализируемое с помощью t-SNE, проявляется в снижении различимости кластеров атомарных и граничных представлений. — Сравнение стратегий адаптации показывает, что ухудшение качества предобученных представлений, количественно оцениваемое индексом Дэвиса-Боулдина $DB$ и визуализируемое с помощью t-SNE, проявляется в снижении различимости кластеров атомарных и граничных представлений.

Предварительное Обучение для Переносимых Атомистических Представлений

Предварительное обучение, использующее обширные наборы данных, такие как SPICE2 и OMat24, позволяет моделям усваивать фундаментальные химические принципы до проведения специализированной настройки для конкретных задач. Этот подход основан на идее, что предварительное знакомство с общими закономерностями в данных об атомных взаимодействиях позволяет модели быстрее и эффективнее адаптироваться к новым, более узким задачам. Наборы данных SPICE2 и OMat24 содержат информацию о большом количестве химических соединений и их свойствах, что позволяет модели выявить общие закономерности в структуре и взаимодействии атомов. В результате, модель, прошедшая предварительное обучение, требует меньше данных для достижения высокой точности при решении конкретных задач, таких как предсказание энергии, сил или других свойств материалов.

Модель DPA3.1-3M использует парадигму предварительного обучения (pretraining) для повышения эффективности. В частности, в архитектуре модели применена функция активации SiLU (Sigmoid Linear Unit), которая демонстрирует улучшенные результаты по сравнению с традиционными функциями, такими как ReLU. SiLU обеспечивает более плавный градиент, что способствует более стабильному и быстрому обучению, особенно при работе с большими наборами данных и сложными задачами моделирования атомных взаимодействий. Применение SiLU в сочетании с предварительным обучением позволяет модели DPA3.1-3M эффективно обобщать знания, полученные на больших немаркированных данных, и успешно применяться к различным задачам в области атомного моделирования.

Эффективное предварительное обучение моделей для работы с атомистическими представлениями напрямую зависит от качества используемых наборов данных и архитектуры модели. Для адекватного захвата сложности межатомных взаимодействий необходимы данные, содержащие широкий спектр химических сред и конфигураций, в объеме, достаточном для обучения обобщающим представлениям. Архитектура модели должна обладать достаточной выразительной способностью для кодирования этих взаимодействий, учитывая нелинейности и многоатомные эффекты. Например, использование больших наборов данных, таких как SPICE2 и OMat24, в сочетании с архитектурами, способными обрабатывать сложные связи между атомами, позволяет модели изучать фундаментальные химические принципы и эффективно переносить знания на новые задачи, требующие понимания межатомных взаимодействий.

Схема иллюстрирует различные стратегии предварительного обучения и адаптации к целевой задаче, включая обучение с нуля, тонкую настройку, линейную проверку и многозадачную тонкую настройку.

Борьба с Коллапсом Представлений при Тонкой Настройке

Тонкая настройка (Fine-tuning), являясь ключевым этапом адаптации предварительно обученных моделей к конкретным задачам, может приводить к явлению, известному как коллапс представлений (Representation Collapse). Суть данного явления заключается в утрате моделью обобщающей способности, приобретенной в процессе предварительного обучения. В процессе тонкой настройки модель склонна к чрезмерной специализации под целевую задачу, в результате чего внутренние представления данных упрощаются и теряют способность эффективно кодировать информацию, необходимую для решения задач, отличных от тренировочных. Это приводит к снижению производительности модели на новых, ранее не встречавшихся данных, нивелируя преимущества предварительного обучения и ограничивая возможности переноса знаний.

Многозадачная тонкая настройка (MultiTask FineTuning) представляет собой стратегию смягчения эффекта коллапса представлений, возникающего при адаптации предварительно обученных моделей к конкретным задачам. Этот подход заключается в одновременном обучении модели на нескольких целевых функциях, что способствует сохранению обобщающей способности и, как следствие, достижению производительности на невидимых данных (OOD generalization), сопоставимой с производительностью на обучающих данных (ID performance). В отличие от однозадачной тонкой настройки, многозадачная настройка позволяет модели сохранять знания, полученные на этапе предварительного обучения, и эффективно переносить их на новые, незнакомые ситуации.

Для надежной оценки способности модели к обобщению на новые, ранее не встречавшиеся данные (OOD-обобщение), необходимо тщательно продумать стратегию разделения набора данных. Стандартное случайное разделение может привести к завышенной оценке производительности, если тестовый набор содержит образцы, схожие с теми, на которых модель обучалась. Надежная оценка требует создания отдельного тестового набора, представляющего распределение данных, отличное от распределения обучающего и валидационного наборов. Это может быть достигнуто, например, использованием наборов данных, собранных из различных источников или представляющих различные условия съемки, чтобы гарантировать, что модель действительно способна к обобщению, а не просто запоминает обучающие данные. Корректное разделение наборов данных является критически важным для объективной оценки OOD-обобщающей способности модели и предотвращения ложных выводов о ее эффективности.

Анализ показывает, что JMP-L демонстрирует сопоставимую производительность при обнаружении аномалий (OOD) с MFT, избегая коллапса представлений.

Оценка Обобщения на Новые Данные с Использованием LOCO

Традиционные метрики оценки моделей машинного обучения часто оказываются обманчивыми применительно к новым материалам, поскольку модели склонны к переобучению на исходном наборе данных. Это означает, что высокие показатели точности, демонстрируемые на тренировочной выборке, могут не отражать реальную способность модели к обобщению и прогнозированию свойств веществ, существенно отличающихся от тех, на которых она обучалась. Переобучение приводит к тому, что модель запоминает специфические особенности тренировочных данных, а не выявляет общие закономерности, необходимые для успешной работы с новыми, ранее не встречавшимися материалами. Таким образом, для адекватной оценки способности модели к предсказанию свойств новых соединений требуется использование более строгих и надежных методов, учитывающих степень обобщающей способности и устойчивость к изменениям в данных.

Методика LOCO представляет собой строгий подход к оценке способности моделей к обобщению на данные, выходящие за пределы тренировочной выборки (OODGeneralization). В ее основе лежит тестирование производительности на ранее не встречавшихся химических кластерах, формируемых с использованием представлений, таких как Матрица Орбитального Поля (OFM). OFM позволяет эффективно кодировать информацию о молекулярной структуре, что критически важно для точного определения схожести между соединениями и, следовательно, для формирования репрезентативных кластеров. Такой подход позволяет выявить истинную способность модели к обобщению, а не просто констатировать ее успешность на данных, близких к тренировочным, обеспечивая более надежную оценку ее применимости к новым, ранее не исследованным химическим соединениям.

В рамках методологии LOCO для оценки способности моделей к обобщению на новые данные, используется оценка плотности ядра (Kernel Density Estimation) для формирования химических кластеров. Этот подход позволяет определить группы молекул со схожими свойствами и оценить, насколько хорошо модель предсказывает свойства молекул, находящихся вне тренировочной выборки, но внутри этих кластеров. Применение оценки плотности ядра обеспечивает более содержательную и надежную оценку обобщающей способности, чем стандартные метрики, поскольку учитывает не только точность предсказаний, но и распределение данных. Практическая реализация данного подхода продемонстрировала передовые результаты на общепринятых наборах данных, таких как QM9 и MatBench, подтверждая эффективность LOCO как инструмента для разработки надежных моделей машинного обучения в области химии и материаловедения.

Визуализация t-SNE показывает, что метод MFT обеспечивает улучшенное разделение представлений данных.

Исследование закономерностей в данных, представленное в статье, подтверждает важность многозадачного обучения для создания надежных атомистических моделей. Обычная тонкая настройка часто приводит к коллапсу представлений, снижая способность модели к обобщению на новых данных. Многозадачная тонкая настройка, напротив, позволяет сохранить разнообразие представлений и улучшить предсказательную способность. Как отмечал Эрвин Шрёдингер: «Нельзя знать ничего наверняка, но можно знать вероятности». Это высказывание прекрасно иллюстрирует суть работы: модель не стремится к абсолютному знанию, а оценивает вероятности различных состояний, что позволяет ей успешно работать с данными, отличными от тех, на которых она обучалась. Изучение этих вероятностных распределений открывает новые горизонты в предсказании свойств молекул и открытии материалов.

Что Дальше?

Представленные результаты, несомненно, проливают свет на склонность к коллапсу представлений при стандартной тонкой настройке предварительно обученных атомистических моделей. Однако, стоит признать, что борьба с этим явлением — лишь один аспект более сложной проблемы обобщения за пределы распределения. Многозадачная тонкая настройка демонстрирует перспективный путь, но требует дальнейшего изучения, особенно в контексте выбора релевантных вспомогательных задач. Неизбежно возникает вопрос: насколько универсален этот подход? Будет ли он столь же эффективен для разнообразных классов молекул и свойств, или потребуются адаптации, специфичные для каждой задачи?

Следующим шагом представляется углубленный анализ механизмов, лежащих в основе многозадачного обучения. Понимание того, какие именно аспекты представления модели стабилизируются благодаря дополнительным задачам, позволит разработать более целенаправленные стратегии. Кроме того, необходимо исследовать возможность комбинирования многозадачной тонкой настройки с другими методами регуляризации, направленными на предотвращение переобучения и повышение робастности.

В конечном счете, задача атомистического машинного обучения заключается не просто в предсказании свойств, а в создании моделей, способных к истинному обобщению. Это требует не только улучшения алгоритмов, но и более глубокого понимания природы данных и ограничений существующих подходов. И, возможно, признания того, что идеальное решение — это, как всегда, компромисс между точностью и обобщающей способностью.

Оригинал статьи: https://arxiv.org/pdf/2601.08486.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-15 01:56