Оптимизация нейросетей для граничных устройств: поиск эффективных архитектур

Предлагаемая система автоматического нейронного поиска архитектур (AEBNAS) структурирована в три этапа: кодирование архитектур с возможностью раннего выхода в пространство поиска, точная настройка порогов этих выходов и определение целей оптимизации для алгоритма поиска, балансирующих между точностью и количеством операций MAC для спроектированных архитектур с ранним выходом.

Новый подход к поиску архитектур нейронных сетей позволяет значительно повысить их эффективность и снизить задержки для работы на устройствах с ограниченными ресурсами.

Прогнозирование временных рядов: смягчение рисков и повышение точности

Система SoTra генерирует непрерывные категориальные прогнозы, преобразуя вероятностные распределения, предсказанные на каждом шаге авторегрессии, в мягкие векторные представления, что позволяет создавать полностью дифференцируемые траектории и декодировать точечные прогнозы путём минимизации ожидаемого риска на основе специфичной для задачи матрицы ошибок, отказавшись от необходимости дискретизации и стандартных метрик расстояния.

Новый подход к прогнозированию временных рядов позволяет снизить влияние смещения экспозиции и оптимизировать решения в критически важных областях, таких как клиническая поддержка.

Память о безопасности: Как не допустить деградации моральных принципов у больших языковых моделей

При стандартной тонкой настройке предварительно обученной языковой модели происходит катастрофическое забывание ранее достигнутой безопасности, возвращая её к небезопасному поведению, усугубляемому при наличии вредоносных данных пользователя, в то время как адаптированные подходы непрерывного обучения позволяют сохранить безопасность модели даже в условиях как чистых, так и отравленных пользовательских данных.

Новое исследование показывает, что методы непрерывного обучения позволяют сохранить этичность больших языковых моделей даже при обучении на потенциально опасных данных.