Что, если влияние данных — не константа, а фазовый переход?
Автор: Денис Аветисян Традиционные подходы к обучению глубоких нейронных сетей часто исходят из упрощающего предположения о плавной, монотонной динамике обучения, что не соответствует сложной природе биологических систем и реальных данных. В работе “Influence Dynamics and Stagewise Data Attribution” авторы смело утверждают, что эта неадекватность приводит к хрупкой обобщающей способности и непредсказуемому поведению моделей, поскольку игнорирует … Читать далее