Звучит как мозг: Как нейросети учатся понимать слух

Автор: Денис Аветисян

Новое исследование показывает, что современные аудиомодели все больше отражают принципы работы человеческого слуха, что подтверждает связь между эффективностью и нейроподобностью.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

В ходе обучения модели EnCodecMAE на наборе данных NH2015 наблюдается эволюция сходства между представлениями аудио и мозговой активности, соответствующих первичным и задним слуховым областям, при этом сглаживание кривых, выполненное с использованием фильтра Савицкого-Голея с окном 10 и полиномом 3-й степени, позволяет визуализировать динамику этого сходства в каждой слое модели на протяжении первых 100 тысяч шагов предварительного обучения.

Исследователи установили сильную корреляцию между представлениями, формируемыми продвинутыми аудиомоделями, и активностью мозга в слуховой коре.

Несмотря на растущую мощь искусственных нейронных сетей в моделировании вычислений мозга, остается неясным, улучшает ли повышение их производительности в решении задач сходство внутренних представлений с нейронными сигналами. В работе, озаглавленной ‘Better audio representations are more brain-like: linking model-brain alignment with performance in downstream auditory tasks’, исследователи установили, что современные самообучающиеся аудиомодели, демонстрирующие высокие результаты в различных задачах, лучше предсказывают активность слуховой коры, чем более старые и специализированные модели. Полученные данные свидетельствуют о сильной корреляции между качеством аудиопредставлений и их соответствием мозговой активности, подтверждая гипотезу о том, что оптимизация для задач, релевантных для человека, способствует формированию мозгоподобных представлений. Можно ли использовать эти результаты для разработки более эффективных и интерпретируемых моделей обработки звука, приближенных к принципам работы человеческого мозга?

Разоблачая Сложность: Пределы Традиционного Анализа Звука

Традиционные методы анализа звука, такие как спектральный анализ, зачастую оказываются неспособны полностью отразить богатство и сложность естественных звуковых ландшафтов. Эти подходы, эффективно работающие с простыми тонами или сигналами, испытывают трудности при разборе реальных звуковых сцен, в которых одновременно присутствуют многочисленные, перекрывающиеся источники. Например, при анализе оркестровой музыки или звуков леса, спектральный анализ может выявить отдельные частоты, но не способен адекватно передать тембральные нюансы, пространственное расположение инструментов или сложность гармонических взаимодействий. В результате, существенная часть информации, воспринимаемой слухом человека, теряется при использовании этих методов, что ограничивает возможности создания реалистичных звуковых моделей и эффективного анализа акустической информации.

Традиционные методы анализа звука, такие как спектральный анализ, часто оказываются неспособными эффективно разделять накладывающиеся друг на друга звуки в реальных акустических сценах. Проблема заключается в том, что окружающие нас звуки редко бывают изолированными — обычно это сложные смеси, где различные источники звука переплетаются во времени и частоте. Более того, слуховая система мозга не воспринимает звук как плоскую последовательность частот, а организует его в иерархическую структуру — от простых звуковых элементов к сложным паттернам и объектам. Поэтому, стандартные алгоритмы, не учитывающие эту иерархию и сложность, сталкиваются с серьезными трудностями в адекватном представлении и интерпретации звуковой информации, что ограничивает возможности автоматического анализа и распознавания звуков в реальных условиях.

Для полноценного понимания механизмов обработки звука мозгом необходимы инструменты, способные улавливать тончайшие нюансы и воспроизводить биологическую эффективность. Традиционные методы анализа, такие как спектральный анализ, зачастую упрощают сложность звуковой картины, не позволяя различить перекрывающиеся звуки и не отражая иерархическую структуру, присущую реальным звуковым сценам. Новые подходы, имитирующие принципы работы слуховой коры, стремятся к более эффективному представлению звуковой информации, фокусируясь на выделении ключевых признаков и построении иерархических моделей. Это позволяет не только точнее описывать звуковую среду, но и приближаться к пониманию того, как мозг преобразует звуковые волны в осмысленные представления о мире, открывая перспективы для создания более совершенных систем распознавания речи и анализа звука.

Для сравнения аудио- и мозговых представлений проводились регрессионный анализ, использующий активации слоев аудиомодели в качестве предикторов fMRI-активности, и анализ сходства представлений (RSA), сопоставляющий матрицы RDM, вычисленные на основе активаций и fMRI-сигналов, с использованием корреляции Спирмена.

Самообучение: Построение Слуховых Моделей

Маскированное звуковое моделирование (Masked Audio Modeling) представляет собой перспективный метод обучения устойчивых представлений аудиоданных без использования размеченных данных. В основе подхода лежит задача предсказания замаскированных (скрытых) фрагментов аудиосигнала. Модель обучается восстанавливать эти фрагменты, что требует понимания контекста и структуры звука. Отсутствие необходимости в ручной разметке данных значительно снижает стоимость и трудоемкость обучения, позволяя использовать большие объемы неразмеченных аудиозаписей для создания эффективных моделей обработки звука.

Модели, такие как BEATs, Dasheng и EnCodecMAE, используют подход маскирования аудио для обучения представлению звука. В процессе обучения часть входного аудиосигнала намеренно скрывается (маскируется), а модель обучается восстанавливать эти замаскированные участки. Этот процесс заставляет модель анализировать окружающий контекст и предсказывать недостающие данные, что способствует изучению значимых признаков и пониманию внутренней структуры аудиосигнала. Эффективность подхода заключается в том, что модель вынуждена строить внутреннее представление о звуке, основанное на корреляциях и зависимостях между различными его частями, а не просто запоминать обучающие примеры.

Эффективность метода маскированного моделирования аудио обусловлена тем, что он стимулирует модель к пониманию внутренней структуры и взаимосвязей в звуковых сигналах. Восстанавливая замаскированные фрагменты, модель вынуждена анализировать контекст и прогнозировать недостающие данные, что требует выявления закономерностей и зависимостей между различными частями аудио. Этот процесс способствует формированию представлений о временной когерентности, спектральных характеристиках и других ключевых аспектах, определяющих структуру звука. В результате модель не просто запоминает отдельные звуки, а учится понимать их взаимосвязь и контекст, что обеспечивает более robust и обобщенные представления.

Оценка R2R² для шести компонентов и аудиомоделей показывает, что предложенный подход превосходит спектро-временную базовую линию.

Сближая Модель и Мозг: Валидация с Нейронными Данными

Для оценки биологической правдоподобности разработанных моделей используется анализ сходства представлений (Representational Similarity Analysis, RSA). Метод заключается в сопоставлении внутренних представлений модели, формируемых при обработке звуковых стимулов, с паттернами нейронной активности, зарегистрированными в слуховой коре человека с помощью функциональной магнитно-резонансной томографии (фМРТ). RSA позволяет количественно оценить степень соответствия между тем, как модель «представляет» звуковую информацию, и тем, как эта информация кодируется в мозге, выявляя общие и различные аспекты представления данных в модели и в нейронных сетях мозга.

Для количественной оценки соответствия между представлениями, генерируемыми моделью, и нейронной активностью коры при восприятии естественной речи используются наборы данных NH2015 и B2021. Эти наборы данных содержат записи функциональной магнитно-резонансной томографии (фМРТ), полученные в процессе прослушивания участниками аудиоматериалов, представляющих собой естественную речь. Анализ данных NH2015 и B2021 позволяет вычислить метрики сходства между векторами признаков, полученными из модели, и паттернами активации в коре головного мозга, что дает возможность оценить, насколько адекватно модель воспроизводит нейронные механизмы обработки звуковой информации.

Для прямой оценки соответствия между представлениями, генерируемыми аудиомоделями, и активностью мозга, применяется регрессионный анализ. В ходе анализа, представления модели используются в качестве предикторов ответа, измеренного с помощью функциональной магнитно-резонансной томографии (фМРТ). Достигнутые значения коэффициента детерминации $R^2$ достигают 0.8, что свидетельствует о высокой степени объяснения вариативности фМРТ-сигналов представлениями, создаваемыми аудиомоделью, и подтверждает связь между вычислительными моделями и нейронной активностью.

Сравнение двух методологий вычисления RSA, результатов на наборах данных B2021 и NH2015, а также методов выравнивания на NH2015 с использованием воксельной регрессии и RSA показало различия в подходах и полученных данных.

К Универсальному Слуховому Коду?

Наблюдаемое соответствие между представлениями, сформированными моделью, и нейронными представлениями предоставляет убедительные доказательства в поддержку гипотезы платонических форм. Эта гипотеза предполагает существование универсального, модально-независимого способа кодирования информации об окружающем мире. Иными словами, существует некий общий «язык», используемый мозгом для представления различных сенсорных данных, будь то звук, изображение или тактильные ощущения. Подобное соответствие указывает на то, что модель, обученная на аудиоданных, способна улавливать фундаментальные принципы организации информации, которые также лежат в основе нейронной обработки. Это открывает перспективы для создания искусственных систем, способных к более эффективному и гибкому восприятию мира, а также углубляет понимание механизмов работы человеческого мозга.

Исследование выявило сильную положительную корреляцию между результатами работы модели и показателями $R^2$, полученными в результате воксель-за-воксель регрессии. Коэффициенты корреляции составили 0.91 для набора данных B2021 и 0.85 для NH2015, что указывает на тесную связь между тем, как модель представляет звуковую информацию, и активностью соответствующих областей мозга. Этот результат подчеркивает, что более точное моделирование нейронных представлений звука напрямую связано с улучшением производительности в задачах обработки аудио, открывая перспективные пути для создания более эффективных и надежных аудио-технологий.

Полученные результаты указывают на то, что обучение без учителя способно открыть новые горизонты в понимании обработки слуховой информации. Данный подход позволяет моделям самостоятельно извлекать значимые закономерности из необработанных аудиоданных, минуя необходимость в ручной разметке. Это, в свою очередь, может привести к созданию более надежных и эффективных аудио-технологий, способных адаптироваться к различным условиям и шумам. Потенциал этого направления заключается в разработке систем распознавания речи, анализа звуковых ландшафтов и даже в создании более реалистичных и отзывчивых виртуальных ассистентов, превосходящих существующие аналоги по точности и гибкости. В перспективе, самообучающиеся модели смогут не только понимать звуки, но и предсказывать их появление, обеспечивая более плавное и естественное взаимодействие человека с окружающим миром.

Сравнительный анализ аудиомоделей с использованием метрики R2R² показывает различия в производительности, выделяемые на графике сгруппированными системами, в то время как спектро-временная базовая система (серая линия) служит точкой отсчета, а погрешности отображают стандартную ошибку, рассчитанную на основе данных различных испытуемых.

Исследование демонстрирует, что современные аудиомодели, оптимизированные для решения задач, близких к человеческому восприятию, формируют представления, удивительно схожие с активностью слуховой коры головного мозга. Это подтверждает гипотезу о «платоническом представлении», согласно которой существуют оптимальные, универсальные способы кодирования информации. Как отмечал Марвин Минский: «Наиболее мощные идеи часто оказываются самыми простыми». Данная работа, демонстрируя корреляцию между моделями и мозгом, указывает на то, что элегантность алгоритма, его математическая чистота, проявляется в способности эффективно отображать реальность, а не просто успешно проходить тесты. Подобное соответствие указывает на универсальность принципов, лежащих в основе обработки информации как в искусственных, так и в биологических системах.

Что дальше?

Представленные результаты, несомненно, подтверждают корреляцию между сложностью аудиомоделей и их соответствием функционированию слуховой коры. Однако, корреляция — это не причинность. Вопрос о том, является ли «человекоподобность» представлений необходимой для оптимальной производительности, или же это просто побочный эффект оптимизации для конкретных задач, остаётся открытым. Необходимо провести более строгий анализ, включающий контролируемые эксперименты с моделями, намеренно лишенными определённых характеристик, присущих человеческому слуху.

Более того, текущие методы анализа, основанные на сходстве представлений, имеют свои ограничения. Они упускают из виду динамическую природу слухового восприятия и сложность временных кодов, используемых мозгом. Следующим шагом должно стать развитие методов, способных улавливать не только статические, но и динамические аспекты представлений, а также учитывать контекст и внимание.

В конечном счёте, истинная проверка гипотезы о «платонических представлениях» потребует не просто демонстрации соответствия между моделями и мозгом, но и доказательства того, что эти представления являются вычислительно эффективными и масштабируемыми. Иначе, мы рискуем создать сложные, но бесполезные конструкции, которые лишь имитируют интеллект, не обладая его глубиной и обобщающей способностью.

Оригинал статьи: https://arxiv.org/pdf/2511.16849.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-24 19:11