Сглаживание Квантования: Новый Метод Борьбы с Выбросами Весов

Автор: Денис Аветисян

Исследователи предлагают эффективный способ повышения точности квантования больших языковых моделей за счет оптимизации поворотов весов без использования обучающих данных.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

Оптимизация весов с помощью OptRot, оценка несогласованности Гессиана, отношение [latex]\operatorname{tr}(D)/\text{Tr}(H)[/latex], показатель UB, нормированный к [latex]\text{Tr}(H)[/latex], и соотношение сигнал/шум после квантизации GPTQ для модели Llama-3.1-8B демонстрируют взаимосвязь между оптимизацией весов и сохранением точности после квантизации. — Оптимизация весов с помощью OptRot, оценка несогласованности Гессиана, отношение $\operatorname{tr}(D)/\text{Tr}(H)$ , показатель UB, нормированный к $\text{Tr}(H)$ , и соотношение сигнал/шум после квантизации GPTQ для модели Llama-3.1-8B демонстрируют взаимосвязь между оптимизацией весов и сохранением точности после квантизации.

Метод OptRot, основанный на вращениях весов, позволяет улучшить границы погрешности квантования и повысить производительность моделей, использующих GPTQ.

Квантование весов больших языковых моделей (LLM) сталкивается с трудностями из-за наличия выбросов, ухудшающих точность. В работе ‘OptRot: Mitigating Weight Outliers via Data-Free Rotations for Post-Training Quantization’ предложен метод OptRot, обучающий вращения весов без использования данных для снижения этих выбросов и улучшения квантования, особенно в сочетании с GPTQ. Показано, что OptRot превосходит существующие подходы, включая вращения Адамара и более сложные, зависящие от данных методы, такие как SpinQuant и OSTQuant. Возможно ли дальнейшее повышение эффективности квантования LLM за счет более тонкой настройки вращений весов и учета ковариации активаций?

Преодолевая Предел Точности: Вызовы Квантизации

Современные большие языковые модели (БЯМ) демонстрируют впечатляющие возможности в обработке и генерации текста, открывая новые горизонты для искусственного интеллекта. Однако, эта производительность достигается ценой огромных вычислительных затрат и значительных объемов памяти. Сложность этих моделей, измеряемая количеством параметров, может достигать сотен миллиардов, что требует мощного оборудования для обучения и, особенно, для развертывания в реальных приложениях. Большие размеры моделей затрудняют их использование на мобильных устройствах или в условиях ограниченных ресурсов, создавая существенные препятствия для широкого распространения и доступности передовых технологий обработки естественного языка. Таким образом, задача оптимизации и сжатия БЯМ становится критически важной для преодоления этого “узкого места” и обеспечения их практической применимости.

Послетренировочная квантизация (PTQ) представляет собой перспективный метод сжатия больших языковых моделей, направленный на снижение требований к памяти и ускорение процесса инференса. Суть подхода заключается в преобразовании весов и активаций модели из чисел с плавающей точкой в целочисленные представления, что значительно уменьшает размер модели без необходимости повторного обучения. Благодаря этому, PTQ позволяет развертывать сложные модели на устройствах с ограниченными ресурсами, таких как мобильные телефоны или периферийные устройства, делая передовые технологии обработки естественного языка более доступными и эффективными. Уменьшение размера модели также способствует снижению энергопотребления и задержек, что особенно важно для приложений реального времени.

Несмотря на кажущуюся простоту, наивные методы квантизации, такие как округление до ближайшего целого (Round-to-Nearest, RTN), зачастую приводят к существенной потере точности. Это происходит из-за того, что при переходе от чисел с плавающей точкой к целочисленным представлениям происходит потеря информации. Многие веса и активации в нейронных сетях содержат тонкие градации, которые при округлении до ближайшего целого числа могут быть утеряны, особенно в глубоких слоях модели. Такая потеря информации накапливается, что приводит к ухудшению производительности модели при решении задач, требующих высокой точности, и снижает общую эффективность сжатия.

Сравнение расхождения Кульбака-Лейблера для зависимых от данных целей после обучения вращениям и 44-битной квантизации весов с использованием GPTQ на Llama-3.2-1B демонстрирует эффективность предложенного подхода.

Некогерентность Весов: Проблема за Пределами Простого Сжатия

Ключевой проблемой при квантовании является смягчение “некогерентности весов” — наличия выбросов в распределениях весов, которые непропорционально сильно влияют на точность модели. Выбросы, представляющие собой значения весов, значительно отличающиеся от основной массы распределения, приводят к существенным потерям информации при квантовании. Это связано с тем, что квантование, по сути, представляет собой отображение непрерывного диапазона значений в дискретный набор, и выбросы, не попадающие в эти дискретные интервалы или требующие слишком высокой точности для их представления, приводят к ошибкам округления и снижению общей производительности. Степень влияния некогерентности весов возрастает с увеличением степени квантования (например, переход от 8-битного квантования к 4-битному), что делает борьбу с ней критически важной для достижения приемлемого уровня точности при использовании моделей с низким битовым разрешением.

Методы, не требующие данных для калибровки (Data-Free Methods), представляют собой подход к оптимизации квантования, который позволяет избежать необходимости использования размеченных наборов данных для калибровки. Это обеспечивает значительные практические преимущества, такие как снижение затрат на сбор и аннотацию данных, а также повышение конфиденциальности, поскольку модель не обучается на чувствительных данных пользователей. В отличие от традиционных методов, требующих репрезентативную выборку данных, Data-Free методы используют алгоритмы для определения оптимальных параметров квантования непосредственно из весов модели, что делает их более универсальными и применимыми в сценариях, где доступ к данным ограничен или невозможен.

Метод OptRot использует подход, не требующий калибровочного набора данных, для оптимизации квантования, минимизируя несогласованность весов (weight incoherence). Он обучается применять вращения к весам нейронной сети, что эффективно изменяет распределение весов для улучшения процесса квантования. В результате, OptRot демонстрирует наименьшую несогласованность весов по сравнению с другими методами на моделях различных размеров — 1B, 3B и 8B параметров, что подтверждается экспериментальными данными.

Оптимизация OptRot позволяет добиться наилучшего значения показателей весовой неоднородности [latex]\mu_W[/latex], неоднородности гессиана [latex]\mu_H[/latex], отношения [latex]\operatorname{tr}(D)/\text{Tr}(H)[/latex], метрики UB к [latex]\text{Tr}(H)[/latex] и соотношения сигнал/шум после квантизации с использованием GPTQ для модели Llama-3.2-1B. — Оптимизация OptRot позволяет добиться наилучшего значения показателей весовой неоднородности $\mu_W$ , неоднородности гессиана $\mu_H$ , отношения $\operatorname{tr}(D)/\text{Tr}(H)$ , метрики UB к $\text{Tr}(H)$ и соотношения сигнал/шум после квантизации с использованием GPTQ для модели Llama-3.2-1B.

Оптимизация Вращений: Алгоритмы и Эффективность

Метод Cayley SGD (Stochastic Gradient Descent) представляет собой надежный способ обновления матриц вращения в процессе оптимизации, гарантируя сохранение их ортогональности. В отличие от стандартного SGD, который может приводить к отклонениям от ортогональности из-за накопления ошибок округления, Cayley SGD использует параметризацию, основанную на алгебре Ли и использует $SO(n)$ группу, что позволяет обновлять матрицы вращения таким образом, чтобы они оставались ортогональными на протяжении всего процесса обучения. Это особенно важно в задачах, где сохранение свойств вращения критично, например, в компьютерном зрении и робототехнике. Преимущество подхода заключается в избежании дорогостоящих операций нормализации после каждого шага обновления, что повышает вычислительную эффективность и стабильность обучения.

GPTQ является передовым методом квантизации, направленным на минимизацию послойной аппроксимации расхождения Кульбака-Лейблера (KL Divergence). Этот подход позволяет снизить вычислительные затраты и объем памяти, необходимые для хранения весов нейронных сетей, при этом сохраняя высокую точность. Метод GPTQ использует оптимальную квантизацию для каждого слоя отдельно, что позволяет избежать значительной потери информации, возникающей при глобальной квантизации. В процессе квантизации, алгоритм стремится минимизировать $D_{KL}(p||q)$ , где $p$ — исходное распределение весов, а $q$ — квантованное распределение. Минимизация KL-дивергенции гарантирует, что квантованное распределение максимально приближено к исходному, что, в свою очередь, способствует сохранению точности модели.

Внедрение вращений Адамара в алгоритм GPTQ позволяет улучшить производительность за счет стратегического вращения и объединения матриц весов. Этот подход особенно эффективен в сценариях сложной 4-битной квантизации, где сохранение точности является критически важным. Вращения Адамара, будучи ортогональными преобразованиями, минимизируют потерю информации при квантизации и способствуют достижению конкурентоспособных результатов по сравнению с другими методами квантизации, обеспечивая более высокую точность и эффективность модели после снижения разрядности весов. $R = \begin{bmatrix} 1 & 0 \\ 0 & -1 \end{bmatrix}$ — пример матрицы вращения Адамара, используемой для преобразования весов.

Методы QuaRot, SpinQuant и OptRot используют различные вращения [latex]R_1[/latex], [latex]R_2[/latex], [latex]R_3[/latex] и [latex]R_4[/latex] для улучшения процесса PTQ, при этом OptRot и SpinQuant позволяют обучать вращения [latex]R_1[/latex] и [latex]R_2[/latex] без увеличения вычислительных затрат во время инференса. — Методы QuaRot, SpinQuant и OptRot используют различные вращения $R_1$ , $R_2$ , $R_3$ и $R_4$ для улучшения процесса PTQ, при этом OptRot и SpinQuant позволяют обучать вращения $R_1$ и $R_2$ без увеличения вычислительных затрат во время инференса.

Усиление Активаций: SpinQuant и За Пределами Простого Сжатия

Квантование активаций, являясь эффективным методом снижения потребления памяти в нейронных сетях, основано на уменьшении точности представления активаций. Однако, подобное упрощение неизбежно приводит к появлению шума и потере информации, что может негативно сказаться на точности модели. Уменьшение числа бит, используемых для кодирования активаций, приводит к дискретизации непрерывных значений, в результате чего происходит округление и потеря детализации. Этот процесс, аналогичный снижению разрешения изображения, может привести к ухудшению способности сети различать тонкие нюансы во входных данных, что особенно критично для сложных задач, требующих высокой точности.

Метод SpinQuant направлен на смягчение проблемы снижения точности, возникающей при квантовании активаций, за счет применения обучаемых вращений. В отличие от традиционных подходов, которые просто снижают разрядность активаций, SpinQuant динамически адаптирует представление данных, максимизируя отношение сигнал/шум $SNR$ . Исследования показали, что применение вращений позволяет значительно улучшить точность модели после квантования, превосходя по показателям $SNR$ другие методы, такие как прямое квантование или квантование с использованием фиксированных преобразований. Это достигается за счет оптимизации направления активаций в пространстве признаков, что минимизирует потерю информации и повышает устойчивость модели к шуму, вызванному снижением разрядности.

Современные методы сжатия нейронных сетей, такие как OptRot, демонстрируют впечатляющие результаты в уменьшении размера моделей без существенной потери точности. Эти техники объединяют оптимизированную квантизацию весов и активаций, позволяя значительно сократить объем памяти, необходимый для хранения и выполнения моделей. Вместо простого снижения точности представления чисел, OptRot использует более сложные алгоритмы, направленные на сохранение наиболее важной информации в процессе квантизации. Это достигается за счет тонкой настройки параметров квантизации, что позволяет минимизировать потерю сигнала и максимизировать производительность сжатой модели. Подобный подход открывает новые возможности для развертывания сложных нейронных сетей на устройствах с ограниченными ресурсами, таких как мобильные телефоны и встраиваемые системы.

Сравнение показателей весовой некогерентности [latex]\mu_W[/latex] для SpinQuant (W4) и OptRot на моделях Llama 3.2-1B, 3.2-3B и 3.1-8B демонстрирует различия в их влиянии на стабильность весов. — Сравнение показателей весовой некогерентности $\mu_W$ для SpinQuant (W4) и OptRot на моделях Llama 3.2-1B, 3.2-3B и 3.1-8B демонстрирует различия в их влиянии на стабильность весов.

Исследование, представленное в данной работе, демонстрирует стремление к глубокому пониманию системы квантования больших языковых моделей. Авторы предлагают метод OptRot, который, по сути, является попыткой взломать ограничения, накладываемые квантованием, путем поиска оптимальных вращений весов. Это созвучно философии Кena Thompson: «Всё достаточно просто, чтобы быть понятным, и достаточно сложно, чтобы быть интересным». Подобно тому, как реверс-инжиниринг позволяет понять устройство системы, OptRot стремится к пониманию и минимизации ошибок квантования, основываясь на свойствах гессианской матрицы и когерентности. Такой подход позволяет не просто улучшить производительность, но и углубить понимание фундаментальных ограничений, накладываемых процессом квантования.

Что дальше?

Представленная работа, безусловно, демонстрирует элегантный способ обхода ограничений, накладываемых пост-тренировочной квантизацией. Однако, возникает вопрос: а что, если сама идея «оптимальной» ротации весов — это иллюзия, удобная конструкция, призванная усмирить хаос неизбежных ошибок? Что, если истинная свобода от ограничений лежит не в тонкой настройке существующих параметров, а в радикальном переосмыслении архитектур моделей, способных к само-квантованию, к естественной устойчивости к потере точности?

Следующим шагом представляется не столько поиск идеальной ротации для GPTQ, сколько исследование возможности построения моделей, для которых понятие «выброса» весов теряет смысл. Что, если нерегулярность структуры весов, которую сейчас пытаются сгладить, на самом деле является ключом к более высокой обобщающей способности? Исследование связи между гессианской некогерентностью и способностью к адаптации в условиях экстремальной квантизации представляется перспективным направлением.

В конечном счете, стоит задуматься о том, что пост-тренировочная квантизация — это лишь временное решение, симптом более глубокой проблемы — чрезмерной сложности современных моделей. Истинный прогресс, возможно, лежит в разработке принципиально новых подходов к обучению, позволяющих создавать компактные и эффективные модели, не требующие тонкой настройки и сложных трюков для сохранения точности.

Оригинал статьи: https://arxiv.org/pdf/2512.24124.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-02 11:02