Оптимизация VVC-стриминга: Баланс качества, скорости и нагрузки

Автор: Денис Аветисян

Новый подход к адаптивному видеостримингу с использованием VVC позволяет добиться оптимального соотношения качества изображения, скорости передачи данных и вычислительной сложности декодирования.

"Покупай на слухах, продавай на новостях". А потом сиди с акциями никому не известной биотех-компании. Здесь мы про скучный, но рабочий фундаментал.

Бесплатный Телеграм канал

Предлагаемая методология оптимизации многокритериальной функции Парето фокусируется на специфических процессах и потоках информации, выделенных синим цветом, для достижения оптимального решения в рамках общей схемы, представленной стандартными элементами.

Представлена схема многокритериальной оптимизации на основе Парето-фронта для эффективного формирования bitrate-лестниц в адаптивном VVC-стриминге.

Адаптивная потоковая передача видео, несмотря на значительный прогресс, часто сталкивается с необходимостью балансировки между битрейтом, качеством и вычислительной сложностью. В работе ‘Multi-Objective Pareto-Front Optimization for Efficient Adaptive VVC Streaming’ предложен инновационный подход, основанный на многокритериальной оптимизации по Парето, для построения адаптивных лестниц битрейтов кодека VVC, учитывающих как качество видео, так и время декодирования. Полученные результаты демонстрируют возможность снижения битрейта до 27.88% при сохранении качества, а также повышения эффективности потоковой передачи за счет минимизации вычислительной нагрузки. Может ли данный фреймворк стать основой для создания устойчивых и высококачественных видеосервисов, адаптированных к различным сетевым условиям и возможностям пользовательских устройств?

Растущая Цена Видеодекодирования

Повышение разрешения и частоты кадров видеоматериалов предъявляет все более высокие требования к вычислительным ресурсам, что напрямую ведет к увеличению энергопотребления при декодировании. Современные видеоформаты, такие как 4K и 8K с частотой 60 кадров в секунду, содержат значительно больше данных, чем их предшественники, что требует более сложных алгоритмов и, соответственно, большей вычислительной мощности для обработки каждого кадра. Это особенно критично для мобильных устройств, где ограниченная емкость аккумулятора и необходимость эффективного охлаждения ограничивают возможности увеличения производительности. Таким образом, потребность в более реалистичном и плавном видеоизображении создает серьезные проблемы для энергоэффективности и требует разработки новых, более оптимальных методов декодирования.

Традиционные методы декодирования видео сталкиваются с серьезными трудностями при одновременном обеспечении высокого качества изображения и энергоэффективности, особенно на мобильных устройствах. Существующие алгоритмы, разработанные для стационарных компьютеров, часто оказываются избыточными и ресурсоемкими для портативных гаджетов, где критически важна продолжительность работы от аккумулятора. Оптимизация для мобильных платформ требует значительного снижения вычислительной нагрузки, что нередко приводит к компромиссам в визуальном качестве или увеличению времени декодирования. Поэтому исследователи активно ищут новые подходы к декодированию, направленные на достижение баланса между потреблением энергии, скоростью обработки и сохранением детализации изображения, чтобы обеспечить комфортный просмотр видео на различных мобильных устройствах.

Сложность декодирования видео напрямую влияет на время, необходимое для обработки потока, что является критическим фактором для пользовательского опыта и времени автономной работы устройства. Более сложные алгоритмы и увеличение разрешения видео требуют больше вычислительных ресурсов, что приводит к увеличению задержки и, как следствие, к ухудшению плавности воспроизведения. Длительное время декодирования не только раздражает зрителя, но и существенно снижает ресурс батареи, особенно на мобильных устройствах, где энергоэффективность имеет первостепенное значение. Поэтому оптимизация процесса декодирования — ключевая задача для разработчиков, стремящихся обеспечить комфортный просмотр и продлить время работы от одного заряда.

Анализ качества, скорости, времени и энергопотребления кодеков VVenC/VVdeC на наборе данных Inter-4K, проведенный на ноутбуке Dell (Intel Core i7-12800H, 32 ГБ RAM) с использованием инструментов RAPL и CodeCarbon, показал зависимость этих параметров от пространственного разрешения.

Построение Адаптивных Лесенок Битрейта

Адаптивная потоковая передача видео использует концепцию “лестницы битрейтов” — набора закодированных видеопредставлений, различающихся по уровням качества. Каждый уровень представляет собой отдельную версию видеофайла, созданную с определенным битрейтом, разрешением и частотой кадров. Использование нескольких версий позволяет системе динамически переключаться между ними в зависимости от пропускной способности сети и возможностей устройства пользователя, обеспечивая оптимальное качество воспроизведения при различных условиях. Чем больше ступеней в “лестнице битрейтов”, тем более плавной и адаптивной будет передача, но также возрастает сложность кодирования и хранения данных.

Эффективное построение «лесенки» битрейта (набора кодированных видеопотоков различного качества) критически важно для обеспечения плавного потокового вещания. Однако, поддержание согласованных переходов между уровнями качества представляет собой значительную техническую задачу. Резкие скачки в битрейте могут приводить к буферизации или визуальным артефактам, негативно влияющим на пользовательский опыт. Проблема усугубляется различиями в пропускной способности сети и возможностях декодирования на стороне клиента. Для минимизации этих эффектов требуется тщательная оптимизация параметров кодирования и алгоритмов адаптации битрейта, учитывающих динамические изменения сетевых условий и характеристики клиентского устройства.

Метод монотонного построения лестниц битрейта предполагает последовательное увеличение или уменьшение битрейта между соседними уровнями кодирования видео. Это достигается путем расчета разницы в битрейте между каждым шагом, гарантируя, что изменение битрейта между двумя последовательными уровнями остается относительно постоянным или предсказуемым. Такой подход позволяет избежать резких переходов в качестве видео во время адаптивного стриминга, обеспечивая более плавное и стабильное воспроизведение для конечного пользователя. Конкретные значения разницы битрейта зависят от характеристик видеоконтента и целевой пропускной способности сети, но принцип поддержания монотонности остается ключевым для оптимизации пользовательского опыта.

Сравнение лестниц результатов для четырех видеопоследовательностей демонстрирует, что метод JRQT-PF с параметром [latex] \alpha_{M} = 0.75 [/latex] и метод JQT-PF с параметром [latex] \alpha_{J} = 3 [/latex] обеспечивают различные уровни детализации и точности. — Сравнение лестниц результатов для четырех видеопоследовательностей демонстрирует, что метод JRQT-PF с параметром $\alpha_{M} = 0.75$ и метод JQT-PF с параметром $\alpha_{J} = 3$ обеспечивают различные уровни детализации и точности.

Многоцелевая Оптимизация Декодирования

Совместная оптимизация качества и времени и совместная оптимизация скорости передачи, качества и времени представляют собой многоцелевые методы, направленные на достижение баланса между визуальным качеством видео, временем декодирования и требуемой скоростью передачи данных. Эти подходы рассматривают все три параметра как взаимосвязанные цели, а не как изолированные характеристики, что позволяет находить оптимальные решения для различных сценариев использования и ограничений ресурсов. В отличие от традиционных методов, которые фокусируются на оптимизации только одного или двух параметров, данные методы позволяют гибко адаптировать параметры кодирования и потоковой передачи для достижения наилучшего компромисса между качеством, временем декодирования и пропускной способностью сети.

Оптимизация на основе Парето-фронта используется для выявления наилучших компромиссов между конкурирующими целями — качеством видео, временем декодирования и битрейтом. Этот метод предполагает построение Парето-фронта, представляющего собой набор решений, в которых улучшение одного параметра невозможно без ухудшения другого. В результате оптимизации формируется набор оптимальных «лесенок битрейта» — последовательностей битрейтов для различных сегментов видео, обеспечивающих наилучший баланс между качеством и эффективностью передачи данных. Каждая точка на Парето-фронте представляет собой оптимальный вариант, учитывающий заданные приоритеты и ограничения.

Оптимизационные стратегии используют анализ сложности видеоконтента для принятия обоснованных решений относительно параметров кодирования и потоковой передачи. Этот подход позволяет снизить битрейт без ухудшения воспринимаемого качества видео, подтвержденное показателем Bjøntegaard Delta Rate (BDR) менее 0%. Анализ сложности контента включает в себя оценку пространственной и временной сложности видеокадров, что позволяет динамически адаптировать параметры кодирования, такие как квантование и выбор режима предсказания, для эффективного использования битрейта. В результате достигается оптимальный баланс между качеством видео, скоростью декодирования и требуемой пропускной способностью сети.

На нашей платформе вычисление метрики XPSNR происходит значительно быстрее, чем VMAF, что существенно снижает затраты на оффлайн-оценку качества видео для 240 UHD-кадров.

Валидация на Наборе Данных Inter-4K

Набор данных Inter-4K, представляющий собой обширную коллекцию видеофрагментов сверхвысокой четкости (UHD), служит эталонным ориентиром для оценки эффективности алгоритмов сжатия и потоковой передачи видео. Этот набор, тщательно подобранный для отражения разнообразия реального видеоконтента, позволяет исследователям и разработчикам объективно сравнивать различные методы кодирования и оптимизировать их производительность. Благодаря большому объему и репрезентативности Inter-4K, результаты тестирования на этом наборе данных обладают высокой степенью достоверности и могут быть использованы для прогнозирования поведения алгоритмов в реальных условиях эксплуатации. Он позволяет выявить сильные и слабые стороны различных подходов к сжатию, способствуя разработке более эффективных и ресурсосберегающих технологий видеокодирования.

Для всестороннего анализа обширного набора UHD-видеоклипов Inter-4K используются инструменты анализа сложности видео (VCA). Эти инструменты позволяют детально изучить характеристики различных видеосцен, выявляя паттерны и сложности, связанные с движением, текстурой и сменами кадров. Результаты анализа VCA предоставляют ценную информацию о требованиях к кодированию и декодированию видео, позволяя оптимизировать алгоритмы сжатия и потоковой передачи. Выявление сложных сцен позволяет разработчикам более эффективно распределять битрейт, обеспечивая высокое качество видео даже при ограниченной пропускной способности, и, как следствие, улучшая общее восприятие контента пользователями.

Исследование продемонстрировало существенное повышение эффективности декодирования видео при использовании оптимизированных «лесенок битрейта», полученных на основе анализа обширного набора UHD-видеоклипов Inter-4K и метода Парето-оптимизации. В результате применения данной методики удалось добиться впечатляющего снижения времени декодирования — до 122.77%, при сопоставимом уменьшении энергопотребления в процессе декодирования. Данные результаты подтверждают, что оптимизация битрейта, основанная на реальных характеристиках видеоконтента, позволяет значительно улучшить производительность и энергоэффективность современных систем декодирования видео, открывая новые возможности для потокового вещания и хранения видеоданных высокого разрешения.

Анализ времени и вычислительных затрат декодирования [latex]VVdeC[/latex] (Wieckowskiet al., 2020) на подмножестве Inter-4K показал зависимость от разрешения на ноутбуке Dell и Mac Mini. — Анализ времени и вычислительных затрат декодирования $VVdeC$ (Wieckowskiet al., 2020) на подмножестве Inter-4K показал зависимость от разрешения на ноутбуке Dell и Mac Mini.

Представленное исследование демонстрирует стремление к достижению оптимального баланса между различными метриками производительности — битрейтом, качеством видео и сложностью декодирования. Это согласуется с фундаментальным принципом, высказанным Мишелем Фуко: «Власть не подавляет, а производит». В контексте адаптивного VVC-стриминга, власть алгоритма заключается в его способности производить оптимальные наборы параметров, формируя парето-фронт, где каждая точка представляет собой компромисс между кажущимися противоречивыми целями. Данный подход, подобно тщательно выстроенной математической модели, стремится к элегантности и доказуемости, обеспечивая эффективность и предсказуемость системы.

Куда же дальше?

Представленная работа, хотя и демонстрирует элегантность подхода к построению адаптивных стратегий потокового видео, лишь приоткрывает завесу над истинной сложностью задачи. Если кажущееся совершенство алгоритма вызывает подозрение — вероятно, не все инварианты были выявлены. Оптимизация по нескольким целям, безусловно, необходима, однако, вопрос о субъективном восприятии качества пользователем остаётся открытым. Недостаточно просто найти Парето-оптимальное решение; необходимо понять, какое из этих решений действительно предпочтительнее для конкретного зрителя, и в каких условиях.

Очевидным направлением дальнейших исследований является интеграция моделей, предсказывающих восприятие качества. Более того, следует признать, что предложенная структура “лестницы битрейтов” — лишь один из возможных подходов. Возможно, более гибкие, динамически формирующиеся стратегии, адаптирующиеся к изменяющимся сетевым условиям и возможностям устройства, окажутся более эффективными. Если же решение кажется магией — значит, мы упустили нечто фундаментальное в математической модели.

В конечном счёте, истинная проверка подхода — не в достижении максимальной степени сжатия или минимальной вычислительной сложности, а в создании действительно комфортного и приятного опыта для зрителя. А это, как известно, требует не только алгоритмической точности, но и глубокого понимания человеческого восприятия — задачи, которая, вероятно, никогда не будет решена полностью.

Оригинал статьи: https://arxiv.org/pdf/2601.10607.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-16 18:30