Online Streaming Video Super-Resolution with Convolutional Look-Up Table

要約

オンライン ビデオ ストリーミングには、伝送帯域幅と計算能力に基本的な制限があり、超解像度は有望な解決策となる可能性があります。
ただし、既存のビデオ超解像度手法をオンライン ストリーミングに適用することは簡単ではありません。
既存のビデオ コーデックとストリーミング プロトコル (WebRTC など) は、ビデオ品質を空間的および時間的に動的に変更し、多様で動的な劣化を引き起こします。
さらに、オンライン ストリーミングには遅延に関する厳しい要件があり、既存の方法のほとんどは適用できません。
その結果、この文書では、オンライン ストリーミング ビデオの超解像度の問題がほとんど悪用されないことに焦点を当てています。
この問題の研究を促進するために、LDV-WebRTC という名前の新しいベンチマーク データセットが現実世界のオンライン ストリーミング システムに基づいて構築されています。
新しいベンチマーク データセットを活用して、オンライン ビデオ ストリーミングに特化した新しい方法を提案しました。これには、より優れたパフォーマンスと遅延のトレードオフを実現する畳み込みとルックアップ テーブル (LUT) ハイブリッド モデルが含まれています。
変化する劣化に対処するために、混合エキスパート LUT モジュールを提案します。このモジュールでは、さまざまな劣化に特化した一連の LUT が構築され、さまざまな劣化に対処するために適応的に組み合わせられます。
実験では、私たちの方法が約 100 FPS で 720P ビデオ SR を達成し、既存の LUT ベースの方法を大幅に上回り、効率的な CNN ベースの方法と比較して競争力のあるパフォーマンスを提供することが示されています。

要約(オリジナル)

Online video streaming has fundamental limitations on the transmission bandwidth and computational capacity and super-resolution is a promising potential solution. However, applying existing video super-resolution methods to online streaming is non-trivial. Existing video codecs and streaming protocols (\eg, WebRTC) dynamically change the video quality both spatially and temporally, which leads to diverse and dynamic degradations. Furthermore, online streaming has a strict requirement for latency that most existing methods are less applicable. As a result, this paper focuses on the rarely exploited problem setting of online streaming video super resolution. To facilitate the research on this problem, a new benchmark dataset named LDV-WebRTC is constructed based on a real-world online streaming system. Leveraging the new benchmark dataset, we proposed a novel method specifically for online video streaming, which contains a convolution and Look-Up Table (LUT) hybrid model to achieve better performance-latency trade-off. To tackle the changing degradations, we propose a mixture-of-expert-LUT module, where a set of LUT specialized in different degradations are built and adaptively combined to handle different degradations. Experiments show our method achieves 720P video SR around 100 FPS, while significantly outperforms existing LUT-based methods and offers competitive performance compared to efficient CNN-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google