Low-Latency Neural Stereo Streaming

要約

仮想現実や自動運転などの新しいビデオ モダリティの台頭により、レート ディストーション (R-D) パフォーマンスと遅延と実行時間の両方の観点から、効率的なマルチビュー ビデオ圧縮方法に対する需要が高まっています。
最新のステレオ ビデオ圧縮アプローチは有望なパフォーマンスを示していますが、左ビューと右ビューを順番に圧縮するため、並列化と実行時のパフォーマンスが低下します。
この研究では、高速かつ効率的な低遅延ステレオ ビデオ ストリーミング用に設計された新しい並列ステレオ ビデオ コーディング方法である、ステレオ ビデオ ストリーミング用の低遅延ニューラル コーデック (LLSS) を紹介します。
既存の方法のようにシーケンシャルなクロスビュー動き補償を使用する代わりに、LLSS は双方向特徴シフト モジュールを導入して、ビュー間の相互情報を直接利用し、エントロピー コーディング用の共同ビュー間事前モデルを使用してビューを効果的にエンコードします。
この設計のおかげで、LLSS は左ビューと右ビューを並行して処理し、待ち時間を最小限に抑えます。
同時に、既存のニューラル コーデックと従来のコーデックの両方と比較して R-D パフォーマンスを大幅に向上させます。

要約(オリジナル)

The rise of new video modalities like virtual reality or autonomous driving has increased the demand for efficient multi-view video compression methods, both in terms of rate-distortion (R-D) performance and in terms of delay and runtime. While most recent stereo video compression approaches have shown promising performance, they compress left and right views sequentially, leading to poor parallelization and runtime performance. This work presents Low-Latency neural codec for Stereo video Streaming (LLSS), a novel parallel stereo video coding method designed for fast and efficient low-latency stereo video streaming. Instead of using a sequential cross-view motion compensation like existing methods, LLSS introduces a bidirectional feature shifting module to directly exploit mutual information among views and encode them effectively with a joint cross-view prior model for entropy coding. Thanks to this design, LLSS processes left and right views in parallel, minimizing latency; all while substantially improving R-D performance compared to both existing neural and conventional codecs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google