Deep Video Codec Control

要約

非可逆ビデオ圧縮は、ビデオ データを送信および保存するときに一般的に使用されます。
統合ビデオ コーデック (H.264 や H.265 など) は、高度な (ニューラル) 圧縮アプローチが利用可能であるにもかかわらず、依然として事実上の標準です。
動的なネットワーク帯域幅条件に直面してビデオを送信するには、ビデオ コーデックが大幅に異なる圧縮強度に適応する必要があります。
レート制御モジュールは、帯域幅の制約が満たされ、ビデオの歪みが最小限に抑えられるように、コーデックの圧縮を強化します。
一方、標準ビデオ コードとそのレート制御モジュールはどちらも、ビデオの歪みを最小限に抑えるために開発されています。
人間の品質評価では、深視力モデルの下流のパフォーマンスを維持することは考慮されていません。
この論文では、既存の標準化を壊すことなく、帯域幅の制約とダウンストリームのビジョンパフォーマンスの両方を考慮した、最初のエンドツーエンドの学習可能なディープビデオコーデック制御を紹介します。
2 つの一般的なビジョン タスク (セマンティック セグメンテーションとオプティカル フロー推定) と 2 つの異なるデータセットについて、ディープ コーデック制御が 2 パス平均ビット レート制御を使用するよりもダウンストリーム パフォーマンスを維持しながら、動的な帯域幅の制約を満たし、標準化を遵守していることを実証します。

要約(オリジナル)

Lossy video compression is commonly used when transmitting and storing video data. Unified video codecs (e.g., H.264 or H.265) remain the de facto standard, despite the availability of advanced (neural) compression approaches. Transmitting videos in the face of dynamic network bandwidth conditions requires video codecs to adapt to vastly different compression strengths. Rate control modules augment the codec’s compression such that bandwidth constraints are satisfied and video distortion is minimized. While, both standard video codes and their rate control modules are developed to minimize video distortion w.r.t. human quality assessment, preserving the downstream performance of deep vision models is not considered. In this paper, we present the first end-to-end learnable deep video codec control considering both bandwidth constraints and downstream vision performance, while not breaking existing standardization. We demonstrate for two common vision tasks (semantic segmentation and optical flow estimation) and on two different datasets that our deep codec control better preserves downstream performance than using 2-pass average bit rate control while meeting dynamic bandwidth constraints and adhering to standardizations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google