NU-Class Net: A Novel Deep Learning-based Approach for Video Quality Enhancement

要約

ビデオ コンテンツの人気は急増しており、インターネット トラフィックやモノのインターネット (IoT) ネットワークに対する優位性が主張されています。
ビデオ圧縮は、ビデオ キャプチャ デバイスによって生成される大量のマルチメディア トラフィックを効率的に管理するための主要な手段として長い間考えられてきました。
それにもかかわらず、ビデオ圧縮アルゴリズムは、かなりの圧縮率を達成するためにかなりの計算量を必要とします。
この複雑さは、IoT エッジ ノード カメラなど、リソースに制約のある組み込みシステムに効率的なビデオ コーディング標準を実装する際に、大きな課題となります。
この課題に取り組むために、このペーパーでは、不可逆圧縮コーデックに起因する圧縮アーティファクトを軽減するように設計された革新的なディープラーニング モデルである NU-Class Net を紹介します。
この機能強化により、低ビットレートビデオの知覚品質が大幅に向上します。
NU-Class Net を採用することで、ビデオ キャプチャ ノード内のビデオ エンコーダは出力品質を低下させることができ、それによって低ビット レートのビデオを生成し、エッジでの計算と帯域幅の両方の要件を効果的に削減できます。
デコーダ側では、通常、リソース制限による影響が少なく、ビデオ デコーダの後に NU-Class Net が適用されて、アーティファクトが補正され、元のビデオの品質に近づきます。
実験結果は、ビデオ、特に低ビット レートでストリーミングされるビデオの知覚品質を向上させる上で、提案されたモデルの有効性を裏付けています。

要約(オリジナル)

Video content has experienced a surge in popularity, asserting its dominance over internet traffic and Internet of Things (IoT) networks. Video compression has long been regarded as the primary means of efficiently managing the substantial multimedia traffic generated by video-capturing devices. Nevertheless, video compression algorithms entail significant computational demands in order to achieve substantial compression ratios. This complexity presents a formidable challenge when implementing efficient video coding standards in resource-constrained embedded systems, such as IoT edge node cameras. To tackle this challenge, this paper introduces NU-Class Net, an innovative deep-learning model designed to mitigate compression artifacts stemming from lossy compression codecs. This enhancement significantly elevates the perceptible quality of low-bit-rate videos. By employing the NU-Class Net, the video encoder within the video-capturing node can reduce output quality, thereby generating low-bit-rate videos and effectively curtailing both computation and bandwidth requirements at the edge. On the decoder side, which is typically less encumbered by resource limitations, NU-Class Net is applied after the video decoder to compensate for artifacts and approximate the quality of the original video. Experimental results affirm the efficacy of the proposed model in enhancing the perceptible quality of videos, especially those streamed at low bit rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google