Multi-Field De-interlacing using Deformable Convolution Residual Blocks and Self-Attention

要約

ディープラーニングは画像/ビデオの復元と超解像に大きな影響を与えてきましたが、学習されたインターレース解除はこれまで学界や産業界ではあまり注目されていませんでした。
これは、デインターレースが合成データからの教師あり学習に適しているにもかかわらずです。これは、劣化モデルが既知であり、固定されているためです。
この論文では、最先端の超解像度アプローチをデインターレースタスクに適応させる、新しいマルチフィールドフルフレームレートデインターレースネットワークを提案します。
私たちのモデルは、変形可能な畳み込み残差ブロックと自己注意の両方を使用して、隣接するフィールドから参照フィールド (インターレース解除される) に特徴を揃えます。
私たちの広範な実験結果は、提案された方法が数値的および知覚的パフォーマンスの両方に関して最先端のインターレース解除結果を提供することを示しています。
執筆時点で、私たちのモデルは https://videoprocessing.ai/benchmarks/deinterlacer.html の Full FrameRate LeaderBoard で第 1 位にランクされています。

要約(オリジナル)

Although deep learning has made significant impact on image/video restoration and super-resolution, learned deinterlacing has so far received less attention in academia or industry. This is despite deinterlacing is well-suited for supervised learning from synthetic data since the degradation model is known and fixed. In this paper, we propose a novel multi-field full frame-rate deinterlacing network, which adapts the state-of-the-art superresolution approaches to the deinterlacing task. Our model aligns features from adjacent fields to a reference field (to be deinterlaced) using both deformable convolution residual blocks and self attention. Our extensive experimental results demonstrate that the proposed method provides state-of-the-art deinterlacing results in terms of both numerical and perceptual performance. At the time of writing, our model ranks first in the Full FrameRate LeaderBoard at https://videoprocessing.ai/benchmarks/deinterlacer.html

arxiv情報

提供元, 利用サービス

arxiv.jp, Google