Revitalizing Legacy Video Content: Deinterlacing with Bidirectional Information Propagation

要約

古い CRT ディスプレイ テクノロジーと限られた伝送帯域幅のため、初期の映画やテレビ放送では一般にインターレース スキャンが使用されていました。
これは、各フィールドに情報の半分しか含まれていないことを意味します。
最新のディスプレイではフルフレームが必要なため、インターレース解除、つまり従来のビデオ コンテンツで欠落している情報を復元する研究が促進されています。
この論文では、アニメーションおよび実写コンテンツのインターレースを解除するための深層学習ベースの方法を紹介します。
私たちが提案する方法は、空間と時間の両方の情報を活用するために、複数のスケールにわたる双方向の時空間情報伝播をサポートします。
より具体的には、位置合わせ、融合、および整流を含む特徴リファインメントを実行するフローガイドリファインメント ブロック (FRB) を設計します。
さらに、私たちの方法は複数のフィールドを同時に処理できるため、フレームごとの処理時間が短縮され、リアルタイム処理が可能になる可能性があります。
実験結果は、提案手法が既存の手法と比較して優れた性能を達成することを示しています。

要約(オリジナル)

Due to old CRT display technology and limited transmission bandwidth, early film and TV broadcasts commonly used interlaced scanning. This meant each field contained only half of the information. Since modern displays require full frames, this has spurred research into deinterlacing, i.e. restoring the missing information in legacy video content. In this paper, we present a deep-learning-based method for deinterlacing animated and live-action content. Our proposed method supports bidirectional spatio-temporal information propagation across multiple scales to leverage information in both space and time. More specifically, we design a Flow-guided Refinement Block (FRB) which performs feature refinement including alignment, fusion, and rectification. Additionally, our method can process multiple fields simultaneously, reducing per-frame processing time, and potentially enabling real-time processing. Our experimental results demonstrate that our proposed method achieves superior performance compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google