Learning Truncated Causal History Model for Video Restoration

要約

ビデオ復元に対する重要な課題の 1 つは、動きによって支配されるビデオ フレームの遷移ダイナミクスをモデル化することです。
この研究では、効率的かつ高パフォーマンスのビデオ復元のために、切り捨てられた因果関係履歴モデルを学習する TURTLE を提案します。
一連のコンテキストフレームを並行して処理する従来の方法とは異なり、TURTLE は、入力フレームの潜在表現の切り詰められた履歴を、進化する履歴状態に保存して要約することで効率を高めます。
これは、フレーム間の動きと位置合わせを暗黙的に考慮する、高度な類似性に基づく検索メカニズムによって実現されます。
TURTLE の因果設計により、状態が記憶された履歴特徴による推論の反復が可能になると同時に、切り詰められたビデオ クリップをサンプリングすることで並列トレーニングが可能になります。
ビデオの除雪、夜間ビデオのディレイン、ビデオの雨滴と雨筋の除去、ビデオの超解像度、現実世界および合成ビデオのブレ除去、ブラインドなど、多数のビデオ修復ベンチマーク タスクに関する新しい最先端の結果を報告します。
これらすべてのタスクにおいて既存の最適なコンテキスト手法と比較して、計算コストを削減しながらビデオのノイズを除去します。

要約(オリジナル)

One key challenge to video restoration is to model the transition dynamics of video frames governed by motion. In this work, we propose TURTLE to learn the truncated causal history model for efficient and high-performing video restoration. Unlike traditional methods that process a range of contextual frames in parallel, TURTLE enhances efficiency by storing and summarizing a truncated history of the input frame latent representation into an evolving historical state. This is achieved through a sophisticated similarity-based retrieval mechanism that implicitly accounts for inter-frame motion and alignment. The causal design in TURTLE enables recurrence in inference through state-memorized historical features while allowing parallel training by sampling truncated video clips. We report new state-of-the-art results on a multitude of video restoration benchmark tasks, including video desnowing, nighttime video deraining, video raindrops and rain streak removal, video super-resolution, real-world and synthetic video deblurring, and blind video denoising while reducing the computational cost compared to existing best contextual methods on all these tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google