Learning Task Agnostic Temporal Consistency Correction

要約

動画像処理では、フレームごとに独立した処理を行うため、画像処理を動画像に拡張することが多い。このように動画像処理では時間的なつながりを無視するため、しばしば深刻な時間的不一致が発生します。このような矛盾を解決する最新の技術は、フレーム単位で処理された映像の時間的整合性を回復するために、整合性のある映像ダイナミクスを吸い上げる未処理映像に依存している。我々はこのタスクのために、時間的に隣接するフレームと比較的離れたフレームの両方について知覚的品質を維持しながら時間的ちらつきを軽減するために、一貫性のない映像から一貫した運動ダイナミクスを推論することを学習する新しい一般的なフレームワークを提案する。提案するフレームワークは、多数の画像処理タスクによってフィードフォワード方式で処理された2つの大規模データセット、DAVISとvidevo.netにおいて、最先端の結果を得ることができる。コードと学習済みモデルは、採用された時点で公開される予定である。

要約(オリジナル)

Due to the scarcity of video processing methodologies, image processing operations are naively extended to the video domain by processing each frame independently. This disregard for the temporal connection in video processing often leads to severe temporal inconsistencies. State-of-the-art techniques that address these inconsistencies rely on the availability of unprocessed videos to siphon consistent video dynamics to restore the temporal consistency of frame-wise processed videos. We propose a novel general framework for this task that learns to infer consistent motion dynamics from inconsistent videos to mitigate the temporal flicker while preserving the perceptual quality for both the temporally neighboring and relatively distant frames. The proposed framework produces state-of-the-art results on two large-scale datasets, DAVIS and videvo.net, processed by numerous image processing tasks in a feed-forward manner. The code and the trained models will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL