Blind Video Deflickering by Neural Filtering with a Flawed Atlas

要約

多くのビデオにはちらつきアーティファクトが含まれています。
ちらつきの一般的な原因には、ビデオ処理アルゴリズム、ビデオ生成アルゴリズム、および特定の状況下でのビデオのキャプチャが含まれます。
通常、以前の作業では、ちらつきの頻度、手動の注釈、またはちらつきを除去するための非常に一貫性のあるビデオなど、特定のガイダンスが必要です。
この作業では、追加のガイダンスなしで入力として単一のちらつきビデオのみを受け取る一般的なちらつき除去フレームワークを提案します。
特定のちらつきタイプまたはガイダンスに対してブラインドであるため、これを「ブラインド デフリッカリング」と呼びます。
私たちのアプローチの中核は、ニューラル フィルタリング戦略と連携してニューラル アトラスを利用することです。
ニューラル アトラスは、ビデオ内のすべてのフレームの統一された表現であり、時間的な一貫性のガイダンスを提供しますが、多くの場合に欠陥があります。
この目的のために、ニューラル ネットワークはフィルターを模倣して一貫した特徴 (色、明るさなど) を学習し、アトラスにアーティファクトが導入されるのを回避するようにトレーニングされます。
私たちの方法を検証するために、さまざまな現実世界のちらつきビデオを含むデータセットを構築します。
広範な実験により、私たちの方法が満足のいくちらつき除去パフォーマンスを達成し、公開ベンチマークで追加のガイダンスを使用するベースラインよりも優れていることが示されています.

要約(オリジナル)

Many videos contain flickering artifacts. Common causes of flicker include video processing algorithms, video generation algorithms, and capturing videos under specific situations. Prior work usually requires specific guidance such as the flickering frequency, manual annotations, or extra consistent videos to remove the flicker. In this work, we propose a general flicker removal framework that only receives a single flickering video as input without additional guidance. Since it is blind to a specific flickering type or guidance, we name this ‘blind deflickering.’ The core of our approach is utilizing the neural atlas in cooperation with a neural filtering strategy. The neural atlas is a unified representation for all frames in a video that provides temporal consistency guidance but is flawed in many cases. To this end, a neural network is trained to mimic a filter to learn the consistent features (e.g., color, brightness) and avoid introducing the artifacts in the atlas. To validate our method, we construct a dataset that contains diverse real-world flickering videos. Extensive experiments show that our method achieves satisfying deflickering performance and even outperforms baselines that use extra guidance on a public benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google