High-Resolution Frame Interpolation with Patch-based Cascaded Diffusion

要約

最近の進歩にもかかわらず、既存のフレーム補間方法は、非常に高解像度の入力を処理したり、反復的なテクスチャ、薄いオブジェクト、大きな動きなどの困難なケースを処理したりするのに依然として苦労しています。
これらの問題に対処するために、標準ベンチマークで競争力のあるパフォーマンスを達成しながら、これらのシナリオで優れたフレーム補間用のパッチベースのカスケード ピクセル拡散モデル HiFI を導入します。
低解像度から高解像度までの一連の画像を生成するカスケードは、大まかなソリューションのグローバル コンテキストと高解像度出力の詳細なコンテキストの両方を必要とする大規模または複雑なモーションに非常に役立ちます。
ただし、ますます大きな解像度で拡散を実行するカスケード拡散モデルに関する以前の研究とは対照的に、常に同じ解像度で拡散を実行し、入力と以前のソリューションのパッチを処理することによってアップサンプリングを実行する単一のモデルを使用します。
この手法により、推論時のメモリ使用量が大幅に削減され、テスト時に単一のモデルを使用できるようになり、フレーム補間と空間アップサンプリングの両方が解決され、トレーニング コストが節約されることを示します。
HiFI が、グローバル コンテキストを必要とする高解像度および複雑な繰り返しテクスチャに大きく役立つことを示します。
HiFI は、複数のベンチマーク (Vimeo、Xiph、X-Test、SEPE-8K) で同等またはそれを超える最先端のパフォーマンスを実証します。
特に困難なケースに焦点を当てた新しく導入されたデータセットでも、HiFI はこれらのケースで他のベースラインを大幅に上回っています。
ビデオ結果についてはプロジェクト ページをご覧ください: https://hifi-diffusion.github.io

要約(オリジナル)

Despite the recent progress, existing frame interpolation methods still struggle with processing extremely high resolution input and handling challenging cases such as repetitive textures, thin objects, and large motion. To address these issues, we introduce a patch-based cascaded pixel diffusion model for frame interpolation, HiFI, that excels in these scenarios while achieving competitive performance on standard benchmarks. Cascades, which generate a series of images from low- to high-resolution, can help significantly with large or complex motion that require both global context for a coarse solution and detailed context for high resolution output. However, contrary to prior work on cascaded diffusion models which perform diffusion on increasingly large resolutions, we use a single model that always performs diffusion at the same resolution and upsamples by processing patches of the inputs and the prior solution. We show that this technique drastically reduces memory usage at inference time and also allows us to use a single model at test time, solving both frame interpolation and spatial up-sampling, saving training cost. We show that HiFI helps significantly with high resolution and complex repeated textures that require global context. HiFI demonstrates comparable or beyond state-of-the-art performance on multiple benchmarks (Vimeo, Xiph, X-Test, SEPE-8K). On our newly introduced dataset that focuses on particularly challenging cases, HiFI also significantly outperforms other baselines on these cases. Please visit our project page for video results: https://hifi-diffusion.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google