要約
ビデオ超解像度 (VSR) アプローチは、アップサンプリングされたビデオで優れた時間的一貫性を示しました。
ただし、これらのアプローチでは生成能力が制限されているため、対応する画像よりもぼやけた結果が生成される傾向があります。
これにより、基本的な疑問が生じます。時間的な一貫性を維持しながら、生成画像アップサンプラーの成功を VSR タスクにも拡張できるでしょうか?
高周波の詳細と時間的一貫性を備えたビデオを生成できる新しい生成 VSR モデルである VideoGigaGAN を紹介します。
VideoGigaGAN は、大規模な画像アップサンプラーである GigaGAN に基づいて構築されています。
時間モジュールを追加して GigaGAN をビデオ モデルに拡張するだけで、深刻な時間ちらつきが発生します。
私たちはいくつかの重要な問題を特定し、アップサンプリングされたビデオの時間的一貫性を大幅に向上させる技術を提案します。
私たちの実験によると、以前の VSR 手法とは異なり、VideoGigaGAN はよりきめの細かい外観の詳細を備えた時間的に一貫したビデオを生成します。
VideoGigaGAN を公開データセット上の最先端の VSR モデルと比較し、$8\times$ の超解像度のビデオ結果を紹介することで、VideoGigaGAN の有効性を検証します。
要約(オリジナル)
Video super-resolution (VSR) approaches have shown impressive temporal consistency in upsampled videos. However, these approaches tend to generate blurrier results than their image counterparts as they are limited in their generative capability. This raises a fundamental question: can we extend the success of a generative image upsampler to the VSR task while preserving the temporal consistency? We introduce VideoGigaGAN, a new generative VSR model that can produce videos with high-frequency details and temporal consistency. VideoGigaGAN builds upon a large-scale image upsampler — GigaGAN. Simply inflating GigaGAN to a video model by adding temporal modules produces severe temporal flickering. We identify several key issues and propose techniques that significantly improve the temporal consistency of upsampled videos. Our experiments show that, unlike previous VSR methods, VideoGigaGAN generates temporally consistent videos with more fine-grained appearance details. We validate the effectiveness of VideoGigaGAN by comparing it with state-of-the-art VSR models on public datasets and showcasing video results with $8\times$ super-resolution.
arxiv情報
| 著者 | Yiran Xu,Taesung Park,Richard Zhang,Yang Zhou,Eli Shechtman,Feng Liu,Jia-Bin Huang,Difan Liu |
| 発行日 | 2024-04-18 17:59:53+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google