Novel View Extrapolation with Video Diffusion Priors

要約

新しいビュー合成の分野は、放射フィールド法の開発のおかげで大幅な進歩を遂げました。
ただし、ほとんどの放射フィールド技術は、合成新規ビューが観察されたトレーニング ビューをはるかに超える新規ビュー外挿よりも新規ビュー内挿の方がはるかに優れています。
私たちは、安定したビデオ拡散 (SVD) の生成事前分布を利用して現実的な新しいビューの外挿を行う新しいビュー合成アプローチである ViewExtrapolator を設計します。
ViewExtrapolator は、SVD ノイズ除去プロセスを再設計することにより、放射フィールドによってレンダリングされるアーティファクトが発生しやすいビューを洗練し、合成された新しいビューの明瞭さとリアリズムを大幅に強化します。
ViewExtrapolator は、単一のビューまたは単眼ビデオのみが利用可能な場合に点群からレンダリングされたビューなど、さまざまなタイプの 3D レンダリングで動作できる、汎用の新しいビュー外挿ツールです。
さらに、ViewExtrapolator は SVD の微調整を必要とせず、データ効率と計算効率の両方を高めます。
広範な実験により、新しいビュー外挿における ViewExtrapolator の優位性が実証されました。
プロジェクト ページ: \url{https://kunhao-liu.github.io/ViewExtrapolator/}。

要約(オリジナル)

The field of novel view synthesis has made significant strides thanks to the development of radiance field methods. However, most radiance field techniques are far better at novel view interpolation than novel view extrapolation where the synthesis novel views are far beyond the observed training views. We design ViewExtrapolator, a novel view synthesis approach that leverages the generative priors of Stable Video Diffusion (SVD) for realistic novel view extrapolation. By redesigning the SVD denoising process, ViewExtrapolator refines the artifact-prone views rendered by radiance fields, greatly enhancing the clarity and realism of the synthesized novel views. ViewExtrapolator is a generic novel view extrapolator that can work with different types of 3D rendering such as views rendered from point clouds when only a single view or monocular video is available. Additionally, ViewExtrapolator requires no fine-tuning of SVD, making it both data-efficient and computation-efficient. Extensive experiments demonstrate the superiority of ViewExtrapolator in novel view extrapolation. Project page: \url{https://kunhao-liu.github.io/ViewExtrapolator/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google