Generalizable Patch-Based Neural Rendering

要約

ニューラルレンダリングは、Neural Radiance Fields（NeRF）の登場以来大きな注目を集めており、斬新なビューの合成に関する最先端技術を大幅に推進してきました。
最近の焦点は、単一のシーンにオーバーフィットするモデルにあり、目に見えないシーンの斬新なビューを合成できるモデルを学習するためのいくつかの試みは、主に深い畳み込み特徴とNeRFのようなモデルの組み合わせで構成されています。
深い機能やNeRFのようなボリュームレンダリングが不要な別のパラダイムを提案します。
私たちの方法は、シーンからサンプリングされたパッチのコレクションから、新しいシーンのターゲット光線の色を直接予測することができます。
まず、エピポーラジオメトリを活用して、各参照ビューのエピポーラ線に沿ってパッチを抽出します。
各パッチは1D特徴ベクトルに線形に投影され、一連のトランスフォーマーがコレクションを処理します。
位置エンコーディングの場合、ライトフィールド表現のように光線をパラメータ化しますが、座標がターゲット光線に対して正規化されるという決定的な違いがあります。これにより、メソッドが参照フレームから独立し、一般化が向上します。
私たちのアプローチは、以前の作業よりもかなり少ないデータでトレーニングされている場合でも、目に見えないシーンの斬新なビュー合成の最先端を上回っていることを示しています。

要約(オリジナル)

Neural rendering has received tremendous attention since the advent of Neural Radiance Fields (NeRF), and has pushed the state-of-the-art on novel-view synthesis considerably. The recent focus has been on models that overfit to a single scene, and the few attempts to learn models that can synthesize novel views of unseen scenes mostly consist of combining deep convolutional features with a NeRF-like model. We propose a different paradigm, where no deep features and no NeRF-like volume rendering are needed. Our method is capable of predicting the color of a target ray in a novel scene directly, just from a collection of patches sampled from the scene. We first leverage epipolar geometry to extract patches along the epipolar lines of each reference view. Each patch is linearly projected into a 1D feature vector and a sequence of transformers process the collection. For positional encoding, we parameterize rays as in a light field representation, with the crucial difference that the coordinates are canonicalized with respect to the target ray, which makes our method independent of the reference frame and improves generalization. We show that our approach outperforms the state-of-the-art on novel view synthesis of unseen scenes even when being trained with considerably less data than prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google