SymmNeRF: Learning to Explore Symmetry Prior for Single-View View Synthesis

要約

単一の画像からのオブジェクトの新しいビュー合成の問題を研究します。
既存の方法は、単一ビューのビュー合成の可能性を示しています。
ただし、特に自己遮蔽領域では、細かい外観の詳細を回復することはまだできません。
これは、単一のビューでは限られた情報しか提供されないためです。
人工物は通常、対称的な外観を示し、追加の事前知識が導入されることがわかります。
これに動機付けられて、シーン表現に対称性を明示的に埋め込むことによる潜在的なパフォーマンスの向上を調査します。
この論文では、SymmNeRF を提案します。SymmNeRF は、対称事前分布の導入の下でローカルおよびグローバルな条件付けを組み合わせた神経放射場 (NeRF) ベースのフレームワークです。
特に、SymmNeRF は、ハイパーネットワークによってパラメーターが生成される NeRF への追加入力として、ピクセルで整列された画像特徴と対応する対称特徴を受け取ります。
パラメーターは画像エンコードされた潜在コードに基づいて調整されるため、SymmNeRF はシーンに依存せず、新しいシーンに一般化できます。
合成データセットと現実世界のデータセットに関する実験では、SymmNeRF がポーズ変換に関係なく、より詳細な新しいビューを合成し、目に見えないオブジェクトに適用した場合に優れた一般化を示すことが示されています。
コードは https://github.com/xingyi-li/SymmNeRF で入手できます。

要約(オリジナル)

We study the problem of novel view synthesis of objects from a single image. Existing methods have demonstrated the potential in single-view view synthesis. However, they still fail to recover the fine appearance details, especially in self-occluded areas. This is because a single view only provides limited information. We observe that manmade objects usually exhibit symmetric appearances, which introduce additional prior knowledge. Motivated by this, we investigate the potential performance gains of explicitly embedding symmetry into the scene representation. In this paper, we propose SymmNeRF, a neural radiance field (NeRF) based framework that combines local and global conditioning under the introduction of symmetry priors. In particular, SymmNeRF takes the pixel-aligned image features and the corresponding symmetric features as extra inputs to the NeRF, whose parameters are generated by a hypernetwork. As the parameters are conditioned on the image-encoded latent codes, SymmNeRF is thus scene-independent and can generalize to new scenes. Experiments on synthetic and realworld datasets show that SymmNeRF synthesizes novel views with more details regardless of the pose transformation, and demonstrates good generalization when applied to unseen objects. Code is available at: https://github.com/xingyi-li/SymmNeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google