MuRF: Multi-Baseline Radiance Fields

要約

複数の異なるベースライン設定 (小さいベースラインと大きいベースライン、および異なる入力ビューの数) の下でスパース ビュー合成を解決するための一般的なフィードフォワード アプローチであるマルチベースライン ラジアンス フィールド (MuRF) を紹介します。
ターゲットの新しいビューをレンダリングするには、3D 空間をターゲット画像平面に平行な平面に離散化し、それに応じてターゲット ビューの錐台ボリュームを構築します。
このようなターゲット ボリューム表現はターゲット ビューと空間的に位置合わせされており、入力ビューから関連情報を効果的に集約して高品質のレンダリングを実現します。
また、軸が揃っているという性質のおかげで、畳み込みネットワークによるその後の放射輝度場回帰も容易になります。
畳み込みネットワークによってモデル化された 3D コンテキストにより、私たちの方法は以前の研究よりも鮮明なシーン構造を合成できます。
当社の MuRF は、複数の異なるベースライン設定と、単純なオブジェクト (DTU) から複雑な屋内および屋外シーン (RealEstate10K および LLFF) に至るまでの多様なシナリオにわたって最先端のパフォーマンスを実現します。
また、Mip-NeRF 360 データセットに対する有望なゼロショット汎化能力も示し、MuRF の一般的な適用可能性を示しています。

要約(オリジナル)

We present Multi-Baseline Radiance Fields (MuRF), a general feed-forward approach to solving sparse view synthesis under multiple different baseline settings (small and large baselines, and different number of input views). To render a target novel view, we discretize the 3D space into planes parallel to the target image plane, and accordingly construct a target view frustum volume. Such a target volume representation is spatially aligned with the target view, which effectively aggregates relevant information from the input views for high-quality rendering. It also facilitates subsequent radiance field regression with a convolutional network thanks to its axis-aligned nature. The 3D context modeled by the convolutional network enables our method to synthesis sharper scene structures than prior works. Our MuRF achieves state-of-the-art performance across multiple different baseline settings and diverse scenarios ranging from simple objects (DTU) to complex indoor and outdoor scenes (RealEstate10K and LLFF). We also show promising zero-shot generalization abilities on the Mip-NeRF 360 dataset, demonstrating the general applicability of MuRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google