Neural Point Light Fields

要約

疎な点群に住むライトフィールドでシーンを暗黙的に表現するNeural Point Light Fieldsを紹介する。微分可能なボリュームレンダリングと学習された暗黙の密度表現を組み合わせることで、小さなシーンの斬新なビューのためのフォトリアルな画像を合成することが可能になった。ニューラルボリュームレンダリング法は、その基礎となる機能的シーン表現を、ボリュームを通るレイキャストに沿って数百のサンプルで密にサンプリングする必要があるため、基本的に数百の学習ビューに同じオブジェクトを投影した小さなシーンに限定されます。疎な点群からニューラル暗黙のライトフィールドを促進することで、レイごとに1回の輝度評価のみで大規模なシーンを効率的に表現することができます。これらの点光場は光線方向と局所点特徴近傍の関数であり、オブジェクトの密集や視差のない光場条件付き訓練画像を補間することができる。我々は、大規模なドライビングシナリオにおいて、既存の暗黙的なアプローチでは表現できない現実的な未視聴の景色を合成し、新しい景色合成のための提案手法を評価する。その結果、Neural Point Light Fieldsを用いることで、従来はシーンを明示的にモデル化することでしか生成できなかった未知の軌道に沿った映像の予測が可能になることを検証する。

要約(オリジナル)

We introduce Neural Point Light Fields that represent scenes implicitly with a light field living on a sparse point cloud. Combining differentiable volume rendering with learned implicit density representations has made it possible to synthesize photo-realistic images for novel views of small scenes. As neural volumetric rendering methods require dense sampling of the underlying functional scene representation, at hundreds of samples along a ray cast through the volume, they are fundamentally limited to small scenes with the same objects projected to hundreds of training views. Promoting sparse point clouds to neural implicit light fields allows us to represent large scenes effectively with only a single radiance evaluation per ray. These point light fields are a function of the ray direction, and local point feature neighborhood, allowing us to interpolate the light field conditioned training images without dense object coverage and parallax. We assess the proposed method for novel view synthesis on large driving scenarios, where we synthesize realistic unseen views that existing implicit approaches fail to represent. We validate that Neural Point Light Fields make it possible to predict videos along unseen trajectories previously only feasible to generate by explicitly modeling the scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL