INPC: Implicit Neural Point Clouds for Radiance Field Rendering

要約

未結合の実世界のシーンの再構築と新しいビューの統合のための新しいアプローチを紹介します。
体積フィールド、グリッドベースのモデル、または離散ポイントクラウドプロキシのいずれかを使用した以前の方法とは対照的に、ハイブリッドシーン表現を提案します。これは、連続したオクトリーベースの確率フィールドでジオメトリを暗黙的にエンコードし、マルチ解像度ハッシュグリッドでビュー依存の外観をエンコードします。
これにより、任意の明示的な点雲を抽出することができ、ラスター化を使用してレンダリングできます。
そうすることで、私たちは両方の世界の利点を組み合わせ、最適化中に好ましい行動を維持します。私たちの新しい暗黙の点雲表現と微分双線形ラスタライザーは、ボリューム神経界で捕らえられた細かい幾何学的ディテールを維持しながら、高速なレンダリングを有効にします。
さらに、この表現は、構造からモーションポイントクラウドのようなプライアーに依存しません。
私たちの方法は、一般的なベンチマークで最先端の画質を達成します。
さらに、インタラクティブなフレームレートで高速な推論を実現し、訓練されたモデルを大規模で明示的なポイントクラウドに変換してパフォーマンスをさらに向上させることができます。

要約(オリジナル)

We introduce a new approach for reconstruction and novel view synthesis of unbounded real-world scenes. In contrast to previous methods using either volumetric fields, grid-based models, or discrete point cloud proxies, we propose a hybrid scene representation, which implicitly encodes the geometry in a continuous octree-based probability field and view-dependent appearance in a multi-resolution hash grid. This allows for extraction of arbitrary explicit point clouds, which can be rendered using rasterization. In doing so, we combine the benefits of both worlds and retain favorable behavior during optimization: Our novel implicit point cloud representation and differentiable bilinear rasterizer enable fast rendering while preserving the fine geometric detail captured by volumetric neural fields. Furthermore, this representation does not depend on priors like structure-from-motion point clouds. Our method achieves state-of-the-art image quality on common benchmarks. Furthermore, we achieve fast inference at interactive frame rates, and can convert our trained model into a large, explicit point cloud to further enhance performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google