Nerflets: Local Radiance Fields for Efficient Structure-Aware 3D Scene Representation from 2D Supervision

要約

画像からの効率的で構造を意識した 3D シーン表現に取り組みます。
Nerflets は私たちの重要な貢献であり、一緒になってシーンを表す一連の局所神経放射フィールドです。
各ナーフレットは、独自の空間位置、向き、および範囲を維持し、その中でパノプティック、密度、および放射輝度の再構成に貢献します。
フォトメトリックおよび推測されたパノプティック イメージ監視のみを活用することで、ナーフレットのセットのパラメーターを直接的かつ共同で最適化し、各オブジェクト インスタンスがナーフレットのグループによって表されるシーンの分解された表現を形成できます。
屋内および屋外環境での実験中に、nerflets は、(1) 従来のグローバル NeRF よりも効率的にシーンに適合して近似する、(2) 任意のビューからパノプティック レンダリングおよびフォトメトリック レンダリングを抽出できる、(3) まれなタスクを有効にすることがわかりました。
3D パノプティック セグメンテーションやインタラクティブ編集などの NeRF 向け。

要約(オリジナル)

We address efficient and structure-aware 3D scene representation from images. Nerflets are our key contribution — a set of local neural radiance fields that together represent a scene. Each nerflet maintains its own spatial position, orientation, and extent, within which it contributes to panoptic, density, and radiance reconstructions. By leveraging only photometric and inferred panoptic image supervision, we can directly and jointly optimize the parameters of a set of nerflets so as to form a decomposed representation of the scene, where each object instance is represented by a group of nerflets. During experiments with indoor and outdoor environments, we find that nerflets: (1) fit and approximate the scene more efficiently than traditional global NeRFs, (2) allow the extraction of panoptic and photometric renderings from arbitrary views, and (3) enable tasks rare for NeRFs, such as 3D panoptic segmentation and interactive editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google