Nerflets: Local Radiance Fields for Efficient Structure-Aware 3D Scene Representation from 2D Supervisio

要約

我々は、画像から効率的で構造を考慮した3Dシーン表現に取り組んでいる。ネルフレットは、シーンを表現する局所的な神経輝度場の集合であり、我々の重要な貢献である。各ネルフレットは、独自の空間的位置、方向、範囲を保持し、その範囲内で汎光性、密度、輝度の再構成に貢献する。汎光画像の測光と推論を活用することで、ネルフレットのパラメータを直接かつ共同で最適化し、各物体インスタンスがネルフレットのグループによって表現されるようなシーンの分解表現を形成することができます。屋内外の環境を用いた実験により、ネルフレットは、（1）従来のグローバルNeRFよりも効率的にシーンにフィットし近似する、（2）任意のビューからパノプティックおよびフォトメトリックレンダリングを抽出できる、（3）NeRFでは珍しい3Dパノプティックセグメント化やインタラクティブ編集などのタスクを可能にすることがわかりました。

要約(オリジナル)

We address efficient and structure-aware 3D scene representation from images. Nerflets are our key contribution — a set of local neural radiance fields that together represent a scene. Each nerflet maintains its own spatial position, orientation, and extent, within which it contributes to panoptic, density, and radiance reconstructions. By leveraging only photometric and inferred panoptic image supervision, we can directly and jointly optimize the parameters of a set of nerflets so as to form a decomposed representation of the scene, where each object instance is represented by a group of nerflets. During experiments with indoor and outdoor environments, we find that nerflets: (1) fit and approximate the scene more efficiently than traditional global NeRFs, (2) allow the extraction of panoptic and photometric renderings from arbitrary views, and (3) enable tasks rare for NeRFs, such as 3D panoptic segmentation and interactive editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL