BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D Scene Generation

要約

通常、3Dシーンは複雑な空間構成を持ち、様々なスケールの多数のオブジェクトから構成されるため、大規模な3Dシーンの生成は、既存の3Dオブジェクト合成技術を単純に適用することはできない。そこで我々は、鳥瞰図(BEV)マップのガイダンスに等変量輝度場を組み込んだ、実用的で効率的な3D表現を提案する。具体的には、合成された3Dシーンのオブジェクトは、対応するBEVマップを操ることで容易に操作できる。さらに、位置エンコードとローパスフィルタを生成器に適切に組み込むことで、表現は与えられたBEVマップに対して等変量になる。このような等変量性により、局所的なシーンを合成し、それらを滑らかな一貫性をもってつなぎ合わせることで、大規模な、さらには無限スケールの3Dシーンを生成することができる。3Dシーンデータセットでの広範な実験により、我々のアプローチの有効性が実証された。我々のプロジェクトのウェブサイトはhttps://zqh0253.github.io/BerfScene/。

要約(オリジナル)

Generating large-scale 3D scenes cannot simply apply existing 3D object synthesis technique since 3D scenes usually hold complex spatial configurations and consist of a number of objects at varying scales. We thus propose a practical and efficient 3D representation that incorporates an equivariant radiance field with the guidance of a bird’s-eye view (BEV) map. Concretely, objects of synthesized 3D scenes could be easily manipulated through steering the corresponding BEV maps. Moreover, by adequately incorporating positional encoding and low-pass filters into the generator, the representation becomes equivariant to the given BEV map. Such equivariance allows us to produce large-scale, even infinite-scale, 3D scenes via synthesizing local scenes and then stitching them with smooth consistency. Extensive experiments on 3D scene datasets demonstrate the effectiveness of our approach. Our project website is at https://zqh0253.github.io/BerfScene/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL