AssetField: Assets Mining and Reconfiguration in Ground Feature Plane Representation

要約

屋内と屋外の両方の環境は、本質的に構造化され、反復的です。
従来のモデリング パイプラインでは、固有のオブジェクト テンプレートを格納するアセット ライブラリが維持されます。これは、実際には用途が広く、メモリ効率も優れています。
この観察に着想を得て、AssetField を提案します。AssetField は、一連のオブジェクト認識地上フィーチャ プレーンを学習してシーンを表す新しいニューラル シーン表現であり、テンプレート フィーチャ パッチを格納するアセット ライブラリを教師なしで構築できます。
オブジェクト編集のために空間ポイントを照会するためにオブジェクト マスクを必要とする既存の方法とは異なり、地上フィーチャ プレーン表現は、鳥瞰図でシーンの自然な視覚化を提供し、オブジェクトに対するさまざまな操作 (移動、複製、変形など) を可能にします。
新しいシーンを構成します。
テンプレート機能のパッチを使用すると、反復アイテムが多いシーンでグループ編集が有効になり、オブジェクトの個々の反復作業を回避できます。
AssetField は、斬新なビューの合成で競争力のあるパフォーマンスを達成するだけでなく、新しいシーン構成の現実的なレンダリングも生成することを示しています。

要約(オリジナル)

Both indoor and outdoor environments are inherently structured and repetitive. Traditional modeling pipelines keep an asset library storing unique object templates, which is both versatile and memory efficient in practice. Inspired by this observation, we propose AssetField, a novel neural scene representation that learns a set of object-aware ground feature planes to represent the scene, where an asset library storing template feature patches can be constructed in an unsupervised manner. Unlike existing methods which require object masks to query spatial points for object editing, our ground feature plane representation offers a natural visualization of the scene in the bird-eye view, allowing a variety of operations (e.g. translation, duplication, deformation) on objects to configure a new scene. With the template feature patches, group editing is enabled for scenes with many recurring items to avoid repetitive work on object individuals. We show that AssetField not only achieves competitive performance for novel-view synthesis but also generates realistic renderings for new scene configurations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google