ASSIST: Interactive Scene Nodes for Scalable and Realistic Indoor Simulation

要約

我々は、構成的かつ現実的なシミュレーションのためのパノプティック表現として、オブジェクトごとの神経放射フィールドである ASSIST を提示します。
私たちのアプローチの中心となるのは、各オブジェクトの情報を統一された方法で保存する新しいシーン ノード データ構造であり、シーン内およびシーン間の設定の両方でオンライン インタラクションを可能にします。
微分可能なニューラル ネットワークと、関連するバウンディング ボックスおよびセマンティック機能を組み込むことにより、提案された構造は、独立したオブジェクトに対するユーザー フレンドリーなインタラクションを保証し、新しいビュー シミュレーションをスケールアップします。
シーン内のオブジェクトは、マウス/キーボード コントロールまたは言語命令を介して簡単にクエリ、追加、複製、削除、変換、または交換できます。
実験では、提案された方法の有効性を実証します。そこでは、カラー画像、深度画像、および 3D 一貫した方法で生成されたパノプティック セグメンテーション マスクを使用した、インタラクティブな編集と合成レンダリングを通じて、スケーリングされたリアルなシミュレーションを実現できます。

要約(オリジナル)

We present ASSIST, an object-wise neural radiance field as a panoptic representation for compositional and realistic simulation. Central to our approach is a novel scene node data structure that stores the information of each object in a unified fashion, allowing online interaction in both intra- and cross-scene settings. By incorporating a differentiable neural network along with the associated bounding box and semantic features, the proposed structure guarantees user-friendly interaction on independent objects to scale up novel view simulation. Objects in the scene can be queried, added, duplicated, deleted, transformed, or swapped simply through mouse/keyboard controls or language instructions. Experiments demonstrate the efficacy of the proposed method, where scaled realistic simulation can be achieved through interactive editing and compositional rendering, with color images, depth images, and panoptic segmentation masks generated in a 3D consistent manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google