EmbodiedOcc: Embodied 3D Occupancy Prediction for Vision-based Online Scene Understanding

要約

3D 占有予測は周囲のシーンの包括的な説明を提供し、3D 認識にとって不可欠なタスクとなっています。
既存の方法のほとんどは、1 つまたはいくつかのビューからのオフラインの知覚に焦点を当てており、漸進的な身体化された探索を通じてシーンを徐々に認識することを要求する身体化されたエージェントには適用できません。
この論文では、この実用的なシナリオをターゲットとする具体化された 3D 占有予測タスクを定式化し、それを達成するためのガウスベースの EmbodiedOcc フレームワークを提案します。
均一な 3D セマンティック ガウスを使用してグローバル シーンを初期化し、実体化されたエージェントによって観察されるローカル領域を段階的に更新します。
更新ごとに、観察された画像から意味論的および構造的特徴を抽出し、それらを変形可能な相互注意を通じて効率的に組み込んで、局所的なガウス分布を洗練します。
最後に、ガウスからボクセルへのスプラッティングを使用して、更新された 3D ガウスからグローバル 3D 占有率を取得します。
私たちの EmbodiedOcc は、未知の (つまり、均一に分散された) 環境を想定し、3D ガウスを使用してその環境の明示的なグローバル メモリを維持します。
それは、局所的なガウス分布の局所的な洗練を通じて徐々に知識を獲得します。これは、人間が具体化された探索を通じて新しいシーンを理解する方法と一致しています。
身体化された 3D 占有予測タスクの評価を容易にするために、ローカル アノテーションに基づいて EmbodiedOcc-ScanNet ベンチマークを再編成します。
実験により、当社の EmbodiedOcc は既存のローカル予測手法を上回っており、高精度かつ強力な拡張性を備えた具体化された占有予測を達成できることが実証されています。
私たちのコードは https://github.com/YkiWu/EmbodiedOcc で入手できます。

要約(オリジナル)

3D occupancy prediction provides a comprehensive description of the surrounding scenes and has become an essential task for 3D perception. Most existing methods focus on offline perception from one or a few views and cannot be applied to embodied agents which demands to gradually perceive the scene through progressive embodied exploration. In this paper, we formulate an embodied 3D occupancy prediction task to target this practical scenario and propose a Gaussian-based EmbodiedOcc framework to accomplish it. We initialize the global scene with uniform 3D semantic Gaussians and progressively update local regions observed by the embodied agent. For each update, we extract semantic and structural features from the observed image and efficiently incorporate them via deformable cross-attention to refine the regional Gaussians. Finally, we employ Gaussian-to-voxel splatting to obtain the global 3D occupancy from the updated 3D Gaussians. Our EmbodiedOcc assumes an unknown (i.e., uniformly distributed) environment and maintains an explicit global memory of it with 3D Gaussians. It gradually gains knowledge through local refinement of regional Gaussians, which is consistent with how humans understand new scenes through embodied exploration. We reorganize an EmbodiedOcc-ScanNet benchmark based on local annotations to facilitate the evaluation of the embodied 3D occupancy prediction task. Experiments demonstrate that our EmbodiedOcc outperforms existing local prediction methods and accomplishes the embodied occupancy prediction with high accuracy and strong expandability. Our code is available at: https://github.com/YkiWu/EmbodiedOcc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google