Voxel-Aggregated Feature Synthesis: Efficient Dense Mapping for Simulated 3D Reasoning

要約

私たちは、最近の最先端 (SOTA) オープンセット マルチモデル 3D マッピング (高密度 3D マッピング) アルゴリズムの爆発的な計算要件の問題に取り組み、高密度 3D マッピングへの新しいアプローチであるボクセル集約特徴合成 (VAFS) を紹介します。
シミュレーションで。
高密度 3D マッピングには、連続した RGBD フレームのセグメント化と埋め込みが含まれ、その後 3D に融合されます。
フレーム間の差は小さいものの、すべてが個別にセグメント化されて埋め込まれているため、これにより計算が冗長になります。
このため、環境、したがってマッピングを規則的に変更する必要がある、身体化されたエージェントを含む研究では、高密度 3D マッピングは非実用的になります。
VAFS は、シミュレーターの物理エンジンによって計算されたセグメント化された点群を使用し、各領域のビューを合成することにより、この計算を大幅に削減します。
これにより、埋め込む特徴量の数が、キャプチャされた RGBD フレームの数からシーン内のオブジェクトの数に減り、効果的に「グラウンド トゥルース」セマンティック マップを従来の方法よりも 1 桁高速に計算できるようになります。
シミュレートされたシーン内のさまざまなオブジェクトに対するセマンティック クエリの IoU スコアを評価することで、結果の表現をテストしたところ、VAFS が以前の高密度 3D マッピング技術の精度と速度を超えていることがわかりました。

要約(オリジナル)

We address the issue of the exploding computational requirements of recent State-of-the-art (SOTA) open set multimodel 3D mapping (dense 3D mapping) algorithms and present Voxel-Aggregated Feature Synthesis (VAFS), a novel approach to dense 3D mapping in simulation. Dense 3D mapping involves segmenting and embedding sequential RGBD frames which are then fused into 3D. This leads to redundant computation as the differences between frames are small but all are individually segmented and embedded. This makes dense 3D mapping impractical for research involving embodied agents in which the environment, and thus the mapping, must be modified with regularity. VAFS drastically reduces this computation by using the segmented point cloud computed by a simulator’s physics engine and synthesizing views of each region. This reduces the number of features to embed from the number of captured RGBD frames to the number of objects in the scene, effectively allowing a ‘ground truth’ semantic map to be computed an order of magnitude faster than traditional methods. We test the resulting representation by assessing the IoU scores of semantic queries for different objects in the simulated scene, and find that VAFS exceeds the accuracy and speed of prior dense 3D mapping techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google