STAIR: Semantic-Targeted Active Implicit Reconstruction

要約

自律型ロボット アプリケーションの多くは、展開時にオブジェクト レベルの理解を必要とします。
したがって、関心のあるオブジェクト、つまり特定の意味論的な意味を持つオブジェクトを積極的に再構築することは、ロボットが最初は未知の環境で下流のタスクを実行するのに関連します。
この研究では、ポーズされた RGB-D 測定値と 2D セマンティック ラベルを入力として使用して、セマンティックをターゲットとしたアクティブな再構成のための新しいフレームワークを提案します。
私たちのフレームワークの主要なコンポーネントは、セマンティックな暗黙的ニューラル表現と、セマンティック レンダリングと不確実性推定に基づく互換性のあるプランニング ユーティリティ関数であり、対象オブジェクトを対象とした適応型ビュー プランニングを可能にします。
私たちの計画アプローチは、ビュー計画のセマンティクスを考慮しない暗黙的な再構成ベースラインと比較して、メッシュと新しいビューのレンダリング品質の点で優れた再構成パフォーマンスを実現します。
私たちのフレームワークは、明示的なマップに基づく最先端のセマンティック ターゲットのアクティブ再構成パイプラインよりもさらに優れたパフォーマンスを示し、セマンティック ターゲットのアクティブ再構成問題に取り組むために暗黙的なニューラル表現を利用するという選択を正当化します。

要約(オリジナル)

Many autonomous robotic applications require object-level understanding when deployed. Actively reconstructing objects of interest, i.e. objects with specific semantic meanings, is therefore relevant for a robot to perform downstream tasks in an initially unknown environment. In this work, we propose a novel framework for semantic-targeted active reconstruction using posed RGB-D measurements and 2D semantic labels as input. The key components of our framework are a semantic implicit neural representation and a compatible planning utility function based on semantic rendering and uncertainty estimation, enabling adaptive view planning to target objects of interest. Our planning approach achieves better reconstruction performance in terms of mesh and novel view rendering quality compared to implicit reconstruction baselines that do not consider semantics for view planning. Our framework further outperforms a state-of-the-art semantic-targeted active reconstruction pipeline based on explicit maps, justifying our choice of utilising implicit neural representations to tackle semantic-targeted active reconstruction problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google