Robot Active Neural Sensing and Planning in Unknown Cluttered Environments

要約

未知の散らかった環境でのアクティブなセンシングと計画は、在宅サービス、捜索と救助、狭い通路の検査、および医療支援を提供することを目的としたロボットにとって未解決の課題です。
多くのアクティブなセンシング方法が存在しますが、多くの場合、オープン スペースを考慮したり、既知の設定を想定したり、実際のシナリオに一般化することはほとんどありません。
基になる環境を再構築するために必要な最小数の観測を収集するために、手持ちカメラを備えたロボットマニピュレーターの運動学的に実現可能な視点シーケンスを生成するアクティブニューラルセンシングアプローチを提示します。
私たちのフレームワークは、視覚的な RGBD 観測を積極的に収集し、それらをシーン表現に集約し、オブジェクト形状の推定を実行して、環境との不要なロボットの相互作用を回避します。
ドメインのランダム化を使用して合成データでアプローチをトレーニングし、未知のオブジェクトが散らばっている狭い、覆われた現実世界のキャビネット環境を再構築する際に、sim-to-real 転送を介してその実行が成功したことを示します。
自然なキャビネットのシナリオでは、周囲の障害物と周囲の照明条件が低いため、ロボットの動きとシーンの再構築に大きな課題が課せられます。
ただし、不利な設定にもかかわらず、私たちの方法は、計画速度、視点の数、全体的なシーン カバレッジなど、さまざまな環境再構築メトリックに関して、ベースラインと比較して高いパフォーマンスを示します。

要約(オリジナル)

Active sensing and planning in unknown, cluttered environments is an open challenge for robots intending to provide home service, search and rescue, narrow-passage inspection, and medical assistance. Although many active sensing methods exist, they often consider open spaces, assume known settings, or mostly do not generalize to real-world scenarios. We present the active neural sensing approach that generates the kinematically feasible viewpoint sequences for the robot manipulator with an in-hand camera to gather the minimum number of observations needed to reconstruct the underlying environment. Our framework actively collects the visual RGBD observations, aggregates them into scene representation, and performs object shape inference to avoid unnecessary robot interactions with the environment. We train our approach on synthetic data with domain randomization and demonstrate its successful execution via sim-to-real transfer in reconstructing narrow, covered, real-world cabinet environments cluttered with unknown objects. The natural cabinet scenarios impose significant challenges for robot motion and scene reconstruction due to surrounding obstacles and low ambient lighting conditions. However, despite unfavorable settings, our method exhibits high performance compared to its baselines in terms of various environment reconstruction metrics, including planning speed, the number of viewpoints, and overall scene coverage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google