Ditto in the House: Building Articulation Models of Indoor Scenes through Interactive Perception

要約

物理世界を仮想モデルに仮想化することは、現実世界でのロボットのナビゲーションと計画にとって重要な手法です。
日常生活における多関節オブジェクトの操作を促進するために、この作業では、これらのシーンでのロボットの意図的な相互作用を通じて、屋内シーンの関節モデルの構築を探ります。
アーティキュレーション推論に関する以前の研究は、主に限られたカテゴリのサイロ化されたオブジェクトに焦点を当てています。
部屋規模の環境に拡張するために、ロボットは大規模な 3D 空間を効率的かつ効果的に探索し、多関節オブジェクトを見つけ、それらの関節を推測する必要があります。
このタスクにインタラクティブな知覚アプローチを導入します。
Ditto in the House と名付けられた私たちのアプローチは、アフォーダンス予測を通じて可能な関節オブジェクトを発見し、これらのオブジェクトと相互作用して関節運動を生成し、各相互作用の前後の視覚的観察から関節特性を推測します。
アフォーダンス予測とアーティキュレーション推論を密接に結び付けて、両方のタスクを改善します。
シミュレーションと実世界の両方のシーンで、アプローチの有効性を実証します。
コードと追加の結果は、https://ut-austin-rpl.github.io/HouseDitto/ で入手できます。

要約(オリジナル)

Virtualizing the physical world into virtual models has been a critical technique for robot navigation and planning in the real world. To foster manipulation with articulated objects in everyday life, this work explores building articulation models of indoor scenes through a robot’s purposeful interactions in these scenes. Prior work on articulation reasoning primarily focuses on siloed objects of limited categories. To extend to room-scale environments, the robot has to efficiently and effectively explore a large-scale 3D space, locate articulated objects, and infer their articulations. We introduce an interactive perception approach to this task. Our approach, named Ditto in the House, discovers possible articulated objects through affordance prediction, interacts with these objects to produce articulated motions, and infers the articulation properties from the visual observations before and after each interaction. It tightly couples affordance prediction and articulation inference to improve both tasks. We demonstrate the effectiveness of our approach in both simulation and real-world scenes. Code and additional results are available at https://ut-austin-rpl.github.io/HouseDitto/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google