SpotLight: Robotic Scene Understanding through Interaction and Affordance Detection

要約

家庭用ロボットに関する研究努力が増加しているにもかかわらず、家庭環境への導入を目的としたロボットは、引き出しや照明スイッチなどの機能要素との対話など、より複雑なタスクに依然として苦労しています。これは主に、タスク固有の理解と対話能力が限られていることが原因です。
これらのタスクには、検出と姿勢推定だけでなく、これらの要素が提供するアフォーダンスの理解も必要です。
これらの課題に対処し、ロボット シーンの理解を強化するために、SpotLight を導入します。SpotLight は、ロボットと機能要素、特に照明スイッチとの相互作用のための包括的なフレームワークです。
さらに、このフレームワークにより、ロボットは対話を通じて環境理解を向上させることができます。
VLM ベースのアフォーダンス予測を活用して、照明スイッチの相互作用のモーション プリミティブを推定することで、実世界の実験で最大 84% の操作成功を達成しました。
さらに、715 枚の画像を含む特殊なデータセットと、照明スイッチ検出用のカスタム検出モデルを紹介します。
ロボットに環境を探索させ、シーン グラフ表現でこれまで知られていなかった関係を発見させることで、このフレームワークが物理的な相互作用を通じてロボットの学習をどのように促進できるかを示します。
最後に、スイング ドアなどの他の機能的な相互作用に対応するフレームワークの拡張を提案し、その柔軟性を示します。
ビデオとコード: timengelbracht.github.io/SpotLight/

要約(オリジナル)

Despite increasing research efforts on household robotics, robots intended for deployment in domestic settings still struggle with more complex tasks such as interacting with functional elements like drawers or light switches, largely due to limited task-specific understanding and interaction capabilities. These tasks require not only detection and pose estimation but also an understanding of the affordances these elements provide. To address these challenges and enhance robotic scene understanding, we introduce SpotLight: A comprehensive framework for robotic interaction with functional elements, specifically light switches. Furthermore, this framework enables robots to improve their environmental understanding through interaction. Leveraging VLM-based affordance prediction to estimate motion primitives for light switch interaction, we achieve up to 84% operation success in real world experiments. We further introduce a specialized dataset containing 715 images as well as a custom detection model for light switch detection. We demonstrate how the framework can facilitate robot learning through physical interaction by having the robot explore the environment and discover previously unknown relationships in a scene graph representation. Lastly, we propose an extension to the framework to accommodate other functional interactions such as swing doors, showcasing its flexibility. Videos and Code: timengelbracht.github.io/SpotLight/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google