Object and Contact Point Tracking in Demonstrations Using 3D Gaussian Splatting

要約

この論文では、タッチインタラクションポイントを抽出し、ビデオデモンストレーションからオブジェクトの動きを追跡することにより、対話型模倣学習（IIL）を強化する方法を紹介します。
このアプローチは、オブジェクト、特にドアや引き出しなどの複雑な関節のあるオブジェクトと対話する場所と方法の両方に関する詳細な知識をロボットに提供することで、現在の IIL システムを拡張します。
この方法では、追跡に 3D ガウス スプラッティングや FoundationPose などの最先端の技術を活用することで、ロボットが動的環境内のオブジェクトをよりよく理解し、操作できるようになります。
この研究は、自律ロボット システムにおけるより効果的なタスクの学習と実行の基礎を築きます。

要約(オリジナル)

This paper introduces a method to enhance Interactive Imitation Learning (IIL) by extracting touch interaction points and tracking object movement from video demonstrations. The approach extends current IIL systems by providing robots with detailed knowledge of both where and how to interact with objects, particularly complex articulated ones like doors and drawers. By leveraging cutting-edge techniques such as 3D Gaussian Splatting and FoundationPose for tracking, this method allows robots to better understand and manipulate objects in dynamic environments. The research lays the foundation for more effective task learning and execution in autonomous robotic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google