SKT-Hang: Hanging Everyday Objects via Object-Agnostic Semantic Keypoint Trajectory Generation

要約

私たちは、さまざまな物体をさまざまな支持物に吊るす問題を研究します。
物を吊るすことは、私たちの日常生活のさまざまな場面で遭遇する普遍的な作業です。
ただし、オブジェクトとサポートアイテムの両方は、その形状と構造に大きな変化を示す可能性があり、2 つの困難な問題をもたらします。(1) さまざまなオブジェクトとサポートアイテムにわたってタスクに関連する幾何学的構造を決定すること、および (2) タスクに関連する堅牢なアクションシーケンスを特定すること
サポートアイテムの形状バリエーションに対応します。
この目的を達成するために、我々は、汎用性が高く、日常のさまざまなオブジェクトに適用できる、オブジェクトに依存しない表現である Semantic Keypoint Trajectory (SKT) を提案します。
また、形状条件付き軌道変形ネットワーク (SCTDN) も提案します。これは、サポート アイテムのタスクに関連した幾何学的構造の特徴に基づいてテンプレート軌道を変形することによって SKT を生成する方法を学習するモデルです。
私たちは広範な実験を実施し、成功率と推論時間において既存のロボット吊り下げ方法と比べてフレームワークが大幅に改善されていることを実証しました。
最後に、シミュレーションでトレーニングされたフレームワークは、現実世界で有望な吊り下げ結果を示しています。
ビデオと補足資料については、プロジェクト Web ページ https://hcis-lab.github.io/SKT-Hang/ をご覧ください。

要約(オリジナル)

We study the problem of hanging a wide range of grasped objects on diverse supporting items. Hanging objects is a ubiquitous task that is encountered in numerous aspects of our everyday lives. However, both the objects and supporting items can exhibit substantial variations in their shapes and structures, bringing two challenging issues: (1) determining the task-relevant geometric structures across different objects and supporting items, and (2) identifying a robust action sequence to accommodate the shape variations of supporting items. To this end, we propose Semantic Keypoint Trajectory (SKT), an object-agnostic representation that is highly versatile and applicable to various everyday objects. We also propose Shape-conditioned Trajectory Deformation Network (SCTDN), a model that learns to generate SKT by deforming a template trajectory based on the task-relevant geometric structure features of the supporting items. We conduct extensive experiments and demonstrate substantial improvements in our framework over existing robot hanging methods in the success rate and inference time. Finally, our simulation-trained framework shows promising hanging results in the real world. For videos and supplementary materials, please visit our project webpage: https://hcis-lab.github.io/SKT-Hang/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google