A Generative System for Robot-to-Human Handovers: from Intent Inference to Spatial Configuration Imagery

要約

人間の同僚の相互作用をエミュレートするロボットから人間へのオブジェクトの引き渡しのための新しいシステムを提案します。
主に把握戦略とモーション計画に焦点を当てたほとんどの既存の研究とは異なり、私たちのシステムは1に焦点を当てています。
最初のものは、人間の意図を推測するために、マルチモーダルの知覚を結合する視覚的および言葉による手がかりを統合します。
2番目は、拡散ベースのモデルを使用してハンドオーバー構成を生成し、ロボットのグリッパー、オブジェクト、および人間の手の間の空間的関係を伴い、それによって運動画像の認知プロセスを模倣します。
実験結果は、私たちのアプローチが人間の手がかりを効果的に解釈し、流fluentで人間のような手ぶれを達成し、共同ロボット工学の有望なソリューションを提供することを示しています。
コード、ビデオ、およびデータは、https：//i3handover.github.ioで入手できます。

要約(オリジナル)

We propose a novel system for robot-to-human object handover that emulates human coworker interactions. Unlike most existing studies that focus primarily on grasping strategies and motion planning, our system focus on 1. inferring human handover intents, 2. imagining spatial handover configuration. The first one integrates multimodal perception-combining visual and verbal cues-to infer human intent. The second one using a diffusion-based model to generate the handover configuration, involving the spacial relationship among robot’s gripper, the object, and the human hand, thereby mimicking the cognitive process of motor imagery. Experimental results demonstrate that our approach effectively interprets human cues and achieves fluent, human-like handovers, offering a promising solution for collaborative robotics. Code, videos, and data are available at: https://i3handover.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google