Text-driven object affordance for guiding grasp-type recognition in multimodal robot teaching

要約

本研究では、各物体の把持タイプに関する事前知識を提供するテキスト駆動型のオブジェクトアフォーダンスが、ロボット教育における画像ベースの把持タイプ認識にどのような影響を与えるかを検討する。研究者は、物体アフォーダンスが認識性能に与える影響を調べるために、一人称の手の画像のラベル付きデータセットを作成した。また、視覚的な物体情報が制限される可能性のある複合現実教育条件を考慮し、現実の物体と幻の物体を用いたシナリオを評価しました。その結果、物体アフォーダンスは、ありそうもない把持タイプを除外し、ありそうな把持タイプを強調することによって、画像ベースの認識を向上させることが示された。また、物体アフォーダンスの効果は、各物体の特定の把持タイプへの偏りが強いほど顕著であった。これらの結果は、画像に実物があるかどうかに関わらず、マルチモーダルロボット教育におけるオブジェクトアフォーダンスの重要性を強調するものである。サンプルコードは https://github.com/microsoft/arr-grasp-type-recognition に掲載されています。

要約(オリジナル)

This study investigates how text-driven object affordance, which provides prior knowledge about grasp types for each object, affects image-based grasp-type recognition in robot teaching. The researchers created labeled datasets of first-person hand images to examine the impact of object affordance on recognition performance. They evaluated scenarios with real and illusory objects, considering mixed reality teaching conditions where visual object information may be limited. The results demonstrate that object affordance improves image-based recognition by filtering out unlikely grasp types and emphasizing likely ones. The effectiveness of object affordance was more pronounced when there was a stronger bias towards specific grasp types for each object. These findings highlight the significance of object affordance in multimodal robot teaching, regardless of whether real objects are present in the images. Sample code is available on https://github.com/microsoft/arr-grasp-type-recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL