Naming Objects for Vision-and-Language Manipulation

要約

自然言語によるロボット操作タスクは、人間とロボットの間で対象物に関する共通理解が必要である。しかし、自然言語による指示は、重要な情報が欠落していたり、対象物を正しく表現できていなかったりするため、解釈の曖昧さを伴うことが多い。この曖昧さの問題を解決するために、我々は、あらかじめ対象物に「名前を付ける」ことで、自然言語による指示の曖昧さを軽減することができると仮定している。我々は、あらかじめ対象物の外観を伴う命名をしておくことで、後の操作タスクにおいて、対象物を容易に曖昧にするために、その固有の名前を用いて指示を行うことができるロボットシステムと方法を提案する。本手法の有効性を示すために、対象物を記憶するシステムを構築し、対象物に名前を付けることで対象物の検出が容易になり、操作指示の成功率が向上することを示す。本手法を用いると、曖昧な指示の場合、物体操作タスクの成功率が31%向上する。

要約(オリジナル)

Robot manipulation tasks by natural language instructions need common understanding of the target object between human and the robot. However, the instructions often have an interpretation ambiguity, because the instruction lacks important information, or does not express the target object correctly to complete the task. To solve this ambiguity problem, we hypothesize that ‘naming’ the target objects in advance will reduce the ambiguity of natural language instructions. We propose a robot system and method that incorporates naming with appearance of the objects in advance, so that in the later manipulation task, instruction can be performed with its unique name to disambiguate the objects easily. To demonstrate the effectiveness of our approach, we build a system that can memorize the target objects, and show that naming the objects facilitates detection of the target objects and improves the success rate of manipulation instructions. With this method, the success rate of object manipulation task increases by 31% in ambiguous instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL