Cross-Tool and Cross-Behavior Perceptual Knowledge Transfer for Grounded Object Recognition

要約

人間は、視覚、聴覚、触覚などの複数の知覚を使用し、インタラクションを通じてオブジェクトについて学習します。
視覚は物体の外観に関する情報を提供できますが、音声や触覚などの非視覚センサーは、重量、温度、硬さ、物体の音などの本質的な特性に関する情報を提供できます。
ツールを使用してオブジェクトと対話すると、他の方法では隠されていた追加のオブジェクトのプロパティを明らかにすることができます (たとえば、ナイフやスプーンを使用して、食感や粘稠度などの食品の特性を調べることができます)。
ロボットはツールを使用してオブジェクトと対話し、非視覚センサーを介してその暗黙のプロパティに関する情報を収集できます。
ただし、ツールを介した動作を使用してオブジェクトを認識するロボットのモデルは、観察されたデータ分布が異なるため、新しいツールや動作に一般化されません。
この課題に対処するために、ロボットがさまざまなツールや動作にわたって粒度の高いオブジェクトに関する暗黙的な知識を転送できるようにするフレームワークを提案します。
提案されたアプローチは、ツールを使用してオブジェクトと対話しながら、それぞれの感覚データによって生成された複数のロボットのコンテキストから共有潜在空間を学習します。
私たちは、15 の粒状オブジェクトに対して 6 つのツールと 6 つの動作を使用して 5,400 のインタラクションを実行する UR5 ロボットを使用してデータセットを収集し、クロスツールおよびクロス動作転送タスクでメソッドをテストしました。
私たちの結果は、経験の浅いターゲットロボットがソースロボットから得た経験から恩恵を受け、一連の新しいオブジェクトの認識を実行できることを示しています。
コード、データセット、および追加の結果をリリースしました: https://github.com/gtatiya/Tool-Knowledge-Transfer。

要約(オリジナル)

Humans learn about objects via interaction and using multiple perceptions, such as vision, sound, and touch. While vision can provide information about an object’s appearance, non-visual sensors, such as audio and haptics, can provide information about its intrinsic properties, such as weight, temperature, hardness, and the object’s sound. Using tools to interact with objects can reveal additional object properties that are otherwise hidden (e.g., knives and spoons can be used to examine the properties of food, including its texture and consistency). Robots can use tools to interact with objects and gather information about their implicit properties via non-visual sensors. However, a robot’s model for recognizing objects using a tool-mediated behavior does not generalize to a new tool or behavior due to differing observed data distributions. To address this challenge, we propose a framework to enable robots to transfer implicit knowledge about granular objects across different tools and behaviors. The proposed approach learns a shared latent space from multiple robots’ contexts produced by respective sensory data while interacting with objects using tools. We collected a dataset using a UR5 robot that performed 5,400 interactions using 6 tools and 6 behaviors on 15 granular objects and tested our method on cross-tool and cross-behavioral transfer tasks. Our results show the less experienced target robot can benefit from the experience gained from the source robot and perform recognition on a set of novel objects. We have released the code, datasets, and additional results: https://github.com/gtatiya/Tool-Knowledge-Transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google