Cross-Tool and Cross-Behavior Perceptual Knowledge Transfer for Grounded Object Recognition

要約

人間は、相互作用や、視覚、音、触覚などの複数の知覚を使用してオブジェクトについて学習します。
視覚は物体の外観に関する情報を提供できますが、音声や触覚などの非視覚センサーは、重量、温度、硬度、物体の音などの固有の特性に関する情報を提供できます。
ツールを使用してオブジェクトとやり取りすると、他の方法では隠されているオブジェクトの追加のプロパティを明らかにできます (たとえば、ナイフとスプーンを使用して、食感や一貫性などの食品のプロパティを調べることができます)。
ロボットは、ツールを使用してオブジェクトと対話し、非視覚センサーを介して暗黙的なプロパティに関する情報を収集できます。
ただし、ツールを介した動作を使用してオブジェクトを認識するためのロボットのモデルは、観測されたデータ分布が異なるため、新しいツールまたは動作に一般化されません。
この課題に対処するために、ロボットが粒状オブジェクトに関する暗黙の知識をさまざまなツールや動作に転送できるようにするフレームワークを提案します。
提案されたアプローチは、ツールを使用してオブジェクトと対話しながら、それぞれの感覚データによって生成された複数のロボットのコンテキストから共有潜在空間を学習します。
UR5 ロボットを使用してデータセットを収集し、15 個の粒状オブジェクトに対して 6 つのツールと 6 つの動作を使用して 5,400 回のインタラクションを実行し、クロスツールおよびクロス動作転送タスクでメソッドをテストしました。
私たちの結果は、経験の浅いターゲット ロボットがソース ロボットから得た経験から恩恵を受け、一連の新しいオブジェクトの認識を実行できることを示しています。
コード、データセット、追加の結果をリリースしました: https://github.com/gtatiya/Tool-Knowledge-Transfer.

要約(オリジナル)

Humans learn about objects via interaction and using multiple perceptions, such as vision, sound, and touch. While vision can provide information about an object’s appearance, non-visual sensors, such as audio and haptics, can provide information about its intrinsic properties, such as weight, temperature, hardness, and the object’s sound. Using tools to interact with objects can reveal additional object properties that are otherwise hidden (e.g., knives and spoons can be used to examine the properties of food, including its texture and consistency). Robots can use tools to interact with objects and gather information about their implicit properties via non-visual sensors. However, a robot’s model for recognizing objects using a tool-mediated behavior does not generalize to a new tool or behavior due to differing observed data distributions. To address this challenge, we propose a framework to enable robots to transfer implicit knowledge about granular objects across different tools and behaviors. The proposed approach learns a shared latent space from multiple robots’ contexts produced by respective sensory data while interacting with objects using tools. We collected a dataset using a UR5 robot that performed 5,400 interactions using 6 tools and 6 behaviors on 15 granular objects and tested our method on cross-tool and cross-behavioral transfer tasks. Our results show the less experienced target robot can benefit from the experience gained from the source robot and perform recognition on a set of novel objects. We have released the code, datasets, and additional results: https://github.com/gtatiya/Tool-Knowledge-Transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google