Transferring Implicit Knowledge of Non-Visual Object Properties Across Heterogeneous Robot Morphologies

要約

人間は、物体と対話し、その本質的な特性を発見するときに、複数のセンサー モダリティを活用します。
視覚モダリティだけを使用するだけでは、オブジェクトのプロパティの背後にある直観（たとえば、2 つの箱のどちらが重いか）を導き出すには不十分であるため、触覚や聴覚などの非視覚モダリティも考慮することが不可欠になります。
ロボットはさまざまなモダリティを活用して、物体との学習された探索的相互作用 (例: つかむ、持ち上げる、振るなどの動作) を介して物体の特性を理解することができますが、課題は残っています。あるロボットが物体の探索を通じて取得した暗黙の知識を、別のロボットが直接活用することはできません。
これは、センサーモデル、観察されたデータ分布、および相互作用能力がこれらの異なるロボット構成間で異なるためです。
インタラクティブな物体認識タスクをゼロから学習するコストのかかるプロセスを回避するために、異種ロボットの形態全体にわたって物体特性の暗黙の知識を転送するための、新しいロボットごとに多段階投影フレームワークを提案します。
7,600 の物体インタラクションを実行する 2 台の異種ロボットを含むデータセットを使用して、物体プロパティ認識タスクと物体同一性認識タスクに対するアプローチを評価します。
結果は、新しく配備されたロボットがすべてのオブジェクトを徹底的に探索しなくても認識モデルをブートストラップできるように、ロボット間で知識を伝達できることを示しています。
また、データ拡張手法を提案し、この手法がモデルの一般化を改善することを示します。
コードとデータセットは https://github.com/gtatiya/Implicit-Knowledge-Transfer でリリースしています。

要約(オリジナル)

Humans leverage multiple sensor modalities when interacting with objects and discovering their intrinsic properties. Using the visual modality alone is insufficient for deriving intuition behind object properties (e.g., which of two boxes is heavier), making it essential to consider non-visual modalities as well, such as the tactile and auditory. Whereas robots may leverage various modalities to obtain object property understanding via learned exploratory interactions with objects (e.g., grasping, lifting, and shaking behaviors), challenges remain: the implicit knowledge acquired by one robot via object exploration cannot be directly leveraged by another robot with different morphology, because the sensor models, observed data distributions, and interaction capabilities are different across these different robot configurations. To avoid the costly process of learning interactive object perception tasks from scratch, we propose a multi-stage projection framework for each new robot for transferring implicit knowledge of object properties across heterogeneous robot morphologies. We evaluate our approach on the object-property recognition and object-identity recognition tasks, using a dataset containing two heterogeneous robots that perform 7,600 object interactions. Results indicate that knowledge can be transferred across robots, such that a newly-deployed robot can bootstrap its recognition models without exhaustively exploring all objects. We also propose a data augmentation technique and show that this technique improves the generalization of models. We release our code and datasets, here: https://github.com/gtatiya/Implicit-Knowledge-Transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google