Affordance Blending Networks

要約

アフォーダンスは、生態心理学に根ざし、ジェームズ J. ギブソンによって開拓された概念であり、個人とその環境の間の動的な関係を理解するための基本的な枠組みとして浮上しました。
従来の知覚および認知パラダイムを超えて拡大するアフォーダンスは、特定のコンテキスト内でオブジェクトがエージェントに提供する固有の効果とアクションの可能性を表します。
理論的なレンズとして、アフォーダンスは効果とアクションの間のギャップを埋め、エンティティに対するエージェントのアクションとこれらのアクションの効果との間のつながりについての微妙な理解を提供します。
この研究では、オブジェクト、アクション、効果を、アフォーダンス空間と呼ばれるすべてのアフォーダンス間で共有される共通の潜在空間内の単一の潜在表現に統合するモデルを提案します。
このアフォーダンス空間を使用して、私たちのシステムは、アクションとオブジェクトが与えられたときにエフェクトの軌道を生成することができ、また、エフェクトの軌道とオブジェクトが与えられたときにアクションの軌道を生成することができます。
実験では、モデルが各オブジェクトの動作を学習するのではなく、等価性と呼ばれる、オブジェクトによって共有されるアフォーダンス関係を学習することが示されました。
模擬実験に加えて、私たちのモデルが実際の事例で直接模倣するために使用できることを示しました。
また、異なるロボットの動作を連携させるためのクロス・インディメンテーション伝達の基盤となるアフォーダンスを提案します。
最後に、不決定的なモデル入力に対して有効な出力を生成できるソリューションとして、選択的損失を紹介します。

要約(オリジナル)

Affordances, a concept rooted in ecological psychology and pioneered by James J. Gibson, have emerged as a fundamental framework for understanding the dynamic relationship between individuals and their environments. Expanding beyond traditional perceptual and cognitive paradigms, affordances represent the inherent effect and action possibilities that objects offer to the agents within a given context. As a theoretical lens, affordances bridge the gap between effect and action, providing a nuanced understanding of the connections between agents’ actions on entities and the effect of these actions. In this study, we propose a model that unifies object, action and effect into a single latent representation in a common latent space that is shared between all affordances that we call the affordance space. Using this affordance space, our system is able to generate effect trajectories when action and object are given and is able to generate action trajectories when effect trajectories and objects are given. In the experiments, we showed that our model does not learn the behavior of each object but it learns the affordance relations shared by the objects that we call equivalences. In addition to simulated experiments, we showed that our model can be used for direct imitation in real world cases. We also propose affordances as a base for Cross Embodiment transfer to link the actions of different robots. Finally, we introduce selective loss as a solution that allows valid outputs to be generated for indeterministic model inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google