Learning Spatial Bimanual Action Models Based on Affordance Regions and Human Demonstrations

要約

この論文では、関係するオブジェクトのアフォーダンス領域間の空間制約 (アフォーダンス制約と呼ばれます) を抽出することにより、人間のデモンストレーションから両手操作アクションを学習するための新しいアプローチを紹介します。
アフォーダンス領域は、エージェントにインタラクションの可能性を提供するオブジェクト部分として定義されます。
たとえば、ボトルの底は物体を表面に置き、注ぎ口は入っている液体を注ぐことができます。
我々は、人間のデモンストレーションにおけるアフォーダンス制約の変化を学習して、オブジェクトの相互作用を表す空間的両手操作モデルを構築するための新しいアプローチを提案します。
これらの空間両手操作モデルにエンコードされた情報を活用するために、初期シーン、学習されたアフォーダンス制約、ロボットの運動学を考慮しながら、複数の実行キーポイントにわたって最適なオブジェクト構成を決定する最適化問題を定式化します。
2 つのタスク例 (飲み物を注ぐことと生地を丸めること) を使用してシミュレーションでアプローチを評価し、アフォーダンス制約の 3 つの異なる定義を比較します: (i) デカルト空間におけるアフォーダンス領域間のコンポーネントごとの距離、(ii) アフォーダンス領域間のコンポーネントごとの距離
(iii) 手動で定義された象徴的な空間アフォーダンス制約の満足度。

要約(オリジナル)

In this paper, we present a novel approach for learning bimanual manipulation actions from human demonstration by extracting spatial constraints between affordance regions, termed affordance constraints, of the objects involved. Affordance regions are defined as object parts that provide interaction possibilities to an agent. For example, the bottom of a bottle affords the object to be placed on a surface, while its spout affords the contained liquid to be poured. We propose a novel approach to learn changes of affordance constraints in human demonstration to construct spatial bimanual action models representing object interactions. To exploit the information encoded in these spatial bimanual action models, we formulate an optimization problem to determine optimal object configurations across multiple execution keypoints while taking into account the initial scene, the learned affordance constraints, and the robot’s kinematics. We evaluate the approach in simulation with two example tasks (pouring drinks and rolling dough) and compare three different definitions of affordance constraints: (i) component-wise distances between affordance regions in Cartesian space, (ii) component-wise distances between affordance regions in cylindrical space, and (iii) degrees of satisfaction of manually defined symbolic spatial affordance constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google