Predicting Object Interactions with Behavior Primitives: An Application in Stowing Tasks

要約

物を雑然とした棚や箱に入れる作業である収納は、倉庫や製造業務でよく行われる作業です。
ただし、複雑な複数のオブジェクトの相互作用と長期にわたるタスクの性質により、積み込みは自動化が困難であるため、このタスクは依然として人間の作業者によって実行されることがほとんどです。
これまでの研究では通常、広範なデータ収集と、さまざまなオブジェクト カテゴリにわたる意味論的な事前の人間によるラベル付けにコストがかかりました。
この論文では、オブジェクトの相互作用の予測モデルと動作プリミティブを使用した単一のデモンストレーションから、一般化可能なロボット収納ポリシーを学習する方法を紹介します。
我々は、グラフニューラルネットワークを利用して、動作プリミティブのパラメータ空間内でオブジェクトの相互作用を予測する新しいフレームワークを提案します。
さらに、プリミティブ拡張軌道最適化を使用して、異種動作プリミティブの事前定義ライブラリのパラメーターを検索し、制御アクションをインスタンス化します。
私たちのフレームワークを使用すると、ロボットは 1 回のデモン​​ストレーションからいくつかのキーフレーム (3 ～ 4 個) を使用して、長期にわたる収納タスクを上手に実行できます。
シミュレーションのみでトレーニングされているにもかかわらず、私たちのフレームワークは驚くべき一般化機能を示しています。
さまざまな棚の幅、変動する物の量、サイズや形状などの多様な属性を持つ物体など、現実世界の広範な条件に効率的に適応します。

要約(オリジナル)

Stowing, the task of placing objects in cluttered shelves or bins, is a common task in warehouse and manufacturing operations. However, this task is still predominantly carried out by human workers as stowing is challenging to automate due to the complex multi-object interactions and long-horizon nature of the task. Previous works typically involve extensive data collection and costly human labeling of semantic priors across diverse object categories. This paper presents a method to learn a generalizable robot stowing policy from predictive model of object interactions and a single demonstration with behavior primitives. We propose a novel framework that utilizes Graph Neural Networks to predict object interactions within the parameter space of behavioral primitives. We further employ primitive-augmented trajectory optimization to search the parameters of a predefined library of heterogeneous behavioral primitives to instantiate the control action. Our framework enables robots to proficiently execute long-horizon stowing tasks with a few keyframes (3-4) from a single demonstration. Despite being solely trained in a simulation, our framework demonstrates remarkable generalization capabilities. It efficiently adapts to a broad spectrum of real-world conditions, including various shelf widths, fluctuating quantities of objects, and objects with diverse attributes such as sizes and shapes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google