Decomposing the Generalization Gap in Imitation Learning for Visual Robotic Manipulation

要約

視覚的なロボット操作における模倣学習において一般化が難しいのはなぜですか?
この質問に額面通りに答えるのは難しいですが、ロボットから見た環境は、照明条件やカメラの配置など、数え切れないほどの変動要因に分解できることがよくあります。
経験的に、これらの要因の一部を一般化することは、他の要因よりも大きな障害となっていますが、既存の研究では、各要因が一般化のギャップにどの程度寄与しているのかを正確に解明することはほとんどありません。
この質問への答えに向けて、シミュレーションと実際のロボットの言語条件付き操作タスクで模倣学習ポリシーを研究し、さまざまな（一連の）要因への一般化の難しさを定量化します。
また、一般化のより制御された評価を容易にするために、11 の変動要因を含む 19 のタスクの新しいシミュレートされたベンチマークを設計します。
私たちの研究から、一般化の難易度に基づいて因子の順序を決定します。これは、シミュレーションと実際のロボットのセットアップ全体で一貫しています。

要約(オリジナル)

What makes generalization hard for imitation learning in visual robotic manipulation? This question is difficult to approach at face value, but the environment from the perspective of a robot can often be decomposed into enumerable factors of variation, such as the lighting conditions or the placement of the camera. Empirically, generalization to some of these factors have presented a greater obstacle than others, but existing work sheds little light on precisely how much each factor contributes to the generalization gap. Towards an answer to this question, we study imitation learning policies in simulation and on a real robot language-conditioned manipulation task to quantify the difficulty of generalization to different (sets of) factors. We also design a new simulated benchmark of 19 tasks with 11 factors of variation to facilitate more controlled evaluations of generalization. From our study, we determine an ordering of factors based on generalization difficulty, that is consistent across simulation and our real robot setup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google