Quality Diversity under Sparse Reward and Sparse Interaction: Application to Grasping in Robotics

要約

品質多様性 (QD) 手法は、特定の問題に対して多様で高性能なソリューションのセットを生成することを目的としたアルゴリズムです。
もともと進化ロボット工学のために開発されたものですが、ほとんどの QD 研究は限られた一連の領域で実施され、主に適応度と行動信号が密集する移動に適用されます。
ロボット工学における操作にとって、把握は重要なタスクです。
多くの研究コミュニティの努力にもかかわらず、この課題はまだ解決されていません。
把握は、QD 文献において前例のない課題を積み上げています。報酬の希薄性、行動の希薄性、および行動空間の不整合に悩まされています。
現在の研究では、QD が把握にどのように対処できるかを研究しています。
実験は、2 つの異なるロボットグリッパー設定と 5 つの標準オブジェクトに対応する 10 の把握領域で 15 の異なる方法で実施されました。
公平な比較のために、アルゴリズムの評価とその内部コンポーネントを区別する評価フレームワークも提案されています。
得られた結果は、成功したソリューションを優先的に選択する MAP-Elites バリアントが、調査されたメトリクスに関して比較されたすべての方法よりも大幅に優れていることを示しています。
また、疎な相互作用が欺瞞的な新規性をもたらす可能性があるという実験的証拠も発見しました。
私たちの知る限り、この研究で実証された軌道の把握の例を効率的に作成する能力は、文献の中で前例がありません。

要約(オリジナル)

Quality-Diversity (QD) methods are algorithms that aim to generate a set of diverse and high-performing solutions to a given problem. Originally developed for evolutionary robotics, most QD studies are conducted on a limited set of domains – mainly applied to locomotion, where the fitness and the behavior signal are dense. Grasping is a crucial task for manipulation in robotics. Despite the efforts of many research communities, this task is yet to be solved. Grasping cumulates unprecedented challenges in QD literature: it suffers from reward sparsity, behavioral sparsity, and behavior space misalignment. The present work studies how QD can address grasping. Experiments have been conducted on 15 different methods on 10 grasping domains, corresponding to 2 different robot-gripper setups and 5 standard objects. An evaluation framework that distinguishes the evaluation of an algorithm from its internal components has also been proposed for a fair comparison. The obtained results show that MAP-Elites variants that select successful solutions in priority outperform all the compared methods on the studied metrics by a large margin. We also found experimental evidence that sparse interaction can lead to deceptive novelty. To our knowledge, the ability to efficiently produce examples of grasping trajectories demonstrated in this work has no precedent in the literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google