Consistency Matters: Defining Demonstration Data Quality Metrics in Robot Learning from Demonstration

要約

デモンストレーション（LFD）から学ぶことで、ロボットは人間のデモンストレーションを通じて新しいスキルを獲得することができ、日常のユーザーがロボットを教えることができます。
ただし、学習と一般化の成功は、これらのデモンストレーションの質に大きく依存しています。
一貫性は、LFDの品質を示すためにしばしば使用されますが、この一貫性を定義する要因は露出不足のままです。
この論文では、包括的なモーションデータ特性のセットを評価して、どの一貫性が学習パフォーマンスを最適に予測するかを決定します。
トレーニング前にデモンストレーションの一貫性を確保することにより、モデルの予測精度と新しいシナリオへの一般化を強化します。
ロボット工学の専門知識の多様なレベルを持つ参加者を含む2つのユーザー研究でアプローチを検証します。
最初の調査（n = 24）では、ユーザーは制約された環境でボタンプレスタスクを実行するようにPR2ロボットを教えましたが、2番目の調査（n = 30）では、参加者はピックアンドプレイスタスクでUR5ロボットを訓練しました。
結果は、デモンストレーションの一貫性が学習と一般化の両方で成功率に大きく影響し、一貫性メトリックを使用して予測された2つの研究でタスクの成功率の70％と89％が重要であることを示しています。
さらに、私たちのメトリックは、76％と91％の精度で一般化されたパフォーマンスの成功率を推定しています。
これらの調査結果は、提案された措置が、専門家のデータやアルゴリズム固有の変更を必要とせずに、トレーニング前にデモデータの品質を評価する直感的で実用的な方法を提供することを示唆しています。
私たちのアプローチは、デモンストレーションの品質を評価する体系的な方法を提供し、人間のデモンストレーションからのロボット学習の信頼性を高める一貫性メトリックを形式化することにより、LFDの重大なギャップに対処します。

要約(オリジナル)

Learning from Demonstration (LfD) empowers robots to acquire new skills through human demonstrations, making it feasible for everyday users to teach robots. However, the success of learning and generalization heavily depends on the quality of these demonstrations. Consistency is often used to indicate quality in LfD, yet the factors that define this consistency remain underexplored. In this paper, we evaluate a comprehensive set of motion data characteristics to determine which consistency measures best predict learning performance. By ensuring demonstration consistency prior to training, we enhance models’ predictive accuracy and generalization to novel scenarios. We validate our approach with two user studies involving participants with diverse levels of robotics expertise. In the first study (N = 24), users taught a PR2 robot to perform a button-pressing task in a constrained environment, while in the second study (N = 30), participants trained a UR5 robot on a pick-and-place task. Results show that demonstration consistency significantly impacts success rates in both learning and generalization, with 70% and 89% of task success rates in the two studies predicted using our consistency metrics. Moreover, our metrics estimate generalized performance success rates with 76% and 91% accuracy. These findings suggest that our proposed measures provide an intuitive, practical way to assess demonstration data quality before training, without requiring expert data or algorithm-specific modifications. Our approach offers a systematic way to evaluate demonstration quality, addressing a critical gap in LfD by formalizing consistency metrics that enhance the reliability of robot learning from human demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google