Consistency Matters: Defining Demonstration Data Quality Metrics in Robot Learning from Demonstration

要約

Learning from Demonstration (LfD) により、人間のデモンストレーションを通じてロボットが新しいスキルを習得できるようになり、日常のユーザーがロボットに教えることが可能になります。
ただし、学習と一般化が成功するかどうかは、これらのデモンストレーションの質に大きく依存します。
一貫性は、LfD の品質を示すためによく使用されますが、この一貫性を定義する要因はまだ十分に解明されていません。
このペーパーでは、運動データの特性の包括的なセットを評価して、どの一貫性測定が学習パフォーマンスを最もよく予測するかを決定します。
トレーニング前にデモンストレーションの一貫性を確保することで、モデルの予測精度と新しいシナリオへの一般化が強化されます。
私たちは、さまざまなレベルのロボット工学の専門知識を持つ参加者を対象とした 2 つのユーザー調査でアプローチを検証します。
最初の研究 (N = 24) では、ユーザーは PR2 ロボットに制約された環境でボタンを押すタスクを実行するよう教えましたが、2 番目の研究 (N = 30) では、参加者は UR5 ロボットにピックアンドプレイスを訓練しました
タスク。
結果は、デモンストレーションの一貫性が学習と汎化の両方の成功率に大きな影響を与えることを示しており、一貫性指標を使用して予測された 2 つの研究におけるタスクの成功率は 70% と 89% でした。
さらに、当社のメトリクスは、一般化されたパフォーマンスの成功率を 76% および 91% の精度で推定します。
これらの発見は、私たちが提案した尺度が、専門家のデータやアルゴリズム固有の変更を必要とせずに、トレーニング前にデモンストレーションデータの品質を評価する直感的で実用的な方法を提供することを示唆しています。
私たちのアプローチは、デモンストレーションの品質を評価する体系的な方法を提供し、人間のデモンストレーションからロボットが学習する信頼性を高める一貫性指標を形式化することで、LfD の重大なギャップに対処します。

要約(オリジナル)

Learning from Demonstration (LfD) empowers robots to acquire new skills through human demonstrations, making it feasible for everyday users to teach robots. However, the success of learning and generalization heavily depends on the quality of these demonstrations. Consistency is often used to indicate quality in LfD, yet the factors that define this consistency remain underexplored. In this paper, we evaluate a comprehensive set of motion data characteristics to determine which consistency measures best predict learning performance. By ensuring demonstration consistency prior to training, we enhance models’ predictive accuracy and generalization to novel scenarios. We validate our approach with two user studies involving participants with diverse levels of robotics expertise. In the first study (N = 24), users taught a PR2 robot to perform a button-pressing task in a constrained environment, while in the second study (N = 30), participants trained a UR5 robot on a pick-and-place task. Results show that demonstration consistency significantly impacts success rates in both learning and generalization, with 70% and 89% of task success rates in the two studies predicted using our consistency metrics. Moreover, our metrics estimate generalized performance success rates with 76% and 91% accuracy. These findings suggest that our proposed measures provide an intuitive, practical way to assess demonstration data quality before training, without requiring expert data or algorithm-specific modifications. Our approach offers a systematic way to evaluate demonstration quality, addressing a critical gap in LfD by formalizing consistency metrics that enhance the reliability of robot learning from human demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google