Training People to Reward Robots

要約

デモンストレーション（LFD）から学ぶことは、専門家の教師がロボットシステムにタスク指向のスキルを教えることができる手法です。
ただし、特定の教育タスクのために初心者の教師に専門家レベルのデモンストレーションに定量的にアプローチするように導く最も効果的な方法は、未解決の問題です。
この目的のために、このペーパーでは、デモンストレーションからの強化学習（RLFD）に基づいて、初心者の教師が教育スキルを向上させるために、マシンティーチング（MT）の使用を調査します。
この論文は、初心者がMT由来のガイダンスを受けて、特定のモータースキルを8つのデモンストレーションで教える能力を訓練し、これを以前に見えなかったものに一般化する実験を報告しています。
結果は、MT調節により、トレーニングスキルのロボット学習パフォーマンスが89％増加するだけでなく、トレーニング中に被験者が見ていないスキルのロボット学習パフォーマンスを70％改善することも示しています。
これらの発見は、人間の教育行動を拡張することにおけるMT調節の有効性を強調し、最終的にRLFDのデモの質を向上させます。

要約(オリジナル)

Learning from demonstration (LfD) is a technique that allows expert teachers to teach task-oriented skills to robotic systems. However, the most effective way of guiding novice teachers to approach expert-level demonstrations quantitatively for specific teaching tasks remains an open question. To this end, this paper investigates the use of machine teaching (MT) to guide novice teachers to improve their teaching skills based on reinforcement learning from demonstration (RLfD). The paper reports an experiment in which novices receive MT-derived guidance to train their ability to teach a given motor skill with only 8 demonstrations and generalise this to previously unseen ones. Results indicate that the MT-guidance not only enhances robot learning performance by 89% on the training skill but also causes a 70% improvement in robot learning performance on skills not seen by subjects during training. These findings highlight the effectiveness of MT-guidance in upskilling human teaching behaviours, ultimately improving demonstration quality in RLfD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google