Learning When to Ask for Help: Transferring Human Knowledge through Part-Time Demonstration

要約

人間と一緒に動作するロボットは、自律的なタスクの完了を困難にする不慣れな環境に遭遇することがよくあります。
モデルを改善し、データセットのサイズを増やすと、目に見えない環境でのロボットのパフォーマンスを向上させることができますが、データセットの生成とモデルの改良は、あらゆる不慣れな環境では非現実的である可能性があります。
手動操作による人間によるデモンストレーションを利用するアプローチは、これらの不慣れな環境に一般化するのに役立ちますが、満足のいくタスクのパフォーマンスを達成するには、多くの場合、多大な人間の努力と専門知識が必要です。
これらの課題に対処するために、失敗したタスクの実行中にロボットのリダイレクトにパートタイムの人間の対話を活用することを提案します。
私たちは、ロボットがいつ自律的に行​​動を進めるべきか、不確実なときに人間の支援を要求すべきかを学習できるようにする軽量のヘルプ ポリシーをトレーニングします。
パートタイムの人間の介入を組み込むことで、ロボットは間違いから迅速に回復します。
私たちの最もパフォーマンスの高いポリシーでは、人間の介入率がわずか 21 パーセントで、パス長加重成功率が 20 パーセント増加します。
このアプローチは、現実世界の設定でロボットが人間と対話して学習するための実用的な手段を提供し、人間による大幅な介入を必要とせずに効果的にタスクを完了することを容易にします。

要約(オリジナル)

Robots operating alongside humans often encounter unfamiliar environments that make autonomous task completion challenging. Though improving models and increasing dataset size can enhance a robot’s performance in unseen environments, dataset generation and model refinement may be impractical in every unfamiliar environment. Approaches that utilize human demonstration through manual operation can aid in generalizing to these unfamiliar environments, but often require significant human effort and expertise to achieve satisfactory task performance. To address these challenges, we propose leveraging part-time human interaction for redirection of robots during failed task execution. We train a lightweight help policy that allows robots to learn when to proceed autonomously or request human assistance at times of uncertainty. By incorporating part-time human intervention, robots recover quickly from their mistakes. Our best performing policy yields a 20 percent increase in path-length weighted success with only a 21 percent human interaction ratio. This approach provides a practical means for robots to interact and learn from humans in real-world settings, facilitating effective task completion without the need for significant human intervention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google