Open Human-Robot Collaboration using Decentralized Inverse Reinforcement Learning

要約

人間とロボットが共通の目標に向かって協力するヒューマン・ロボット・コラボレーション（HRC）への関心が高まっており、過去 10 年間で大きな進歩が見られました。
これまでの研究ではさまざまな課題が解決されてきましたが、いくつかの重要な問題は未解決のままです。
HRC 内の多くのドメインには、タスク全体を通じて必ずしも人間の存在を必要としないアクティビティが含まれます。
既存の文献では通常、HRC を閉じたシステムとしてモデル化しており、タスクの全期間中すべてのエージェントが存在します。
対照的に、オープン モデルでは、エージェントが必要に応じてコラボレーションに参加したり終了したりできるため、柔軟性が提供され、他のタスクを同時に管理できるようになります。
このペーパーでは、oDec-MDP と呼ばれる新しいマルチエージェント フレームワークを紹介します。これは、エージェントが実行中に柔軟にタスクに参加または離脱できるオープン HRC シナリオをモデル化するために特別に設計されました。
最近のマルチエージェント逆強化学習法である Dec-AIRL を一般化し、oDec-MDP を使用してモデル化されたオープン システムから学習します。
私たちの方法は、簡略化されたおもちゃの消防ドメインと現実的な人間とロボットの二者連携アセンブリの両方で行われた実験を通じて検証されています。
結果は、私たちのフレームワークと学習方法が、対応するクローズドシステムよりも改善されていることを示しています。

要約(オリジナル)

The growing interest in human-robot collaboration (HRC), where humans and robots cooperate towards shared goals, has seen significant advancements over the past decade. While previous research has addressed various challenges, several key issues remain unresolved. Many domains within HRC involve activities that do not necessarily require human presence throughout the entire task. Existing literature typically models HRC as a closed system, where all agents are present for the entire duration of the task. In contrast, an open model offers flexibility by allowing an agent to enter and exit the collaboration as needed, enabling them to concurrently manage other tasks. In this paper, we introduce a novel multiagent framework called oDec-MDP, designed specifically to model open HRC scenarios where agents can join or leave tasks flexibly during execution. We generalize a recent multiagent inverse reinforcement learning method – Dec-AIRL to learn from open systems modeled using the oDec-MDP. Our method is validated through experiments conducted in both a simplified toy firefighting domain and a realistic dyadic human-robot collaborative assembly. Results show that our framework and learning method improves upon its closed system counterpart.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google