Hierarchical Planning and Policy Shaping Shared Autonomy for Articulated Robots

要約

この研究では、多関節ロボットを操作するための新しい自律共有フレームワークを提案します。
私たちは、多関節ロボットのコンテキスト認識動作における効率的な人間とロボットの相互作用のための、タスク指向の階層計画とポリシー形成アルゴリズムの両方を設計する戦略を提供します。
システムに参加するエージェントとしての人間と自律性の間の相互作用に関する私たちのフレームワークは、特にマルチエージェント システム、ゲーム理論、自律性のスライド レベルのための心の理論からのアイデアの影響を受けています。
私たちは、MDP とオプションのフレームワークを共有自律性まで拡張することで、逐次的な階層的な人間参加型の意思決定プロセスを定式化し、ディープ RL テクニックを利用して不確実性を認識した共有自律性ポリシーをトレーニングします。
人間に合わせて定式化を微調整するために、代用最適モデルに関するシステム状態、人間の行動、およびそれらのエラーの履歴を使用し、条件付き VAE を使用して設計値を超えた人間の内部状態の埋め込みをエンコードします。
私たちは、木材の収穫という困難な作業におけるフェラーバンチャーマシンのケーススタディを使用して、さまざまな人間のスキルレベルと協調性の程度に対する私たちの処方の有効性を紹介します。
私たちのフレームワークは、完全自律から完全手動までのスライド レベルの自律性を提供することに成功しており、ループ内で騒々しい非協力的なヒューマン エージェントを処理することに特に成功しています。
提案されたフレームワークは、多関節ロボットを操作するための共有自律性における最先端の技術を進歩させるものですが、自律操作が最終目標である他の領域にも適用できます。

要約(オリジナル)

In this work, we propose a novel shared autonomy framework to operate articulated robots. We provide strategies to design both the task-oriented hierarchical planning and policy shaping algorithms for efficient human-robot interactions in context-aware operation of articulated robots. Our framework for interplay between the human and the autonomy, as the participating agents in the system, is particularly influenced by the ideas from multi-agent systems, game theory, and theory of mind for a sliding level of autonomy. We formulate the sequential hierarchical human-in-the-loop decision making process by extending MDPs and Options framework to shared autonomy, and make use of deep RL techniques to train an uncertainty-aware shared autonomy policy. To fine-tune the formulation to a human, we use history of the system states, human actions, and their error with respect to a surrogate optimal model to encode human’s internal state embeddings, beyond the designed values, by using conditional VAEs. We showcase the effectiveness of our formulation for different human skill levels and degrees of cooperativeness by using a case study of a feller-buncher machine in the challenging tasks of timber harvesting. Our framework is successful in providing a sliding level of autonomy from fully autonomous to fully manual, and is particularly successful in handling a noisy non-cooperative human agent in the loop. The proposed framework advances the state-of-the-art in shared autonomy for operating articulated robots, but can also be applied to other domains where autonomous operation is the ultimate goal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google