‘Guess what I’m doing’: Extending legibility to sequential decision tasks

要約

この論文では、不確実性の下での逐次決定タスクにおける可読性の概念を調査します。
ロボットの動作を超えたシナリオに可読性を拡張する以前の研究は、決定論的な設定に焦点を当てているか、計算コストが高すぎるかのいずれかでした。
私たちが提案する PoL-MDP と呼ばれるアプローチは、計算上扱いやすいままでありながら、不確実性を処理することができます。
複雑さの異なるいくつかのシミュレートされたシナリオで、最先端のアプローチに対する当社のアプローチの利点を確立します。
また、逆強化学習エージェントのデモンストレーションとして読みやすいポリシーの使用を紹介し、最適なポリシーに基づいて一般的に使用されるデモンストレーションに対する優位性を確立します。
最後に、ユーザー調査を通じて、計算されたポリシーの読みやすさを評価します。ユーザー調査では、人々がモバイル ロボットの動作を観察して、読みやすいポリシーに従った移動ロボットの目標を推測するように求められます。

要約(オリジナル)

In this paper we investigate the notion of legibility in sequential decision tasks under uncertainty. Previous works that extend legibility to scenarios beyond robot motion either focus on deterministic settings or are computationally too expensive. Our proposed approach, dubbed PoL-MDP, is able to handle uncertainty while remaining computationally tractable. We establish the advantages of our approach against state-of-the-art approaches in several simulated scenarios of different complexity. We also showcase the use of our legible policies as demonstrations for an inverse reinforcement learning agent, establishing their superiority against the commonly used demonstrations based on the optimal policy. Finally, we assess the legibility of our computed policies through a user study where people are asked to infer the goal of a mobile robot following a legible policy by observing its actions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google