Learning Implicit Social Navigation Behavior using Deep Inverse Reinforcement Learning

要約

この論文では、エージェントの軌跡とシーンの幾何学を考慮してロボットがいつでもその経路を推論できる動的環境におけるソーシャル ナビゲーションのための報酬マップの学習について報告します。
密集したダイナミックな屋内環境を移動する人間は、多くの場合、いくつかの暗黙の社会ルールに従って動作します。
ルールベースのアプローチでは、人間、ロボット、シーンの間で起こり得るすべてのインタラクションをモデル化することはできません。
私たちは、専門家のデモを超えて外挿して、数ショットのデモからシーンのナビゲーション性をより適切にエンコードできる、新しいスムーズ最大エントロピー深層逆強化学習 (S-MEDIRL) アルゴリズムを提案します。
エージェントは、軌跡データとシーンのジオメトリに基づいてコスト マップを予測する方法を学習します。
エージェントは軌跡をサンプリングし、ローカル群集ナビゲーション コントローラーを使用して実行します。
狭い交差点のシナリオをロボットと人間がナビゲートする、フォトリアリスティックなシミュレーション環境での結果を示します。
ロボットは、対向車に道を譲ったり、行き詰まりを回避したりするなどの社会的行動を暗黙的に学習します。
提案されたアプローチを、人気のあるモデルベースの群衆ナビゲーション アルゴリズム ORCA および譲歩を示すルールベースのエージェントと比較します。

要約(オリジナル)

This paper reports on learning a reward map for social navigation in dynamic environments where the robot can reason about its path at any time, given agents’ trajectories and scene geometry. Humans navigating in dense and dynamic indoor environments often work with several implied social rules. A rule-based approach fails to model all possible interactions between humans, robots, and scenes. We propose a novel Smooth Maximum Entropy Deep Inverse Reinforcement Learning (S-MEDIRL) algorithm that can extrapolate beyond expert demos to better encode scene navigability from few-shot demonstrations. The agent learns to predict the cost maps reasoning on trajectory data and scene geometry. The agent samples a trajectory that is then executed using a local crowd navigation controller. We present results in a photo-realistic simulation environment, with a robot and a human navigating a narrow crossing scenario. The robot implicitly learns to exhibit social behaviors such as yielding to oncoming traffic and avoiding deadlocks. We compare the proposed approach to the popular model-based crowd navigation algorithm ORCA and a rule-based agent that exhibits yielding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google