Two-step dynamic obstacle avoidance

要約

動的障害物回避 (DOA) は、海、空、陸のいずれで動作するかに関係なく、あらゆる自動運転車にとって基本的な課題です。
この論文では、教師あり学習と強化学習 (RL) を組み合わせて DOA タスクを処理するための 2 段階のアーキテクチャを提案します。
最初のステップでは、リカレント ニューラル ネットワークを使用して障害物の衝突リスクを推定するデータ駆動型アプローチを導入します。リカレント ニューラル ネットワークは教師付きでトレーニングされ、非線形の障害物の動きに対する堅牢性を提供します。
2 番目のステップでは、状況認識を高めるために、これらの衝突リスクの推定値を RL エージェントの観察空間に組み込みます。~中を移動する必要がある困難な環境でさまざまな RL エージェントをトレーニングすることで、2 段階のアプローチの威力を示します。
複数の障害物。
私たちのアーキテクチャはあらゆる障害物のダイナミクスに適していますが、障害物の非線形の動きは確率過程と周期的パターンに基づいて例示的にモデル化されています。
実験では、衝突リスクのメトリクスを観測空間に統合すると、報酬の観点からパフォーマンスが 2 倍になり、これは考慮された環境での衝突の数が半分になることに相当することが明らかになりました。
さらに、アーキテクチャのパフォーマンス向上は、適用される RL アルゴリズムとは無関係であることを示します。

要約(オリジナル)

Dynamic obstacle avoidance (DOA) is a fundamental challenge for any autonomous vehicle, independent of whether it operates in sea, air, or land. This paper proposes a two-step architecture for handling DOA tasks by combining supervised and reinforcement learning (RL). In the first step, we introduce a data-driven approach to estimate the collision risk of an obstacle using a recurrent neural network, which is trained in a supervised fashion and offers robustness to non-linear obstacle movements. In the second step, we include these collision risk estimates into the observation space of an RL agent to increase its situational awareness.~We illustrate the power of our two-step approach by training different RL agents in a challenging environment that requires to navigate amid multiple obstacles. The non-linear movements of obstacles are exemplarily modeled based on stochastic processes and periodic patterns, although our architecture is suitable for any obstacle dynamics. The experiments reveal that integrating our collision risk metrics into the observation space doubles the performance in terms of reward, which is equivalent to halving the number of collisions in the considered environment. Furthermore, we show that the architecture’s performance improvement is independent of the applied RL algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google