Tangled Program Graphs as an alternative to DRL-based control algorithms for UAVs

要約

深層強化学習 (DRL) は、現在、自動運転車制御に対する AI ベースのアプローチとして最も人気があります。
この目的のためにシミュレーションでトレーニングされたエージェントは、人間レベルのパフォーマンスで現実の環境と対話できます。
選択されたメトリクスに関しては非常に良好な結果が得られましたが、このアプローチには、高い計算要件と低い説明可能性といういくつかの重大な欠点があります。
そのため、特に安全性が重要な問題である場合、DRL ベースのエージェントは一部の制御タスクでは使用できません。
したがって、制御関連タスクにおける深層強化学習の代替として、タングルド プログラム グラフ (TPG) を使用することを提案します。
このアプローチでは、入力信号はグラフ構造に結合された単純なプログラムによって処理されます。
その結果、TPG は計算量が少なくなり、そのアクションはグラフ構造に基づいて説明できます。
この論文では、制御関連タスクにおける DRL の代替としての TPG の使用に関する研究を紹介します。
特に、搭載された LiDAR センサーのみに基づいて、未知の環境で無人航空機 (UAV) をナビゲーションする問題を検討します。
私たちの研究結果は、制御関連タスクにおける TPG の使用について有望な見通しを示しています。

要約(オリジナル)

Deep reinforcement learning (DRL) is currently the most popular AI-based approach to autonomous vehicle control. An agent, trained for this purpose in simulation, can interact with the real environment with a human-level performance. Despite very good results in terms of selected metrics, this approach has some significant drawbacks: high computational requirements and low explainability. Because of that, a DRL-based agent cannot be used in some control tasks, especially when safety is the key issue. Therefore we propose to use Tangled Program Graphs (TPGs) as an alternative for deep reinforcement learning in control-related tasks. In this approach, input signals are processed by simple programs that are combined in a graph structure. As a result, TPGs are less computationally demanding and their actions can be explained based on the graph structure. In this paper, we present our studies on the use of TPGs as an alternative for DRL in control-related tasks. In particular, we consider the problem of navigating an unmanned aerial vehicle (UAV) through the unknown environment based solely on the on-board LiDAR sensor. The results of our work show promising prospects for the use of TPGs in control related-tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google