Evaluating Dynamic Environment Difficulty for Obstacle Avoidance Benchmarking

要約

動的障害物回避は、超小型航空機やサービス ロボットなどの自律システムの人気の研究テーマです。
動的障害物回避方法のパフォーマンスを正確に評価するには、環境の困難さを定量化する指標を確立する必要がありますが、これは未調査のままの重要な側面です。
この論文では、動的環境の難しさを測定するための 4 つの指標を提案します。
これらの指標は、障害物の数、サイズ、速度、その他の要因が難易度に及ぼす影響を包括的に把握することを目的としています。
私たちは、提案されたメトリクスを既存の静的環境の難易度メトリクスと比較し、カスタマイズされたシミュレーターで 150 万回を超えるトライアルを通じてそれらを検証します。
このシミュレータは、知覚および制御エラーの影響を排除し、障害物を回避するためのさまざまな動作および視線プランナーをサポートします。
結果は、生存性メトリクスが優れており、スピアマンの順位相関係数 (SRCC) が 0.9 を超える成功率間に単調な関係を確立していることを示しています。
具体的には、どのプランナーにとっても、生存可能性が低いほど成功率が高くなります。
この指標は、公正かつ包括的なベンチマークを容易にするだけでなく、衝突回避方法を改良するための洞察も提供し、それによって動的環境における自律システムの進化を促進します。

要約(オリジナル)

Dynamic obstacle avoidance is a popular research topic for autonomous systems, such as micro aerial vehicles and service robots. Accurately evaluating the performance of dynamic obstacle avoidance methods necessitates the establishment of a metric to quantify the environment’s difficulty, a crucial aspect that remains unexplored. In this paper, we propose four metrics to measure the difficulty of dynamic environments. These metrics aim to comprehensively capture the influence of obstacles’ number, size, velocity, and other factors on the difficulty. We compare the proposed metrics with existing static environment difficulty metrics and validate them through over 1.5 million trials in a customized simulator. This simulator excludes the effects of perception and control errors and supports different motion and gaze planners for obstacle avoidance. The results indicate that the survivability metric outperforms and establishes a monotonic relationship between the success rate, with a Spearman’s Rank Correlation Coefficient (SRCC) of over 0.9. Specifically, for every planner, lower survivability leads to a higher success rate. This metric not only facilitates fair and comprehensive benchmarking but also provides insights for refining collision avoidance methods, thereby furthering the evolution of autonomous systems in dynamic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google