Efficient Q-Learning over Visit Frequency Maps for Multi-agent Exploration of Unknown Environments

要約

ロボット探索タスクは、新しい環境マッピングからアイテムの配送に至るまで、幅広い用途で研究されています。
大惨事の救助など、時間が重要なタスクでは、エージェントは可能な限り効率的に探索する必要があります。
最近、訪問頻度ベースのマップ表現は、頻度ベースのペナルティで繰り返しの訪問を阻止することで、このようなシナリオで大きな成功を収めました。
ただし、その比較的大きなサイズと単一エージェント設定がさらなる開発の妨げとなっています。
これに関連して、我々は、訪問頻度マップと同一の情報をよりコンパクトなサイズでエンコードする統合訪問頻度マップと、両方の表現に対応できる訪問頻度ベースのマルチエージェント情報交換および制御スキームを提案します。
さまざまな設定でのテストを通じて、結果は、私たちが提案した方法が、より低い帯域幅要件で同等レベルの VFM パフォーマンスを達成でき、現実世界の環境を含むさまざまなマルチエージェント設定に十分に汎用できることを示しています。

要約(オリジナル)

The robot exploration task has been widely studied with applications spanning from novel environment mapping to item delivery. For some time-critical tasks, such as rescue catastrophes, the agent is required to explore as efficiently as possible. Recently, Visit Frequency-based map representation achieved great success in such scenarios by discouraging repetitive visits with a frequency-based penalty. However, its relatively large size and single-agent settings hinder its further development. In this context, we propose Integrated Visit Frequency Map, which encodes identical information as Visit Frequency Map with a more compact size, and a visit frequency-based multi-agent information exchange and control scheme that is able to accommodate both representations. Through tests in diverse settings, the results indicate our proposed methods can achieve a comparable level of performance of VFM with lower bandwidth requirements and generalize well to different multi-agent setups including real-world environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google