OffRIPP: Offline RL-based Informative Path Planning

要約

インフォマティブ パス プランニング (IPP) はロボット工学における重要なタスクであり、エージェントはリソースの制約を守りながらターゲット環境に関する貴重な情報を収集するためのパスを設計する必要があります。
強化学習 (RL) は IPP に効果的であることが示されていますが、環境との相互作用が必要であり、実際にはリスクと費用がかかります。
この問題に対処するために、トレーニング中にリアルタイムのインタラクションを必要とせずに情報獲得を最適化し、インタラクションを回避することで安全性とコスト効率を提供するだけでなく、実行中に優れたパフォーマンスと高速計算を実現するオフライン RL ベースの IPP フレームワークを提案します。
RLのメリット。
私たちのフレームワークはバッチ制約付き強化学習を活用して外挿誤差を軽減し、エージェントが任意のアルゴリズムによって生成された事前収集されたデータセットから学習できるようにします。
私たちは広範なシミュレーションと実際の実験を通じてフレームワークを検証します。
数値結果は、私たちのフレームワークがベースラインを上回っていることを示しており、提案されたアプローチの有効性を示しています。

要約(オリジナル)

Informative path planning (IPP) is a crucial task in robotics, where agents must design paths to gather valuable information about a target environment while adhering to resource constraints. Reinforcement learning (RL) has been shown to be effective for IPP, however, it requires environment interactions, which are risky and expensive in practice. To address this problem, we propose an offline RL-based IPP framework that optimizes information gain without requiring real-time interaction during training, offering safety and cost-efficiency by avoiding interaction, as well as superior performance and fast computation during execution — key advantages of RL. Our framework leverages batch-constrained reinforcement learning to mitigate extrapolation errors, enabling the agent to learn from pre-collected datasets generated by arbitrary algorithms. We validate the framework through extensive simulations and real-world experiments. The numerical results show that our framework outperforms the baselines, demonstrating the effectiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google