Reinforcement Learning Meets Visual Odometry

要約

ビジュアル オドメトリ (VO) は、下流のモバイル ロボット工学および拡張/仮想現実タスクに不可欠です。
最近の進歩にもかかわらず、既存の VO 手法は依然としてヒューリスティックな設計選択に依存しており、人間の専門家による数週間のハイパーパラメータ調整が必要であり、汎用性と堅牢性が妨げられています。
私たちは、VO を逐次的な意思決定タスクとして再構成し、強化学習 (RL) を適用して VO プロセスを動的に適応させることで、これらの課題に対処します。
私たちのアプローチでは、VO パイプライン内でエージェントとして動作するニューラル ネットワークを導入し、リアルタイム条件に基づいてキーフレームやグリッド サイズの選択などの決定を行います。
私たちの方法では、ポーズエラー、実行時間、およびシステムをガイドするその他のメトリクスに基づく報酬関数を使用して、ヒューリスティックな選択への依存を最小限に抑えます。
私たちの RL フレームワークは、VO システムと画像シーケンスを環境として扱い、エージェントはキーポイント、マップ統計、および以前のポーズから観察を受け取ります。
古典的な VO 手法と公開ベンチマークを使用した実験結果は、精度と堅牢性の向上を実証し、RL 強化 VO アプローチのさまざまなシナリオへの一般化可能性を検証します。
このパラダイムシフトにより、ヒューリスティックの時間のかかるパラメータ調整の必要性が排除され、VO テクノロジーが進歩すると考えています。

要約(オリジナル)

Visual Odometry (VO) is essential to downstream mobile robotics and augmented/virtual reality tasks. Despite recent advances, existing VO methods still rely on heuristic design choices that require several weeks of hyperparameter tuning by human experts, hindering generalizability and robustness. We address these challenges by reframing VO as a sequential decision-making task and applying Reinforcement Learning (RL) to adapt the VO process dynamically. Our approach introduces a neural network, operating as an agent within the VO pipeline, to make decisions such as keyframe and grid-size selection based on real-time conditions. Our method minimizes reliance on heuristic choices using a reward function based on pose error, runtime, and other metrics to guide the system. Our RL framework treats the VO system and the image sequence as an environment, with the agent receiving observations from keypoints, map statistics, and prior poses. Experimental results using classical VO methods and public benchmarks demonstrate improvements in accuracy and robustness, validating the generalizability of our RL-enhanced VO approach to different scenarios. We believe this paradigm shift advances VO technology by eliminating the need for time-intensive parameter tuning of heuristics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google