Efficient Camera Exposure Control for Visual Odometry via Deep Reinforcement Learning

要約

ビジュアル オドメトリ (VO) システムの安定性は、特に照明の変化が大きい環境では、画質の低下によって損なわれます。
この研究では、深層強化学習 (DRL) フレームワークを使用して露出制御用のエージェントをトレーニングし、困難な状況での画像処理パフォーマンスを向上させることを目的としています。
トレーニング プロセスを容易にするために軽量の画像シミュレーターが開発され、画像の露出とシーケンスの軌跡の多様化が可能になります。
このセットアップにより、完全なオフライン トレーニングが可能になり、カメラ ハードウェアや実際の環境との直接対話の必要がなくなります。
VO システムを強化するためにさまざまなレベルの報酬関数が作成され、DRL エージェントにさまざまなインテリジェンスを装備します。
広範な実験により、当社の露出制御エージェントは、CPU 上で 1 フレームあたり平均推論期間 1.58 ミリ秒という優れた効率を達成し、従来のフィードバック制御スキームよりも迅速に応答することが示されました。
適切な報酬関数を選択することで、エージェントは動きの傾向をインテリジェントに理解し、将来の照明の変化を予測します。
この予測機能により、VO システムはより安定した正確なオドメトリ結果を提供できるようになります。
コードとデータセットは https://github.com/ShuyangUni/drl_exposure_ctrl で入手できます。

要約(オリジナル)

The stability of visual odometry (VO) systems is undermined by degraded image quality, especially in environments with significant illumination changes. This study employs a deep reinforcement learning (DRL) framework to train agents for exposure control, aiming to enhance imaging performance in challenging conditions. A lightweight image simulator is developed to facilitate the training process, enabling the diversification of image exposure and sequence trajectory. This setup enables completely offline training, eliminating the need for direct interaction with camera hardware and the real environments. Different levels of reward functions are crafted to enhance the VO systems, equipping the DRL agents with varying intelligence. Extensive experiments have shown that our exposure control agents achieve superior efficiency-with an average inference duration of 1.58 ms per frame on a CPU-and respond more quickly than traditional feedback control schemes. By choosing an appropriate reward function, agents acquire an intelligent understanding of motion trends and anticipate future illumination changes. This predictive capability allows VO systems to deliver more stable and precise odometry results. The codes and datasets are available at https://github.com/ShuyangUni/drl_exposure_ctrl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google