Learning to Control Camera Exposure via Reinforcement Learning

要約

任意の照明条件でカメラの露出を調整することは、コンピュータ ビジョン アプリケーションの機能を確保するための最初のステップです。
カメラの露出の調整が不十分だと、重大な障害やパフォーマンスの低下につながることがよくあります。
従来のカメラの露出制御方法は、複数の収束ステップと時間のかかるプロセスを必要とするため、動的な照明条件には適していません。
本稿では、深層強化学習を活用し、リアルタイム処理を行いながらカメラの露出を高速に制御する新しいカメラ露出制御フレームワークを提案します。
提案されたフレームワークは 4 つの貢献で構成されます: 1) 現実世界の多様で動的な照明変化をシミュレートするための簡素化されたトレーニング グラウンド、2) ちらつきと画像の属性を意識した報酬設計、およびリアルタイム処理のための軽量状態設計、3)
エージェントの露出調整能力を段階的に向上させるための静的から動的への照明カリキュラム、4) 訓練場の制限を緩和し、実環境でのシームレスな一般化を達成するためのドメインランダム化技術。
リアルタイム処理（1ms）により露出レベルを5段階以内に設定します。
また、取得された画像は露出が高く、特徴抽出や物体検出などのさまざまなコンピューター ビジョン タスクにおいて優れた性能を示します。

要約(オリジナル)

Adjusting camera exposure in arbitrary lighting conditions is the first step to ensure the functionality of computer vision applications. Poorly adjusted camera exposure often leads to critical failure and performance degradation. Traditional camera exposure control methods require multiple convergence steps and time-consuming processes, making them unsuitable for dynamic lighting conditions. In this paper, we propose a new camera exposure control framework that rapidly controls camera exposure while performing real-time processing by exploiting deep reinforcement learning. The proposed framework consists of four contributions: 1) a simplified training ground to simulate real-world’s diverse and dynamic lighting changes, 2) flickering and image attribute-aware reward design, along with lightweight state design for real-time processing, 3) a static-to-dynamic lighting curriculum to gradually improve the agent’s exposure-adjusting capability, and 4) domain randomization techniques to alleviate the limitation of the training ground and achieve seamless generalization in the wild.As a result, our proposed method rapidly reaches a desired exposure level within five steps with real-time processing (1 ms). Also, the acquired images are well-exposed and show superiority in various computer vision tasks, such as feature extraction and object detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google