Online Overexposed Pixels Hallucination in Videos with Adaptive Reference Frame Selection

要約

ロー ダイナミック レンジ (LDR) カメラは広いダイナミック レンジ入力を処理できないため、局所的な露出オーバーの問題が頻繁に発生します。
我々は、ハイダイナミックレンジ（HDR）イメージングに典型的な交互露光やコストのかかる処理などの複雑な取得メカニズムに頼ることなく、これらのアーティファクトを軽減する学習ベースのシステムを紹介します。
私たちは、欠落している HDR の詳細を推論するためのトランスフォーマーベースのディープ ニューラル ネットワーク (DNN) を提案します。
アブレーション研究では、マルチスケール DNN を使用し、最先端の品質を達成するために適切なコスト関数でトレーニングすることの重要性を示しています。
露出オーバー領域の再構築を支援するために、DNN は追加の入力として過去の参照フレームを取得します。
これは、自動露出で一般的に発生する時間的不安定性を有利に利用します。現在のフレームで十分に露出された詳細が将来露出過剰になる可能性があるため、強化学習を使用して、現在のフレームをフレームとして採用するかどうかを決定する参照フレーム選択 DNN をトレーニングします。
今後の参考に。
したがって、交互露光に頼ることなく、一般的なビデオ取得設定に応用できる可能性のある、因果関係のある HDR 幻覚アルゴリズムが得られます。
デモビデオは https://drive.google.com/file/d/1-r12BKImLOYCLUoPzdebnMyNjJ4Rk360/view でご覧いただけます。

要約(オリジナル)

Low dynamic range (LDR) cameras cannot deal with wide dynamic range inputs, frequently leading to local overexposure issues. We present a learning-based system to reduce these artifacts without resorting to complex acquisition mechanisms like alternating exposures or costly processing that are typical of high dynamic range (HDR) imaging. We propose a transformer-based deep neural network (DNN) to infer the missing HDR details. In an ablation study, we show the importance of using a multiscale DNN and train it with the proper cost function to achieve state-of-the-art quality. To aid the reconstruction of the overexposed areas, our DNN takes a reference frame from the past as an additional input. This leverages the commonly occurring temporal instabilities of autoexposure to our advantage: since well-exposed details in the current frame may be overexposed in the future, we use reinforcement learning to train a reference frame selection DNN that decides whether to adopt the current frame as a future reference. Without resorting to alternating exposures, we obtain therefore a causal, HDR hallucination algorithm with potential application in common video acquisition settings. Our demo video can be found at https://drive.google.com/file/d/1-r12BKImLOYCLUoPzdebnMyNjJ4Rk360/view

arxiv情報

提供元, 利用サービス

arxiv.jp, Google