CuDi: Curve Distillation for Efficient and Controllable Exposure Adjustment

要約

トレーニング中にペアのデータまたはペアのないデータを必要とせずに、効率的で制御可能な露出調整のための曲線蒸留CuDiを紹介します。
私たちの方法は、効果的な低照度画像強調法であるZero-DCEからゼロ参照学習と曲線ベースのフレームワークを継承し、推論速度をさらに高速化し、モデルサイズを縮小し、制御可能な露出調整に拡張します。
改善された推論速度と軽量モデルは、高次曲線の接線によって従来の曲線ベースのフレームワークで時間のかかる反復操作を近似する新しい曲線蒸留によって実現されます。
制御可能な露出調整は、出力のさまざまな空間領域の露出レベルを入力条件として機能する露出マップの輝度分布に近づけるように制約する、新しい自己監視空間露出制御損失によって可能になります。
露出不足または露出過多の写真しか修正できない既存のほとんどの方法とは異なり、私たちのアプローチでは、露出不足と露出過多の両方の写真を1つのモデルで修正します。
特に、私たちのアプローチでは、入力条件の露出マップのガイダンスを使用して、写真の露出レベルをグローバルまたはローカルでさらに調整できます。入力条件の露出マップは、事前定義するか、推論段階で手動で設定できます。
広範な実験を通じて、私たちの方法は、実際のシーンで最先端の方法を上回り、高速で堅牢かつ柔軟なパフォーマンスに魅力を感じていることを示しています。
プロジェクトページ：https：//li-chongyi.github.io/CuDi_files/。

要約(オリジナル)

We present Curve Distillation, CuDi, for efficient and controllable exposure adjustment without the requirement of paired or unpaired data during training. Our method inherits the zero-reference learning and curve-based framework from an effective low-light image enhancement method, Zero-DCE, with further speed up in its inference speed, reduction in its model size, and extension to controllable exposure adjustment. The improved inference speed and lightweight model are achieved through novel curve distillation that approximates the time-consuming iterative operation in the conventional curve-based framework by high-order curve’s tangent line. The controllable exposure adjustment is made possible with a new self-supervised spatial exposure control loss that constrains the exposure levels of different spatial regions of the output to be close to the brightness distribution of an exposure map serving as an input condition. Different from most existing methods that can only correct either underexposed or overexposed photos, our approach corrects both underexposed and overexposed photos with a single model. Notably, our approach can additionally adjust the exposure levels of a photo globally or locally with the guidance of an input condition exposure map, which can be pre-defined or manually set in the inference stage. Through extensive experiments, we show that our method is appealing for its fast, robust, and flexible performance, outperforming state-of-the-art methods in real scenes. Project page: https://li-chongyi.github.io/CuDi_files/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google