HipyrNet: Hypernet-Guided Feature Pyramid network for mixed-exposure correction

要約

混合露出画像を強化するための画像変換の最近の進歩により、深層学習アルゴリズムの変革の可能性が実証されました。
ただし、固有の複雑さと領域間のコントラストの不一致により、画像内の極端な露出の変動に対処することは依然として大きな課題です。
現在の方法では、これらの変化に効果的に適応するのが難しく、最適なパフォーマンスが得られないことがよくあります。
この研究では、混合露出画像強調の課題に取り組むために、ラプラシアン ピラミッド ベースのフレームワーク内に HyperNetwork を統合する新しいアプローチである HipyrNet を提案します。
HyperNetwork を組み込むことで、モデルがこれらの露出の変動に適応できるようになります。
HyperNetworks は別のネットワークの重みを動的に生成するため、展開中に動的に変更できます。
私たちのモデルでは、採用されている HyperNetwork を使用して、Feature Pyramid 分解に最適なカーネルを予測します。これにより、入力画像ごとに調整された適応的な分解プロセスが可能になります。
当社の強化されたトランスレーショナル ネットワークには、マルチスケールの分解と再構成が組み込まれており、動的なカーネル予測を活用して、さまざまなスケールにわたって特徴をキャプチャおよび操作します。
広範な実験により、特に暴露変動が極端なシナリオにおいて、HipyrNet が既存の方法よりも優れたパフォーマンスを発揮し、定性的評価と定量的評価の両方で優れた結果を達成できることが実証されました。
私たちのアプローチは、混合露出画像強調の新しいベンチマークを設定し、適応型画像変換における将来の研究への道を開きます。

要約(オリジナル)

Recent advancements in image translation for enhancing mixed-exposure images have demonstrated the transformative potential of deep learning algorithms. However, addressing extreme exposure variations in images remains a significant challenge due to the inherent complexity and contrast inconsistencies across regions. Current methods often struggle to adapt effectively to these variations, resulting in suboptimal performance. In this work, we propose HipyrNet, a novel approach that integrates a HyperNetwork within a Laplacian Pyramid-based framework to tackle the challenges of mixed-exposure image enhancement. The inclusion of a HyperNetwork allows the model to adapt to these exposure variations. HyperNetworks dynamically generates weights for another network, allowing dynamic changes during deployment. In our model, the HyperNetwork employed is used to predict optimal kernels for Feature Pyramid decomposition, which enables a tailored and adaptive decomposition process for each input image. Our enhanced translational network incorporates multiscale decomposition and reconstruction, leveraging dynamic kernel prediction to capture and manipulate features across varying scales. Extensive experiments demonstrate that HipyrNet outperforms existing methods, particularly in scenarios with extreme exposure variations, achieving superior results in both qualitative and quantitative evaluations. Our approach sets a new benchmark for mixed-exposure image enhancement, paving the way for future research in adaptive image translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google