SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked Autoencoders

要約

タイトル：SMAE：飽和グラデーションに対応するマスク自己符号化器を用いたHDR（High Dynamic Range）デゴースティングの少数学習

要約：

– DNN（Deep Neural Networks）を利用した高品質なHDR画像の生成が最近積極的に研究されている。
– 多くのDNNベースの方法は、根源的な大量のトレーニングデータが必要であり、煩雑で時間のかかる作業が必要とされる。
– 少数学習のHDR画像処理は、限られたデータで満足のいく画像を生成することを目的としている。
– しかし、現代のDNNは、2～3枚の画像でトレーニングされると過学習を回避することが困難である。
– この研究では、2つのトレーニング段階を通じて少数学習HDR画像処理を実現するための新しい半教師付き手法、SSHDRを提案する。
– すなわち、飽和領域を自己監督メカニズムで生成し、その後、反復的な半教師付き学習フレームワークを介してゴーストに取り組む。
– 具体的には、飽和領域は、低ダイナミックレンジ（LDR）入力領域のマスキングとして見なすことができるため、飽和領域用のマスク自己符号化器（SMAE）を設計し、堅牢な特徴表現を学習し非飽和HDR画像を再構築する。
– 第2段階で高品質なHDR疑似ラベルを選択するための適応的疑似ラベル選択戦略を提案し、誤ラベルの影響を避ける。
– 実験結果は、SSHDRが量的および質的に、さまざまなデータセット内および外で最新の法的手段を凌駕し、少数のラベル付きサンプルで魅力的なHDR視覚化を実現することを示す。

要約(オリジナル)

Generating a high-quality High Dynamic Range (HDR) image from dynamic scenes has recently been extensively studied by exploiting Deep Neural Networks (DNNs). Most DNNs-based methods require a large amount of training data with ground truth, requiring tedious and time-consuming work. Few-shot HDR imaging aims to generate satisfactory images with limited data. However, it is difficult for modern DNNs to avoid overfitting when trained on only a few images. In this work, we propose a novel semi-supervised approach to realize few-shot HDR imaging via two stages of training, called SSHDR. Unlikely previous methods, directly recovering content and removing ghosts simultaneously, which is hard to achieve optimum, we first generate content of saturated regions with a self-supervised mechanism and then address ghosts via an iterative semi-supervised learning framework. Concretely, considering that saturated regions can be regarded as masking Low Dynamic Range (LDR) input regions, we design a Saturated Mask AutoEncoder (SMAE) to learn a robust feature representation and reconstruct a non-saturated HDR image. We also propose an adaptive pseudo-label selection strategy to pick high-quality HDR pseudo-labels in the second stage to avoid the effect of mislabeled samples. Experiments demonstrate that SSHDR outperforms state-of-the-art methods quantitatively and qualitatively within and across different datasets, achieving appealing HDR visualization with few labeled samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI