Polarized Color Image Denoising using Pocoformer

要約

偏光カラー撮影では、視覚的な質感と物体の表面的な情報を1枚のスナップショットで得ることができます。しかし、偏光フィルターアレイを使用することで、従来のカラー画像と比較して光子数やSNRが極端に低下します。そのため、ノイズの多い不快な画像となり、偏光解析の性能が損なわれてしまいます。また、偏光フィルターに暗黙的に作用する物理的制約が非常に複雑であるため、従来の画像処理パイプラインでは困難であった。そこで本研究では、偏光画像の信号と偏光情報を同時に復元する学習ベースの手法を提案する。本研究では、短時間露光のノイズ画像と長時間露光の参照画像のペアからなる偏光カラー画像データセットを取得し、学習ベースのパイプラインをサポートすることで、短時間露光のノイズ画像と長時間露光の参照画像を同時に復元する。さらに、我々はVision Transformerの開発を取り入れ、より良い復元性能のために、偏光カラー画像ノイズ除去のためのハイブリッド変換モデル、すなわちPoCoformerを提案する。提案手法の有効性を豊富な実験により実証し、結果に影響を与える主要因を分析する。

要約(オリジナル)

Polarized color photography provides both visual textures and object surficial information in one single snapshot. However, the use of the directional polarizing filter array causes extremely lower photon count and SNR compared to conventional color imaging. Thus, the feature essentially leads to unpleasant noisy images and destroys polarization analysis performance. It is a challenge for traditional image processing pipelines owing to the fact that the physical constraints exerted implicitly in the channels are excessively complicated. To address this issue, we propose a learning-based approach to simultaneously restore clean signals and precise polarization information. A real-world polarized color image dataset of paired raw short-exposed noisy and long-exposed reference images are captured to support the learning-based pipeline. Moreover, we embrace the development of vision Transformer and propose a hybrid transformer model for the Polarized Color image denoising, namely PoCoformer, for a better restoration performance. Abundant experiments demonstrate the effectiveness of proposed method and key factors that affect results are analyzed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL