Reversing Image Signal Processors by Reverse Style Transferring

要約

RAW 画像データセットは、標準的な RGB 画像データセットよりも、ローレベル ビジョンの不適切な設定の逆問題に適していますが、文献では一般的ではありません。
sRGB 画像を RAW 形式にマッピングすることに焦点を当てた研究もいくつかあります。
sRGB から RAW 形式へのマッピングは、リバース スタイル転送に関連するドメインになる可能性があります。
この調査では、次の質問に対する答えを探します。ISP の操作は、エンド ツー エンドの学習パイプラインのスタイル要素としてモデル化できますか?
このアイデアを調査するために、適応機能正規化の助けを借りて ISP 操作を逆にすることを学習するための新しいアーキテクチャ、つまり RST-ISP-Net を提案します。
この問題を逆スタイルの転送として定式化し、ほとんどの場合、以前の作業で使用された慣行に従います。
私たちは、提案したアーキテクチャを使用して、AIM リバース ISP チャレンジに参加しました。
結果は、破壊的要因または変更要因をスタイルとしてモデル化するという考えは依然として有効ですが、そのような課題で競争力を発揮するにはさらなる改善が必要であることを示しています.

要約(オリジナル)

RAW image datasets are more suitable than the standard RGB image datasets for the ill-posed inverse problems in low-level vision, but not common in the literature. There are also a few studies to focus on mapping sRGB images to RAW format. Mapping from sRGB to RAW format could be a relevant domain for reverse style transferring since the task is an ill-posed reversing problem. In this study, we seek an answer to the question: Can the ISP operations be modeled as the style factor in an end-to-end learning pipeline? To investigate this idea, we propose a novel architecture, namely RST-ISP-Net, for learning to reverse the ISP operations with the help of adaptive feature normalization. We formulate this problem as a reverse style transferring and mostly follow the practice used in the prior work. We have participated in the AIM Reversed ISP challenge with our proposed architecture. Results indicate that the idea of modeling disruptive or modifying factors as style is still valid, but further improvements are required to be competitive in such a challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google