Simple Image Signal Processing using Global Context Guidance

要約

最新のスマートフォン カメラでは、イメージ シグナル プロセッサ (ISP) が、センサーからの RAW 読み取り値をエンド ユーザーにとって知覚的に快適な RGB 画像に変換する中心的な要素です。
ISP は通常、独自の手作りであり、ホワイト バランス、色補正、トーン マッピングなどのいくつかのブロックで構成されています。
ディープラーニングベースの ISP は、ディープ ニューラル ネットワークを使用して RAW 画像を DSLR のような RGB 画像に変換することを目指しています。
ただし、学習済み ISP のほとんどは、計算上の制限によりパッチ (小さな領域) を使用してトレーニングされます。
このような方法にはグローバルなコンテキストが欠如しているため、フル解像度の画像での有効性が制限され、色の恒常性や照明などのグローバルな特性をキャプチャする能力が損なわれます。
まず、完全な RAW 画像からグローバル コンテキスト情報をキャプチャするために、任意のニューラル ISP に統合できる新しいモジュールを提案します。
次に、提案したモジュールを利用する効率的でシンプルなニューラル ISP を提案します。
私たちのモデルは、さまざまな実際のスマートフォン画像を使用して、さまざまなベンチマークで最先端の結果を達成します。

要約(オリジナル)

In modern smartphone cameras, the Image Signal Processor (ISP) is the core element that converts the RAW readings from the sensor into perceptually pleasant RGB images for the end users. The ISP is typically proprietary and handcrafted and consists of several blocks such as white balance, color correction, and tone mapping. Deep learning-based ISPs aim to transform RAW images into DSLR-like RGB images using deep neural networks. However, most learned ISPs are trained using patches (small regions) due to computational limitations. Such methods lack global context, which limits their efficacy on full-resolution images and harms their ability to capture global properties such as color constancy or illumination. First, we propose a novel module that can be integrated into any neural ISP to capture the global context information from the full RAW images. Second, we propose an efficient and simple neural ISP that utilizes our proposed module. Our model achieves state-of-the-art results on different benchmarks using diverse and real smartphone images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google