Learning sRGB-to-Raw-RGB De-rendering with Content-Aware Metadata

要約

ほとんどのカメラ画像は、カメラのハードウェアによって標準RGB（sRGB）形式でレンダリングおよび保存されます。
カメラ内の写真仕上げルーチンのため、非線形sRGB画像は、ピクセル値とシーンの放射輝度の間に直接的な関係があると想定するコンピュータービジョンタスクには望ましくありません。
このようなアプリケーションでは、線形のraw-RGBセンサー画像が推奨されます。
大容量のストレージ要件と多くのイメージングアプリケーションによるサポートの欠如のため、画像をraw-RGB形式で保存することはまだ一般的ではありません。
キャプチャ時にraw-RGB画像からサンプリングされ、sRGB画像に埋め込まれた特殊なメタデータを利用するいくつかの「raw再構成」方法が提案されています。
このメタデータは、マッピング関数をパラメーター化して、必要に応じてsRGB画像を元のraw-RGB形式にレンダリング解除するために使用されます。
既存の生の再構築方法は、単純なサンプリング戦略とグローバルマッピングに依存してレンダリング解除を実行します。
このペーパーでは、サンプリングと再構成を共同で学習することにより、レンダリング解除の結果を改善する方法を示します。
私たちの実験は、私たちが学んだサンプリングが画像コンテンツに適応して、既存の方法よりも優れた生の再構成を生成できることを示しています。
また、結果をさらに改善するための再構築ネットワークのオンライン微調整戦略についても説明します。

要約(オリジナル)

Most camera images are rendered and saved in the standard RGB (sRGB) format by the camera’s hardware. Due to the in-camera photo-finishing routines, nonlinear sRGB images are undesirable for computer vision tasks that assume a direct relationship between pixel values and scene radiance. For such applications, linear raw-RGB sensor images are preferred. Saving images in their raw-RGB format is still uncommon due to the large storage requirement and lack of support by many imaging applications. Several ‘raw reconstruction’ methods have been proposed that utilize specialized metadata sampled from the raw-RGB image at capture time and embedded in the sRGB image. This metadata is used to parameterize a mapping function to de-render the sRGB image back to its original raw-RGB format when needed. Existing raw reconstruction methods rely on simple sampling strategies and global mapping to perform the de-rendering. This paper shows how to improve the de-rendering results by jointly learning sampling and reconstruction. Our experiments show that our learned sampling can adapt to the image content to produce better raw reconstructions than existing methods. We also describe an online fine-tuning strategy for the reconstruction network to improve results further.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google