RAWMamba: Unified sRGB-to-RAW De-rendering With State Space Model

要約

sRGB から RAW へのレンダリング解除の最近の進歩により、部分的な RAW 情報によって補完された sRGB 画像から RAW データを再構築するメタデータ主導のアプローチがますます重視されています。
画像ベースのレンダリング解除では、メタデータは通常、サンプリングを通じて取得されますが、ビデオ タスクでは、通常、最初のフレームから取得されます。
個別のメタデータ要件には特殊なネットワーク アーキテクチャが必要となり、アーキテクチャの非互換性が生じて展開が複雑になります。
このペーパーでは、画像とビデオの両方のドメインにわたる sRGB から RAW へのレンダリング解除のために開発された Mamba ベースの統合フレームワークである RAWMamba を提案します。
RAWMamba の中核は、さまざまなメタデータ タイプを統一された表現に調和させる Unified Metadata Embedding (UME) モジュールです。
詳細には、参照情報の抽出を促進するために、多視点の親和性モデリング手法が提案されています。
さらに、長距離の依存関係をキャプチャしてメタデータの効果的なグローバル伝播を可能にする Local Tone-Aware Mamba (LTA-Mamba) モジュールを導入します。
実験結果は、提案された RAWMamba が最先端のパフォーマンスを達成し、高品質の RAW データ再構築を実現することを示しています。

要約(オリジナル)

Recent advancements in sRGB-to-RAW de-rendering have increasingly emphasized metadata-driven approaches to reconstruct RAW data from sRGB images, supplemented by partial RAW information. In image-based de-rendering, metadata is commonly obtained through sampling, whereas in video tasks, it is typically derived from the initial frame. The distinct metadata requirements necessitate specialized network architectures, leading to architectural incompatibilities that increase deployment complexity. In this paper, we propose RAWMamba, a Mamba-based unified framework developed for sRGB-to-RAW de-rendering across both image and video domains. The core of RAWMamba is the Unified Metadata Embedding (UME) module, which harmonizes diverse metadata types into a unified representation. In detail, a multi-perspective affinity modeling method is proposed to promote the extraction of reference information. In addition, we introduce the Local Tone-Aware Mamba (LTA-Mamba) module, which captures long-range dependencies to enable effective global propagation of metadata. Experimental results demonstrate that the proposed RAWMamba achieves state-of-the-art performance, yielding high-quality RAW data reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google