INRetouch: Context Aware Implicit Neural Representation for Photography Retouching

要約

プロの写真編集は依然として困難であり、イメージング パイプラインに関する広範な知識と重要な専門知識が必要です。
スマートフォンでの写真撮影が普及するにつれ、アクセスしやすく洗練された画像編集ソリューションに対する需要が高まっています。
最近の深層学習アプローチ、特にスタイル転送方法はこのプロセスの自動化を試みていますが、多くの場合、出力の忠実度、編集制御、および複雑なレタッチ機能に苦労しています。
私たちは、ビフォーアフター画像ペアを通じてプロの編集から学び、複雑な編集操作を正確に複製できる、新しいレタッチ転送アプローチを提案します。
この研究の方向性を促進するために、170 を超えるプロ仕様の Adob​​e Lightroom プリセットを使用して編集された 100,000 枚の高品質画像で構成される包括的な写真レタッチ データセットを導入します。
私たちは、画像コンテンツとコンテキストに基づいて適応的に編集を適用することを学習するコンテキスト認識型の暗黙的ニューラル表現を開発します。これは事前トレーニングを必要とせず、単一の例から学習できます。
私たちの方法では、参照編集から暗黙的な変換を抽出し、それらを新しい画像に適応的に適用します。
広範な評価を通じて、私たちのアプローチがフォトレタッチの既存の方法を上回るだけでなく、色域マッピングや未加工再構成などの関連する画像再構成タスクのパフォーマンスも向上することを実証しました。
プロの編集機能と自動化されたソリューションの間のギャップを埋めることで、私たちの取り組みは、忠実度の高い結果を維持しながら、高度な写真編集をよりアクセスしやすくするための重要な一歩を示しています。
結果の詳細と、コードとデータセットの可用性に関する情報については、https://omaralezaby.github.io/inretouch のプロジェクト ページを確認してください。

要約(オリジナル)

Professional photo editing remains challenging, requiring extensive knowledge of imaging pipelines and significant expertise. With the ubiquity of smartphone photography, there is an increasing demand for accessible yet sophisticated image editing solutions. While recent deep learning approaches, particularly style transfer methods, have attempted to automate this process, they often struggle with output fidelity, editing control, and complex retouching capabilities. We propose a novel retouch transfer approach that learns from professional edits through before-after image pairs, enabling precise replication of complex editing operations. To facilitate this research direction, we introduce a comprehensive Photo Retouching Dataset comprising 100,000 high-quality images edited using over 170 professional Adobe Lightroom presets. We develop a context-aware Implicit Neural Representation that learns to apply edits adaptively based on image content and context, requiring no pretraining and capable of learning from a single example. Our method extracts implicit transformations from reference edits and adaptively applies them to new images. Through extensive evaluation, we demonstrate that our approach not only surpasses existing methods in photo retouching but also enhances performance in related image reconstruction tasks like Gamut Mapping and Raw Reconstruction. By bridging the gap between professional editing capabilities and automated solutions, our work presents a significant step toward making sophisticated photo editing more accessible while maintaining high-fidelity results. Check the Project Page at https://omaralezaby.github.io/inretouch for more Results and information about Code and Dataset availability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google