Goal Conditioned Reinforcement Learning for Photo Finishing Tuning

要約

写真仕上げのチューニングは、Adobe LightroomやDarktableなどの写真仕上げパイプラインの手動チューニングプロセスを自動化することを目的としています。
以前の研究では、ゼロオーダーの最適化を使用します。これは、パラメーターのセットが増加すると遅いか、ターゲット仕上げパイプラインの微分可能なプロキシに依存しています。
これらの課題を克服するために、条件として目標画像を使用してパラメーターを効率的に調整するための新しい目標条件付き強化学習フレームワークを提案します。
以前のアプローチとは異なり、私たちのチューニングフレームワークはプロキシに依存せず、写真仕上げパイプラインをブラックボックスとして扱います。
訓練された強化学習ポリシーを利用して、最適化ベースのアプローチでは通常200のクエリを取る一方で、わずか10クエリ内で目的のパラメーターのセットを効率的に見つけることができます。
さらに、当社のアーキテクチャは目標画像を利用して、パイプラインパラメーターの反復チューニングをガイドし、ピクセルに並べられたターゲット画像、スタイル画像、またはその他の視覚的に表現可能な目標の柔軟な条件付けを可能にします。
写真仕上げのチューニングと写真のスタイリライゼーションのチューニングタスクに関する詳細な実験を実施し、方法の利点を実証します。
プロジェクトWebサイト：https：//openimaginglab.github.io/rlpixtuner/。

要約(オリジナル)

Photo finishing tuning aims to automate the manual tuning process of the photo finishing pipeline, like Adobe Lightroom or Darktable. Previous works either use zeroth-order optimization, which is slow when the set of parameters increases, or rely on a differentiable proxy of the target finishing pipeline, which is hard to train. To overcome these challenges, we propose a novel goal-conditioned reinforcement learning framework for efficiently tuning parameters using a goal image as a condition. Unlike previous approaches, our tuning framework does not rely on any proxy and treats the photo finishing pipeline as a black box. Utilizing a trained reinforcement learning policy, it can efficiently find the desired set of parameters within just 10 queries, while optimization based approaches normally take 200 queries. Furthermore, our architecture utilizes a goal image to guide the iterative tuning of pipeline parameters, allowing for flexible conditioning on pixel-aligned target images, style images, or any other visually representable goals. We conduct detailed experiments on photo finishing tuning and photo stylization tuning tasks, demonstrating the advantages of our method. Project website: https://openimaginglab.github.io/RLPixTuner/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google