Very Lightweight Photo Retouching Network with Conditional Sequential Modulation

要約

フォトレタッチは、写真の欠陥、特にコントラストの低下、露出の過不足、彩度の不調和に悩まされる画像の美的視覚品質を改善することを目的としています。実際には、フォトレタッチは、一連の画像処理操作によって実現されます。一般的に使用されるレタッチ操作は画素に依存しない、つまり、ある画素に対する操作はその隣の画素と相関がないため、この性質を利用し、効率的なグローバルフォトレタッチに特化したアルゴリズムを設計することが可能である。我々は、これらのグローバルな操作を分析し、多層パーセプトロン（MLP）によって数学的に定式化できることを見出した。この知見に基づき、我々は極めて軽量なフレームワーク、Conditional Sequential Retouching Network (CSRNet)を提案する。CSRNetは、$1times1$個の畳み込みを利用することで、学習可能なパラメータが37K個以下となり、既存の学習ベースの手法に比べて桁違いに小さくなる。本手法は、ベンチマークであるMIT-Adobe FiveKデータセットにおいて、量的にも質的にも最先端の性能を達成することが実験的に示されている。提案するフレームワークは、グローバルなフォトレタッチを実現することに加え、局所的な強調効果を学習するよう容易に拡張することが可能である。拡張されたモデル、すなわちCSRNet-Lは、様々な局所的な強調タスクにおいて競争力のある結果を達成することもできます。コードは https://github.com/lyh-18/CSRNet から入手可能です。

要約(オリジナル)

Photo retouching aims at improving the aesthetic visual quality of images that suffer from photographic defects, especially for poor contrast, over/under exposure, and inharmonious saturation. In practice, photo retouching can be accomplished by a series of image processing operations. As most commonly-used retouching operations are pixel-independent, i.e., the manipulation on one pixel is uncorrelated with its neighboring pixels, we can take advantage of this property and design a specialized algorithm for efficient global photo retouching. We analyze these global operations and find that they can be mathematically formulated by a Multi-Layer Perceptron (MLP). Based on this observation, we propose an extremely lightweight framework — Conditional Sequential Retouching Network (CSRNet). Benefiting from the utilization of $1\times1$ convolution, CSRNet only contains less than 37K trainable parameters, which are orders of magnitude smaller than existing learning-based methods. Experiments show that our method achieves state-of-the-art performance on the benchmark MIT-Adobe FiveK dataset quantitively and qualitatively. In addition to achieve global photo retouching, the proposed framework can be easily extended to learn local enhancement effects. The extended model, namely CSRNet-L, also achieves competitive results in various local enhancement tasks. Codes are available at https://github.com/lyh-18/CSRNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL