Neural Preset for Color Style Transfer

要約

このホワイト ペーパーでは、視覚的なアーティファクト、膨大なメモリ要件、遅いスタイル切り替え速度など、既存のカラー スタイル転送方法の制限に対処するためのニューラル プリセット手法を紹介します。
私たちの方法は、2 つのコア デザインに基づいています。
まず、決定論的ニューラル カラー マッピング (DNCM) を提案して、画像適応型カラー マッピング マトリックスを介して各ピクセルを一貫して操作し、アーティファクトを回避し、小さなメモリ フットプリントで高解像度入力をサポートします。
次に、タスクを色の正規化とスタイライゼーションに分割して 2 段階のパイプラインを開発します。これにより、色のスタイルをプリセットとして抽出し、正規化された入力画像で再利用することで効率的なスタイルの切り替えが可能になります。
ペアワイズ データセットが利用できないため、自己教師あり戦略を介してニューラル プリセットをトレーニングする方法について説明します。
既存の方法に対する Neural Preset のさまざまな利点は、包括的な評価を通じて実証されています。
特に、Neural Preset により、アーティファクトなしでリアルタイムで安定した 4K カラー スタイルの転送が可能になります。
さらに、トレーニング済みのモデルが微調整なしで複数のアプリケーションを自然にサポートできることを示します。これには、低照度画像強調、水中画像補正、画像かすみ除去、画像調和が含まれます。
デモのあるプロジェクト ページ: https://zhkkke.github.io/NeuralPreset 。

要約(オリジナル)

In this paper, we present a Neural Preset technique to address the limitations of existing color style transfer methods, including visual artifacts, vast memory requirement, and slow style switching speed. Our method is based on two core designs. First, we propose Deterministic Neural Color Mapping (DNCM) to consistently operate on each pixel via an image-adaptive color mapping matrix, avoiding artifacts and supporting high-resolution inputs with a small memory footprint. Second, we develop a two-stage pipeline by dividing the task into color normalization and stylization, which allows efficient style switching by extracting color styles as presets and reusing them on normalized input images. Due to the unavailability of pairwise datasets, we describe how to train Neural Preset via a self-supervised strategy. Various advantages of Neural Preset over existing methods are demonstrated through comprehensive evaluations. Notably, Neural Preset enables stable 4K color style transfer in real-time without artifacts. Besides, we show that our trained model can naturally support multiple applications without fine-tuning, including low-light image enhancement, underwater image correction, image dehazing, and image harmonization. Project page with demos: https://zhkkke.github.io/NeuralPreset .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google