UniColor: A Unified Framework for Multi-Modal Colorization with Transformer

要約

ストローク、手本、テキスト、さらにはそれらの組み合わせなど、無条件および条件付きの両方を含む複数のモダリティでのカラー化をサポートする最初の統一フレームワーク UniColor を提案します。
条件の種類ごとに個別のモデルを学習するのではなく、さまざまな条件を 1 つのモデルに組み込むための 2 段階の色付けフレームワークを導入します。
第 1 段階では、マルチモーダル条件がヒント ポイントの共通表現に変換されます。
特に、テキストをヒントポイントに変換するための新しいCLIPベースの方法を提案します。
第 2 段階では、Chroma-VQGAN と Hybrid-Transformer で構成される Transformer ベースのネットワークを提案し、ヒント ポイントに条件付けられた多様で高品質のカラー化結果を生成します。
定性的比較と定量的比較の両方で、私たちの方法がすべての制御モダリティで最先端の方法よりも優れており、以前は実現できなかったマルチモーダルの色付けがさらに可能になることが示されています。
さらに、自動カラー化、ハイブリッド制御カラー化、ローカル再カラー化、および反復カラー編集を含む、実際の使用における統一フレームワークの有効性を示すインタラクティブなインターフェイスを設計します。
私たちのコードとモデルは、https://luckyhzt.github.io/unicolor で入手できます。

要約(オリジナル)

We propose the first unified framework UniColor to support colorization in multiple modalities, including both unconditional and conditional ones, such as stroke, exemplar, text, and even a mix of them. Rather than learning a separate model for each type of condition, we introduce a two-stage colorization framework for incorporating various conditions into a single model. In the first stage, multi-modal conditions are converted into a common representation of hint points. Particularly, we propose a novel CLIP-based method to convert the text to hint points. In the second stage, we propose a Transformer-based network composed of Chroma-VQGAN and Hybrid-Transformer to generate diverse and high-quality colorization results conditioned on hint points. Both qualitative and quantitative comparisons demonstrate that our method outperforms state-of-the-art methods in every control modality and further enables multi-modal colorization that was not feasible before. Moreover, we design an interactive interface showing the effectiveness of our unified framework in practical usage, including automatic colorization, hybrid-control colorization, local recolorization, and iterative color editing. Our code and models are available at https://luckyhzt.github.io/unicolor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google