Applying a Color Palette with Local Control using Diffusion Models

要約

ファンタジー カード アートのコンテキストで 2 つの新しい編集手順を示します。
パレット転送は、指定された参照パレットを指定されたカードに適用します。
ファンタジー アートの場合、パレットの変更が非常に大きくなり、アートの「見た目」に大きな変化が生じる可能性があります。
ベクトル量子化のパイプラインを実証します。
マッチング;
「ベクトル逆量子化」(拡散モデルを使用) により、極端なパレット転送が成功します。
セグメント コントロールを使用すると、アーティストは 1 つ以上の画像セグメントを移動し、必要に応じて結果の希望の色を指定できます。
これら 2 種類の編集を組み合わせると、次のような有益なワークフローが得られます。セグメントを移動してから色を変更する。
色を変更してから、一部のセグメントに所定の色を強制的に適用します。
挑戦的な遊戯王カード アート データセットに関する手法を実証します。

要約(オリジナル)

We demonstrate two novel editing procedures in the context of fantasy card art. Palette transfer applies a specified reference palette to a given card. For fantasy art, the desired change in palette can be very large, leading to huge changes in the ‘look’ of the art. We demonstrate that a pipeline of vector quantization; matching; and ‘vector dequantization’ (using a diffusion model) produces successful extreme palette transfers. Segment control allows an artist to move one or more image segments, and to optionally specify the desired color of the result. The combination of these two types of edit yields valuable workflows, including: move a segment, then recolor; recolor, then force some segments to take a prescribed color. We demonstrate our methods on the challenging Yu-Gi-Oh card art dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google