ColorFlow: Retrieval-Augmented Image Sequence Colorization

要約

キャラクターやオブジェクトの ID (ID) を維持しながら白黒画像シーケンスを自動的にカラー化することは、漫画やコミック シリーズのカラー化など、市場の需要が大きい複雑なタスクです。
拡散モデルのような大規模な生成モデルを使用した視覚的なカラー化の進歩にもかかわらず、制御性とアイデンティティの一貫性に関する課題は依然として残っており、現在のソリューションは産業用途には適していません。これに対処するために、画像に合わせて調整された 3 段階の拡散ベースのフレームワークである ColorFlow を提案します。
産業用途におけるシーケンスの色付け。
ID ごとの微調整や明示的な ID 埋め込み抽出を必要とする既存の方法とは異なり、関連するカラー参照を使用して画像をカラー化するための、新しい堅牢で一般化可能な検索拡張カラー化パイプラインを提案します。
当社のパイプラインはデュアル ブランチ設計も特徴としています。1 つのブランチはカラー ID 抽出用で、もう 1 つはカラー化用で、拡散モデルの強みを活用しています。
私たちは、拡散モデルの自己注意メカニズムを利用して、強力なコンテキスト内学習と色の同一性マッチングを実現します。
モデルを評価するために、参照ベースの色付けのための包括的なベンチマークである ColorFlow-Bench を導入します。
結果は、ColorFlow が複数の指標にわたって既存のモデルを上回るパフォーマンスを示し、逐次画像カラー化における新しい標準を確立し、アート業界に利益をもたらす可能性があることを示しています。
コードとモデルはプロジェクト ページ https://zhuang2002.github.io/ColorFlow/ で公開しています。

要約(オリジナル)

Automatic black-and-white image sequence colorization while preserving character and object identity (ID) is a complex task with significant market demand, such as in cartoon or comic series colorization. Despite advancements in visual colorization using large-scale generative models like diffusion models, challenges with controllability and identity consistency persist, making current solutions unsuitable for industrial application.To address this, we propose ColorFlow, a three-stage diffusion-based framework tailored for image sequence colorization in industrial applications. Unlike existing methods that require per-ID finetuning or explicit ID embedding extraction, we propose a novel robust and generalizable Retrieval Augmented Colorization pipeline for colorizing images with relevant color references. Our pipeline also features a dual-branch design: one branch for color identity extraction and the other for colorization, leveraging the strengths of diffusion models. We utilize the self-attention mechanism in diffusion models for strong in-context learning and color identity matching. To evaluate our model, we introduce ColorFlow-Bench, a comprehensive benchmark for reference-based colorization. Results show that ColorFlow outperforms existing models across multiple metrics, setting a new standard in sequential image colorization and potentially benefiting the art industry. We release our codes and models on our project page: https://zhuang2002.github.io/ColorFlow/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google