inkn’hue: Enhancing Manga Colorization from Multiple Priors with Alignment Multi-Encoder VAE

要約

マンガは日本のコミックの一形態であり、独特のビジュアル・ストーリーテリングとして世界中の読者を魅了してきた。伝統的にモノクロで描かれるマンガの魅力は、複雑な線画と陰影によって複雑な物語と感情を伝える能力にある。しかし、マンガを鮮やかな色彩で体験したいという願望が、マンガ家にとって最も重要な課題であるマンガのカラー化の追求に火をつけた。しかし、もともと線画やスケッチ用にデザインされた既存の手法は、マンガに適用すると課題に直面する。これらの方法は、しばしば望ましい結果を得るには不十分であり、マンガに特化したソリューションの必要性につながっている。既存のアプローチは、しばしば単一のトレーニングステップや、大規模な手作業によるアーティストの介入に依存しており、満足のいく結果が得られないことがある。これらの課題に対処するために、我々はマンガのカラー化に特化したフレームワークを提案する。シェーディングと鮮やかなカラーリングのための確立されたモデルを活用し、我々のアプローチは、マルチエンコーダVAEを使用して両者を整列させる。この構造化されたワークフローは、参照画像や手動のヒントを取り入れるオプションとともに、明確でカラフルな結果を保証する。

要約(オリジナル)

Manga, a form of Japanese comics and distinct visual storytelling, has captivated readers worldwide. Traditionally presented in black and white, manga’s appeal lies in its ability to convey complex narratives and emotions through intricate line art and shading. Yet, the desire to experience manga in vibrant colors has sparked the pursuit of manga colorization, a task of paramount significance for artists. However, existing methods, originally designed for line art and sketches, face challenges when applied to manga. These methods often fall short in achieving the desired results, leading to the need for specialized manga-specific solutions. Existing approaches frequently rely on a single training step or extensive manual artist intervention, which can yield less satisfactory outcomes. To address these challenges, we propose a specialized framework for manga colorization. Leveraging established models for shading and vibrant coloring, our approach aligns both using a multi-encoder VAE. This structured workflow ensures clear and colorful results, with the option to incorporate reference images and manual hints.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL