inkn’hue: Enhancing Manga Colorization from Multiple Priors with Alignment Multi-Encoder VAE

要約

日本の漫画の一種であり、独特の視覚的なストーリーテリングであるマンガは、世界中の読者を魅了しています。
伝統的に白黒で表現されるマンガの魅力は、複雑な線画と陰影を通して複雑な物語や感情を伝える能力にあります。
しかし、鮮やかなカラーでマンガを体験したいという願望が、アーティストにとって最も重要な課題であるマンガのカラー化の追求を引き起こしました。
しかし、もともと線画やスケッチ用に設計された既存の手法は、マンガに適用すると課題に直面します。
これらの方法では望ましい結果を達成できないことが多く、マンガに特化したソリューションが必要になります。
既存のアプローチは、単一のトレーニング ステップまたは大規模な手動によるアーティストの介入に依存することが多く、満足のいく結果が得られない可能性があります。
これらの課題に対処するために、マンガのカラー化に特化したフレームワークを提案します。
シェーディングと鮮やかなカラーリングの確立されたモデルを活用する当社のアプローチは、マルチエンコーダ VAE を使用して両方を調整します。
この構造化されたワークフローにより、参照画像や手動ヒントを組み込むオプションにより、明確でカラフルな結果が保証されます。

要約(オリジナル)

Manga, a form of Japanese comics and distinct visual storytelling, has captivated readers worldwide. Traditionally presented in black and white, manga’s appeal lies in its ability to convey complex narratives and emotions through intricate line art and shading. Yet, the desire to experience manga in vibrant colors has sparked the pursuit of manga colorization, a task of paramount significance for artists. However, existing methods, originally designed for line art and sketches, face challenges when applied to manga. These methods often fall short in achieving the desired results, leading to the need for specialized manga-specific solutions. Existing approaches frequently rely on a single training step or extensive manual artist intervention, which can yield less satisfactory outcomes. To address these challenges, we propose a specialized framework for manga colorization. Leveraging established models for shading and vibrant coloring, our approach aligns both using a multi-encoder VAE. This structured workflow ensures clear and colorful results, with the option to incorporate reference images and manual hints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google