Consistent Video Colorization via Palette Guidance

要約

色付けは従来のコンピュータービジョンタスクであり、古いフィルムの修復など、多くの時間のかかるタスクで重要な役割を果たしています。
既存の方法は、不飽和色と一時的に矛盾に悩まされています。
この論文では、課題を克服するための新しいパイプラインを提案します。
私たちは、着色タスクを生成タスクと見なし、安定したビデオ拡散（SVD）を基本モデルとして紹介します。
パレットベースのカラーガイダーを設計して、モデルが鮮やかで一貫した色を生成するのを支援します。
パレットによって導入されたカラーコンテキストは、色生成のガイダンスを提供するだけでなく、複数のシーケンスにわたって統一された色のコンテキストを介して生成された色の安定性を高めます。
実験は、提案された方法がビデオに鮮やかで安定した色を提供し、以前の方法を超えることを示しています。

要約(オリジナル)

Colorization is a traditional computer vision task and it plays an important role in many time-consuming tasks, such as old film restoration. Existing methods suffer from unsaturated color and temporally inconsistency. In this paper, we propose a novel pipeline to overcome the challenges. We regard the colorization task as a generative task and introduce Stable Video Diffusion (SVD) as our base model. We design a palette-based color guider to assist the model in generating vivid and consistent colors. The color context introduced by the palette not only provides guidance for color generation, but also enhances the stability of the generated colors through a unified color context across multiple sequences. Experiments demonstrate that the proposed method can provide vivid and stable colors for videos, surpassing previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google