SVCNet: Scribble-based Video Colorization Network with Temporal Aggregation

要約

本論文では、SVCNetと呼ばれる、時間集約を用いた走り書きに基づく動画色付けネットワークを提案する。SVCNetは、ユーザから与えられた様々なカラー走り書きに基づいて、モノクロ映像をカラー化することができる。SVCNetは、走り書きベースの動画色付け領域における3つの一般的な問題、すなわち、色付けの鮮やかさ、時間的一貫性、および色のにじみに対処する。カラー化の品質を向上させ、時間的一貫性を強化するために、SVCNetの2つの逐次サブネットワークを採用し、それぞれ正確なカラー化と時間的平滑化を行う。第1段階は、グレースケールのフレームにカラースクリブルを取り込むためのピラミッド特徴エンコーダと、セマンティクスを抽出するためのセマンティクス特徴エンコーダを含む。第2段階は、（短距離接続として）隣接するカラー化フレームと（長距離接続として）最初のカラー化フレームの情報を集約することにより、第1段階からの出力を微調整する。色にじみによるアーチファクトを軽減するため、ビデオ色化とセグメンテーションを同時に学習する。さらに、SVCNetの最後尾にある超解像モジュールを使って元のサイズを復元する。これにより、SVCNetは推論時に異なる画像解像度に適合することができる。最後に、提案するSVCNetをDAVISとVidevoベンチマークで評価する。実験結果は、SVCNetが、他のよく知られた動画色付けアプローチよりも、高品質で時間的に一貫性のある動画を生成することを示している。コードとモデルはhttps://github.com/zhaoyuzhi/SVCNet。

要約(オリジナル)

In this paper, we propose a scribble-based video colorization network with temporal aggregation called SVCNet. It can colorize monochrome videos based on different user-given color scribbles. It addresses three common issues in the scribble-based video colorization area: colorization vividness, temporal consistency, and color bleeding. To improve the colorization quality and strengthen the temporal consistency, we adopt two sequential sub-networks in SVCNet for precise colorization and temporal smoothing, respectively. The first stage includes a pyramid feature encoder to incorporate color scribbles with a grayscale frame, and a semantic feature encoder to extract semantics. The second stage finetunes the output from the first stage by aggregating the information of neighboring colorized frames (as short-range connections) and the first colorized frame (as a long-range connection). To alleviate the color bleeding artifacts, we learn video colorization and segmentation simultaneously. Furthermore, we set the majority of operations on a fixed small image resolution and use a Super-resolution Module at the tail of SVCNet to recover original sizes. It allows the SVCNet to fit different image resolutions at the inference. Finally, we evaluate the proposed SVCNet on DAVIS and Videvo benchmarks. The experimental results demonstrate that SVCNet produces both higher-quality and more temporally consistent videos than other well-known video colorization approaches. The codes and models can be found at https://github.com/zhaoyuzhi/SVCNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL