Diffutoon: High-Resolution Editable Toon Shading via Diffusion Models

要約

トゥーン シェーディングは、アニメーションの非フォトリアリスティックなレンダリング タスクの一種です。
その主な目的は、オブジェクトをフラットで様式化された外観でレンダリングすることです。
拡散モデルが画像合成手法の最前線に躍り出る中、この論文では、フォトリアリスティックなビデオをアニメ スタイルに直接レンダリングすることを目的として、拡散モデルに基づく革新的な形式のトゥーン シェーディングを詳しく掘り下げます。
ビデオの様式化において、既存の方法は、特に一貫性を維持し、高い視覚品質を達成する際に、永続的な課題に直面しています。
この論文では、トゥーン シェーディング問題を 4 つのサブ問題 (スタイル化、一貫性強化、構造ガイダンス、カラー化) としてモデル化します。
ビデオの様式化における課題に対処するために、\textit{Diffutoon} と呼ばれる効果的なトゥーン シェーディング アプローチを提案します。
Diffutoon は、非常に詳細で高解像度の長時間ビデオをアニメ スタイルでレンダリングできます。
追加のブランチを介してプロンプトに従ってコンテンツを編集することもできます。
Diffutoon の有効性は、定量的な指標と人間による評価によって評価されます。
特に、Diffutoon は、私たちの実験において、オープンソースとクローズドソースの両方のベースライン アプローチを上回っています。
私たちの作業には、ソース コードとサンプル ビデオの両方が Github でリリースされています (プロジェクト ページ: https://ecnu-cilab.github.io/DiffutoonProjectPage/)。

要約(オリジナル)

Toon shading is a type of non-photorealistic rendering task of animation. Its primary purpose is to render objects with a flat and stylized appearance. As diffusion models have ascended to the forefront of image synthesis methodologies, this paper delves into an innovative form of toon shading based on diffusion models, aiming to directly render photorealistic videos into anime styles. In video stylization, extant methods encounter persistent challenges, notably in maintaining consistency and achieving high visual quality. In this paper, we model the toon shading problem as four subproblems: stylization, consistency enhancement, structure guidance, and colorization. To address the challenges in video stylization, we propose an effective toon shading approach called \textit{Diffutoon}. Diffutoon is capable of rendering remarkably detailed, high-resolution, and extended-duration videos in anime style. It can also edit the content according to prompts via an additional branch. The efficacy of Diffutoon is evaluated through quantitive metrics and human evaluation. Notably, Diffutoon surpasses both open-source and closed-source baseline approaches in our experiments. Our work is accompanied by the release of both the source code and example videos on Github (Project page: https://ecnu-cilab.github.io/DiffutoonProjectPage/).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google