Deep Geometrized Cartoon Line Inbetweening

要約

私たちは、アニメ業界における重要だが十分に研究されていない問題、つまり漫画の線画の間隙に対処することを目指しています。
中間処理には、2 つの白黒の線画の間に中間フレームを生成することが含まれますが、これは時間と費用がかかるプロセスであり、自動化の恩恵を受けることができます。
ただし、ラスター画像全体のマッチングとワーピングに依存する既存のフレーム補間方法は、ライン間の線には適しておらず、多くの場合、複雑なライン構造にダメージを与えるぼやけたアーティファクトが生成されます。
線画の精度と詳細を維持するために、ラスター線画を端点のグラフに幾何化し、その間のタスクを頂点の再配置を伴うグラフ融合問題として再構築する新しいアプローチである AnimeInbet を提案します。
私たちの方法は、線画の間の詳細を維持しながら、線画のまばらさと独特の構造を効果的に捉えることができます。
これは、頂点幾何学的埋め込み、頂点対応トランスフォーマー、頂点再配置のための効果的なメカニズム、および可視性予測器などの新しいモジュールによって可能になります。
私たちのメソッドをトレーニングするために、グラウンド トゥルースのベクトル化と一致するラベルを備えた線画の新しいデータセットである MixamoLine240 を導入します。
私たちの実験では、AnimeInbet が高品質でクリーンで完全な中間線画を合成し、特に動きが大きい場合に、既存の方法を量的および質的に上回るパフォーマンスを発揮することが実証されました。
データとコードは https://github.com/lisiyao21/AnimeInbet で入手できます。

要約(オリジナル)

We aim to address a significant but understudied problem in the anime industry, namely the inbetweening of cartoon line drawings. Inbetweening involves generating intermediate frames between two black-and-white line drawings and is a time-consuming and expensive process that can benefit from automation. However, existing frame interpolation methods that rely on matching and warping whole raster images are unsuitable for line inbetweening and often produce blurring artifacts that damage the intricate line structures. To preserve the precision and detail of the line drawings, we propose a new approach, AnimeInbet, which geometrizes raster line drawings into graphs of endpoints and reframes the inbetweening task as a graph fusion problem with vertex repositioning. Our method can effectively capture the sparsity and unique structure of line drawings while preserving the details during inbetweening. This is made possible via our novel modules, i.e., vertex geometric embedding, a vertex correspondence Transformer, an effective mechanism for vertex repositioning and a visibility predictor. To train our method, we introduce MixamoLine240, a new dataset of line drawings with ground truth vectorization and matching labels. Our experiments demonstrate that AnimeInbet synthesizes high-quality, clean, and complete intermediate line drawings, outperforming existing methods quantitatively and qualitatively, especially in cases with large motions. Data and code are available at https://github.com/lisiyao21/AnimeInbet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google