RaBit: Parametric Modeling of 3D Biped Cartoon Characters with a Topological-consistent Dataset

要約

視覚的にもっともらしい 3D キャラクターを効率的に作成できるように人々を支援することは、常にコンピューター ビジョンとコンピューター グラフィックスの基本的な研究テーマでした。
最近の学習ベースのアプローチは、3D の実際の人間のデジタル化の分野で前例のない精度と効率を達成しました。
しかし、これまでの研究では、ゲームや映画でも大きな需要がある 3D の二足歩行漫画のキャラクターのモデリングに焦点を当てたものはありませんでした。
この論文では、3D 二足歩行漫画キャラクターの最初の大規模なデータセットである 3DBiCar と、対応するパラメトリック モデルである RaBit を紹介します。
当社のデータセットには、プロのアーティストが手作業で作成した、トポロジ的に一貫した高品質の 3D テクスチャ モデルが 1,500 個含まれています。
データに基づいて構築された RaBit は、SMPL のような線形ブレンド形状モデルと StyleGAN ベースのニューラル UV テクスチャ ジェネレーターを使用して設計され、形状、ポーズ、テクスチャを同時に表現します。
3DBiCar と RaBit の実用性を実証するために、シングルビュー再構成、スケッチベースのモデリング、3D カートゥーン アニメーションなど、さまざまなアプリケーションが実行されます。
単一ビューの再構成設定では、入力画像から出力 UV ベースのテクスチャ マップへの単純なグローバル マッピングは、一部のローカル パーツ (鼻、耳など) の詳細な外観を失う傾向があることがわかりました。
したがって、すべての重要な局所領域を知覚させるために、部分的に敏感なテクスチャ推論が採用されています。
実験は、質的および量的に我々の方法の有効性をさらに実証します。
3DBiCar と RaBit は、gaplab.cuhk.edu.cn/projects/RaBit で入手できます。

要約(オリジナル)

Assisting people in efficiently producing visually plausible 3D characters has always been a fundamental research topic in computer vision and computer graphics. Recent learning-based approaches have achieved unprecedented accuracy and efficiency in the area of 3D real human digitization. However, none of the prior works focus on modeling 3D biped cartoon characters, which are also in great demand in gaming and filming. In this paper, we introduce 3DBiCar, the first large-scale dataset of 3D biped cartoon characters, and RaBit, the corresponding parametric model. Our dataset contains 1,500 topologically consistent high-quality 3D textured models which are manually crafted by professional artists. Built upon the data, RaBit is thus designed with a SMPL-like linear blend shape model and a StyleGAN-based neural UV-texture generator, simultaneously expressing the shape, pose, and texture. To demonstrate the practicality of 3DBiCar and RaBit, various applications are conducted, including single-view reconstruction, sketch-based modeling, and 3D cartoon animation. For the single-view reconstruction setting, we find a straightforward global mapping from input images to the output UV-based texture maps tends to lose detailed appearances of some local parts (e.g., nose, ears). Thus, a part-sensitive texture reasoner is adopted to make all important local areas perceived. Experiments further demonstrate the effectiveness of our method both qualitatively and quantitatively. 3DBiCar and RaBit are available at gaplab.cuhk.edu.cn/projects/RaBit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google