Toon3D: Seeing Cartoons from New Perspectives

要約

同じシーンを描いた漫画やアニメの画像から、基礎となる 3D 構造を復元します。
これは興味深い問題領域です。なぜなら、創造的なメディアの画像は、ストーリーテリングや創造的な表現のために明示的な幾何学的一貫性を持たずに描写されることが多く、それらは定性的な意味で 3D にすぎないからです。
人間はこれらの画像から基礎となる 3D シーンを簡単に認識できますが、3D の一貫性を前提とした既存の Structure-from-Motion (SfM) 手法は壊滅的に失敗します。
幾何学的に矛盾した画像を再構成するための Toon3D を紹介します。
私たちの重要な洞察は、カメラのポーズとシーンのジオメトリを復元しながら入力画像を変形し、幾何学的不一致を効果的に説明して一貫性を実現することです。
このプロセスは、単眼の深さの予測から推測される構造によって導かれます。
漫画やアニメのマルチビュー画像を含むデータセットを厳選し、ユーザーフレンドリーなアノテーション ツールを使用して、信頼性の高いまばらな対応でアノテーションを付けます。
復元された点群を斬新なビュー合成手法に組み込むことで、これまでに描かれたことのない視点から漫画を体験できます。
従来の学習ベースの SfM 手法と、Toon3D がより信頼性の高いカメラ ポーズとシーン ジオメトリを取得できる最近の学習ベースの SfM 手法に対して評価します。

要約(オリジナル)

We recover the underlying 3D structure from images of cartoons and anime depicting the same scene. This is an interesting problem domain because images in creative media are often depicted without explicit geometric consistency for storytelling and creative expression-they are only 3D in a qualitative sense. While humans can easily perceive the underlying 3D scene from these images, existing Structure-from-Motion (SfM) methods that assume 3D consistency fail catastrophically. We present Toon3D for reconstructing geometrically inconsistent images. Our key insight is to deform the input images while recovering camera poses and scene geometry, effectively explaining away geometrical inconsistencies to achieve consistency. This process is guided by the structure inferred from monocular depth predictions. We curate a dataset with multi-view imagery from cartoons and anime that we annotate with reliable sparse correspondences using our user-friendly annotation tool. Our recovered point clouds can be plugged into novel-view synthesis methods to experience cartoons from viewpoints never drawn before. We evaluate against classical and recent learning-based SfM methods, where Toon3D is able to obtain more reliable camera poses and scene geometry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google