Toon3D: Seeing Cartoons from a New Perspective

要約

この作業では、幾何学的に一貫性のないシーンの基礎となる 3D 構造を復元します。
漫画やアニメの手描き画像に焦点を当てて分析します。
多くの漫画は、3D レンダリング エンジンを持たないアーティストによって作成されています。つまり、シーンの新しい画像はすべて手描きになります。
通常、手描きの画像は世界を忠実に表現していますが、人間がオブジェクトやシーンの複数の視点を一貫して 3D で描画することは難しいため、定性的な意味でのみです。
それにもかかわらず、人々は一貫性のない入力によって 3D シーンを簡単に認識してしまうことがあります。
この作業では、2D 図面の不一致を修正して、新しく歪んだ図面が互いに一致するように、もっともらしい 3D 構造を復元します。
私たちのパイプラインは、ユーザーフレンドリーな注釈ツール、カメラ姿勢推定、密な構造を復元するための画像変形で構成されています。
私たちの方法は、視点カメラモデルに従うように画像をワープし、位置合わせした結果を新しい視点の合成再構成方法に組み込んで、これまで描かれたことのない視点から漫画を体験できるようにします。
私たちのプロジェクトページは https://toon3d.studio です。

要約(オリジナル)

In this work, we recover the underlying 3D structure of non-geometrically consistent scenes. We focus our analysis on hand-drawn images from cartoons and anime. Many cartoons are created by artists without a 3D rendering engine, which means that any new image of a scene is hand-drawn. The hand-drawn images are usually faithful representations of the world, but only in a qualitative sense, since it is difficult for humans to draw multiple perspectives of an object or scene 3D consistently. Nevertheless, people can easily perceive 3D scenes from inconsistent inputs! In this work, we correct for 2D drawing inconsistencies to recover a plausible 3D structure such that the newly warped drawings are consistent with each other. Our pipeline consists of a user-friendly annotation tool, camera pose estimation, and image deformation to recover a dense structure. Our method warps images to obey a perspective camera model, enabling our aligned results to be plugged into novel-view synthesis reconstruction methods to experience cartoons from viewpoints never drawn before. Our project page is https://toon3d.studio .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google