RoSI: Recovering 3D Shape Interiors from Few Articulation Images

要約

タイトル：少ない可動画像から３D形状内部構造を復元するRoSI

要約：
– 3Dモデルは表面メッシュとしてモデリングされるため、内部構造が欠落していることが多い。
– RoSIは、マルチビューおよびマルチアーティキュレーション画像から既存の3Dモデルの形状内部を復元するための学習フレームワークを提供する。
– 対象の3Dオブジェクトを異なるアーティキュレーション姿勢からキャプチャする一連のRGB画像が与えられた場合、我々の方法は入力画像で観測可能な内部面を推定する。
– ニューラルアーキテクチャは、カテゴリに依存しない方法でトレーニングされており、ポーズ、深度、およびモーションの推定を含むモーションに対応したマルチビューアナリシスフェーズ、そして画像および3D空間での内部面検出、さらにマルチビュープレーンフュージョンで構成されている。
– さらに、私たちの方法は部位アーティキュレーションを予測し、キャプチャされたモーションを再現することができる。
– ベースラインや代替ソリューションとの定量的・定性的比較、およびトレーニングされていないオブジェクトカテゴリや実際の画像入力に対する一般化能力の評価により、我々の方法を評価する。

要約(オリジナル)

The dominant majority of 3D models that appear in gaming, VR/AR, and those we use to train geometric deep learning algorithms are incomplete, since they are modeled as surface meshes and missing their interior structures. We present a learning framework to recover the shape interiors (RoSI) of existing 3D models with only their exteriors from multi-view and multi-articulation images. Given a set of RGB images that capture a target 3D object in different articulated poses, possibly from only few views, our method infers the interior planes that are observable in the input images. Our neural architecture is trained in a category-agnostic manner and it consists of a motion-aware multi-view analysis phase including pose, depth, and motion estimations, followed by interior plane detection in images and 3D space, and finally multi-view plane fusion. In addition, our method also predicts part articulations and is able to realize and even extrapolate the captured motions on the target 3D object. We evaluate our method by quantitative and qualitative comparisons to baselines and alternative solutions, as well as testing on untrained object categories and real image inputs to assess its generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI