Ghost on the Shell: An Expressive Representation of General 3D Shapes

要約

フォトリアリスティックな仮想世界を作成するには、さまざまなオブジェクトの 3D サーフェス ジオメトリを正確にモデリングする必要があります。
この点で、メッシュは 1) リアルなマテリアルとライティングによる高速な物理ベースのレンダリングを可能にし、2) 物理シミュレーションをサポートし、3) 最新のグラフィックス パイプラインにとってメモリ効率が高いため、魅力的です。
しかし、3D 形状の再構築と統計的モデリングに関する最近の研究では、メッシュはトポロジー的に柔軟性が低いと批判されています。
幅広いオブジェクトの形状をキャプチャするには、3D 表現で、固体で水密な形状だけでなく、薄く開いた表面もモデル化できなければなりません。
最近の研究は前者に焦点を当てており、オープン サーフェスを再構成する方法は、マテリアルと照明、または無条件生成モデリングを使用した高速な再構成をサポートしていません。
開いた表面は水密な表面に浮かぶ島のように見えるという観察に触発され、水密なテンプレート上で多様体符号付き距離フィールドを定義することで開いた表面をパラメータ化します。
このパラメータ化により、任意のトポロジの防水メッシュと非防水メッシュの両方をパラメータ化する、グリッドベースの微分可能な表現をさらに開発します。
Ghost-on-the-Shell (G-Shell) と呼ばれる私たちの新しい表現は、多視点画像からの微分可能なラスタライズベースの再構成と非防水メッシュの生成モデリングという 2 つの重要なアプリケーションを可能にします。
私たちは、G-Shell が非防水メッシュの再構築および生成タスクで最先端のパフォーマンスを達成すると同時に、防水メッシュに対しても効果的にパフォーマンスを発揮することを経験的に示しています。

要約(オリジナル)

The creation of photorealistic virtual worlds requires the accurate modeling of 3D surface geometry for a wide range of objects. For this, meshes are appealing since they 1) enable fast physics-based rendering with realistic material and lighting, 2) support physical simulation, and 3) are memory-efficient for modern graphics pipelines. Recent work on reconstructing and statistically modeling 3D shape, however, has critiqued meshes as being topologically inflexible. To capture a wide range of object shapes, any 3D representation must be able to model solid, watertight, shapes as well as thin, open, surfaces. Recent work has focused on the former, and methods for reconstructing open surfaces do not support fast reconstruction with material and lighting or unconditional generative modelling. Inspired by the observation that open surfaces can be seen as islands floating on watertight surfaces, we parameterize open surfaces by defining a manifold signed distance field on watertight templates. With this parameterization, we further develop a grid-based and differentiable representation that parameterizes both watertight and non-watertight meshes of arbitrary topology. Our new representation, called Ghost-on-the-Shell (G-Shell), enables two important applications: differentiable rasterization-based reconstruction from multiview images and generative modelling of non-watertight meshes. We empirically demonstrate that G-Shell achieves state-of-the-art performance on non-watertight mesh reconstruction and generation tasks, while also performing effectively for watertight meshes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google