Neural Progressive Meshes

要約

最近、ハンドヘルド デバイスで利用できる 3D コンテンツが急増しているため、3D メッシュなどの大規模な幾何学的データをインターネット経由で送信するための効率的なツールが必要になっています。
詳細な高解像度アセットは、ストレージや伝送帯域幅に課題を引き起こす可能性があるため、適切な帯域幅予算を使用してアセットを伝送するために詳細レベル技術がよく使用されます。
これらの方法では、データを段階的に送信し、より多くのデータでジオメトリの品質を向上させることが特に望ましいです。
私たちの重要な洞察は、3D メッシュの幾何学的詳細は、異なる形状であっても同様の局所パターンを示すことが多く、そのため、学習された共有生成空間を使用して効果的に表現できるということです。
この空間は、曲面の大規模なコレクションで事前にトレーニングされたサブディビジョンベースのエンコーダ/デコーダ アーキテクチャを使用して学習します。
さらに、追加の残差特徴がサブディビジョンの中間レベル間で段階的に送信され、クライアントが帯域幅コストと再構築の品質の間のトレードオフを制御できるようになり、ニューラル プログレッシブ メッシュ表現が提供されることが観察されました。
私たちは、複雑な 3D 形状の多様なセットでこの手法を評価し、圧縮率と再構成品質の点でベースラインを上回るパフォーマンスを示します。

要約(オリジナル)

The recent proliferation of 3D content that can be consumed on hand-held devices necessitates efficient tools for transmitting large geometric data, e.g., 3D meshes, over the Internet. Detailed high-resolution assets can pose a challenge to storage as well as transmission bandwidth, and level-of-detail techniques are often used to transmit an asset using an appropriate bandwidth budget. It is especially desirable for these methods to transmit data progressively, improving the quality of the geometry with more data. Our key insight is that the geometric details of 3D meshes often exhibit similar local patterns even across different shapes, and thus can be effectively represented with a shared learned generative space. We learn this space using a subdivision-based encoder-decoder architecture trained in advance on a large collection of surfaces. We further observe that additional residual features can be transmitted progressively between intermediate levels of subdivision that enable the client to control the tradeoff between bandwidth cost and quality of reconstruction, providing a neural progressive mesh representation. We evaluate our method on a diverse set of complex 3D shapes and demonstrate that it outperforms baselines in terms of compression ratio and reconstruction quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google