WrappingNet: Mesh Autoencoder via Deep Sphere Deformation

要約

メッシュは点群と比較して基礎となる 3D 形状の完全なモデルとして機能するため、メッシュ データから固定長のコードワードを介してより意味のある表現を学習する最近の取り組みが行われています。
ただし、メッシュの深層学習パイプラインを構築する場合、メッシュの接続には新たな問題が生じます。
従来の教師なしメッシュ学習アプローチは通常、カテゴリ固有のテンプレート、たとえば人間の顔/体のテンプレートを想定していました。
これにより、学習された潜在コードが特定のカテゴリのオブジェクトに対してのみ意味を持つように制限されるため、学習された潜在スペースをさまざまな種類のオブジェクトにわたって使用することができなくなります。
この研究では、異種オブジェクトに対する一般的なメッシュの教師なし学習を可能にする最初のメッシュ オートエンコーダである WrappingNet を紹介します。
これは、メッシュ接続を表すことに特化したボトルネックに新しいベース グラフを導入し、オブジェクトの形状を表す共有潜在空間の学習を容易にすることが示されています。
WrappingNet メッシュ学習の優位性は、点群学習と比較して再構成品質の向上と競合分類、および異なるカテゴリのメッシュ間の潜在補間によってさらに実証されます。

要約(オリジナル)

There have been recent efforts to learn more meaningful representations via fixed length codewords from mesh data, since a mesh serves as a complete model of underlying 3D shape compared to a point cloud. However, the mesh connectivity presents new difficulties when constructing a deep learning pipeline for meshes. Previous mesh unsupervised learning approaches typically assume category-specific templates, e.g., human face/body templates. It restricts the learned latent codes to only be meaningful for objects in a specific category, so the learned latent spaces are unable to be used across different types of objects. In this work, we present WrappingNet, the first mesh autoencoder enabling general mesh unsupervised learning over heterogeneous objects. It introduces a novel base graph in the bottleneck dedicated to representing mesh connectivity, which is shown to facilitate learning a shared latent space representing object shape. The superiority of WrappingNet mesh learning is further demonstrated via improved reconstruction quality and competitive classification compared to point cloud learning, as well as latent interpolation between meshes of different categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google