Transfer Learning using Spectral Convolutional Autoencoders on Semi-Regular Surface Meshes

要約

経時的に変形する 3D サーフェス メッシュの基本的なダイナミクスとパターンは、教師なし学習、特にサーフェスの低次元埋め込みを計算するオートエンコーダーによって発見できます。
転移学習によって目に見えない形状の変形パターンを研究するために、新しいネットワークをトレーニングせずに新しい表面メッシュを分析できるオートエンコーダーをトレーニングしたいと考えています。
ここで、ほとんどの最先端のオートエンコーダーは、異なる接続性のメッシュを処理できないため、新しいメッシュへの一般化機能が制限されています。
また、再構成エラーは、トレーニング形状のエラーと比較して大幅に増加します。
これに対処するために、新しいスペクトル CoSMA (Convolutional Semi-Regular Mesh Autoencoder) ネットワークを提案します。
このパッチベースのアプローチは、表面認識トレーニングと組み合わされます。
トレーニング中に提示されなかったサーフェスを再構築し、サーフェスのパッチの変形動作を一般化します。
新しいアプローチは、これらの形状でトレーニングされた最先端のオートエンコーダーと比較して、優れた品質でさまざまなデータセットから目に見えないメッシュを再構築します。
目に見えない形状の転移学習エラーは、データで直接学習されたモデルからのエラーよりも 40% 低くなります。
さらに、ベースライン オートエンコーダーは、形状全体に対してのみ、目に見えないメッシュ シーケンスの変形パターンを検出します。
対照的に、採用された地域パッチと安定した再構成品質により、これらの変形パターンが現れる表面の場所を特定できます。

要約(オリジナル)

The underlying dynamics and patterns of 3D surface meshes deforming over time can be discovered by unsupervised learning, especially autoencoders, which calculate low-dimensional embeddings of the surfaces. To study the deformation patterns of unseen shapes by transfer learning, we want to train an autoencoder that can analyze new surface meshes without training a new network. Here, most state-of-the-art autoencoders cannot handle meshes of different connectivity and therefore have limited to no generalization capacities to new meshes. Also, reconstruction errors strongly increase in comparison to the errors for the training shapes. To address this, we propose a novel spectral CoSMA (Convolutional Semi-Regular Mesh Autoencoder) network. This patch-based approach is combined with a surface-aware training. It reconstructs surfaces not presented during training and generalizes the deformation behavior of the surfaces’ patches. The novel approach reconstructs unseen meshes from different datasets in superior quality compared to state-of-the-art autoencoders that have been trained on these shapes. Our transfer learning errors on unseen shapes are 40% lower than those from models learned directly on the data. Furthermore, baseline autoencoders detect deformation patterns of unseen mesh sequences only for the whole shape. In contrast, due to the employed regional patches and stable reconstruction quality, we can localize where on the surfaces these deformation patterns manifest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google