Mesh Convolution with Continuous Filters for 3D Surface Parsing

要約

タイトル：3Dサーフェス・パーシングのための連続フィルターを用いたメッシュ畳み込み

要約：
– コンピュータグラフィックスや3Dビジョンにおいて、3Dサーフェスの幾何学的特徴学習は多くのアプリケーションにとって重要である。
– しかし、現在の深層学習は、必要な操作やその効率的な実装の欠如により、3Dサーフェスの階層モデリングにおいて遅れている。
– 本論文では、3D三角形メッシュからの効果的な幾何学的特徴学習のための一連のモジュール操作を提案する。
– これらの操作には、新しいメッシュ畳み込み、効率的なメッシュ縮退、および関連するメッシュ(un)poolingsが含まれる。
– メッシュ畳み込みは球面調和関数を用いて直交基底を作成し、連続畳み込みフィルタを生成する。
– メッシュ縮退モジュールはGPUアクセラレーションされ、バッチメッシュをリアルタイムで処理することができ、(un)pooling操作は上/下サンプルされたメッシュの特徴を計算する。
– これらの操作のオープンソース実装であるPicassoを提供する。Picassoは異種メッシュバッチングと処理をサポートしている。
– 当社のモジュール操作を活用し、3Dサーフェスの知覚的パーシングのための新しい階層型ニューラルネットワークであるPicassoNet++を貢献する。
– 主要な3Dベンチマークにおいて、形状解析とシーンセグメンテーションに対して高い競争力のあるパフォーマンスを達成している。
– コード、データ、訓練済みモデルはhttps://github.com/EnyaHermite/Picassoで利用可能である。

要約(オリジナル)

Geometric feature learning for 3D surfaces is critical for many applications in computer graphics and 3D vision. However, deep learning currently lags in hierarchical modeling of 3D surfaces due to the lack of required operations and/or their efficient implementations. In this paper, we propose a series of modular operations for effective geometric feature learning from 3D triangle meshes. These operations include novel mesh convolutions, efficient mesh decimation and associated mesh (un)poolings. Our mesh convolutions exploit spherical harmonics as orthonormal bases to create continuous convolutional filters. The mesh decimation module is GPU-accelerated and able to process batched meshes on-the-fly, while the (un)pooling operations compute features for up/down-sampled meshes. We provide open-source implementation of these operations, collectively termed Picasso. Picasso supports heterogeneous mesh batching and processing. Leveraging its modular operations, we further contribute a novel hierarchical neural network for perceptual parsing of 3D surfaces, named PicassoNet++. It achieves highly competitive performance for shape analysis and scene segmentation on prominent 3D benchmarks. The code, data and trained models are available at https://github.com/EnyaHermite/Picasso.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI