A Hybrid Generative and Discriminative PointNet on Unordered Point Sets

要約

点群は、無数のアプリケーション (ロボット工学や自動運転車など) で使用できる自然で柔軟な表現を提供するため、解析のために点群を合成する機能が重要になります。
最近、謝ら。
エネルギーベース モデル (EBM) の形式で、順序付けられていない点集合の生成モデルを提案します。
このモデルは点群生成で優れたパフォーマンスを達成していますが、複雑な点セットの分布を取得するには、カテゴリごとに 1 つの別個のモデルをトレーニングする必要があります。
さらに、彼らの方法では点群を直接分類することができず、分類には追加の微調整が必​​要です。
興味深い質問の 1 つは、点群のハイブリッド生成モデルと識別モデル用に単一のネットワークをトレーニングできるかということです。
最近、画像についても同様の質問に肯定的に答えられ、画像の分類と生成で同時に高いパフォーマンスを実現する共同エネルギーベース モデル (JEM) のフレームワークが導入されました。
この論文では、点群の分類と生成のために JEM を拡張する初のハイブリッド Generative and Discriminative PointNet である GDPNet を提案します。
当社の GDPNet は、最新の PointNet 分類器の強力な識別力を維持しながら、最先端の生成アプローチに匹敵する点群サンプルを生成します。

要約(オリジナル)

As point cloud provides a natural and flexible representation usable in myriad applications (e.g., robotics and self-driving cars), the ability to synthesize point clouds for analysis becomes crucial. Recently, Xie et al. propose a generative model for unordered point sets in the form of an energy-based model (EBM). Despite the model achieving an impressive performance for point cloud generation, one separate model needs to be trained for each category to capture the complex point set distributions. Besides, their method is unable to classify point clouds directly and requires additional fine-tuning for classification. One interesting question is: Can we train a single network for a hybrid generative and discriminative model of point clouds? A similar question has recently been answered in the affirmative for images, introducing the framework of Joint Energy-based Model (JEM), which achieves high performance in image classification and generation simultaneously. This paper proposes GDPNet, the first hybrid Generative and Discriminative PointNet that extends JEM for point cloud classification and generation. Our GDPNet retains strong discriminative power of modern PointNet classifiers, while generating point cloud samples rivaling state-of-the-art generative approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google