Towards Training-Free Open-World Classification with 3D Generative Models

要約

3Dオープンワールド分類は、動的で構造化されていない現実世界のシナリオにおいて、挑戦的でありながら不可欠なタスクであり、オープンカテゴリとオープンポーズ認識の両方を必要とします。
これらの課題に対処するために、最近の知恵はしばしば洗練された2D事前訓練モデルを取り、豊かで安定した表現を提供します。
ただし、これらの方法は、3Dオブジェクトを2Dスペースに投影する方法に大きく依存していますが、残念ながら十分に解決されていないため、パフォーマンスを大幅に制限します。
これらの現在の取り組みとは異なり、この論文では、3Dオープンワールド分類のための3D生成モデルの先駆的な調査を行います。
3D生成モデルからの豊富な事前知識を利用して、さらに回転不変の特徴抽出器を作成します。
この革新的な相乗効果は、トレーニングのない、オープンカテゴリ、ポーズ不変であるという利点をパイプラインに与え、したがって3Dオープンワールド分類に適しています。
ベンチマークデータセットでの広範な実験は、3Dオープンワールド分類における生成モデルの可能性を示しており、それぞれ32.0％と8.7％の全体的な精度改善でModelNet10とMcGillで最先端のパフォーマンスを達成しています。

要約(オリジナル)

3D open-world classification is a challenging yet essential task in dynamic and unstructured real-world scenarios, requiring both open-category and open-pose recognition. To address these challenges, recent wisdom often takes sophisticated 2D pre-trained models to provide enriched and stable representations. However, these methods largely rely on how 3D objects can be projected into 2D space, which is unfortunately not well solved, and thus significantly limits their performance. Unlike these present efforts, in this paper we make a pioneering exploration of 3D generative models for 3D open-world classification. Drawing on abundant prior knowledge from 3D generative models, we additionally craft a rotation-invariant feature extractor. This innovative synergy endows our pipeline with the advantages of being training-free, open-category, and pose-invariant, thus well suited to 3D open-world classification. Extensive experiments on benchmark datasets demonstrate the potential of generative models in 3D open-world classification, achieving state-of-the-art performance on ModelNet10 and McGill with 32.0% and 8.7% overall accuracy improvement, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google