No Time to Train: Empowering Non-Parametric Networks for Few-shot 3D Scene Segmentation

要約

大規模なデータセットへの依存を減らすために、3D セグメンテーションの最近の研究は少数ショット学習に頼っています。
現在の 3D 少数ショット セグメンテーション手法では、最初に「認識済み」クラスでモデルを事前トレーニングし、次に「未認識」クラスでの汎化パフォーマンスを評価します。
ただし、事前の事前トレーニング段階では、過剰な時間オーバーヘッドが発生するだけでなく、「見えない」クラスに重大なドメイン ギャップが発生します。
これらの問題に取り組むために、数ショット 3D セグメンテーション用のノンパラメトリック ネットワークである Seg-NN とそのパラメトリック バリアントである Seg-PN を提案します。
Seg-NN はトレーニングを行わずに、手作りのフィルターによって高密度の表現を抽出し、既存のパラメトリック モデルと同等のパフォーマンスを実現します。
Seg-NN では事前トレーニングが不要になるため、ドメイン ギャップの問題が軽減され、時間を大幅に節約できます。
Seg-NN に基づく Seg-PN では、サポート セットとクエリ セット間の相互作用を強化する軽量の QUEry-Support Transferring (QUEST) モジュールのトレーニングのみが必要です。
実験によると、Seg-PN は、S3DIS データセットおよび ScanNet データセットで、以前の最先端の方法よりもそれぞれ +4.19% および +7.71% mIoU 優れたパフォーマンスを示し、同時にトレーニング時間を -90% 削減し、その有効性と効率性を示しています。

要約(オリジナル)

To reduce the reliance on large-scale datasets, recent works in 3D segmentation resort to few-shot learning. Current 3D few-shot segmentation methods first pre-train models on ‘seen’ classes, and then evaluate their generalization performance on ‘unseen’ classes. However, the prior pre-training stage not only introduces excessive time overhead but also incurs a significant domain gap on ‘unseen’ classes. To tackle these issues, we propose a Non-parametric Network for few-shot 3D Segmentation, Seg-NN, and its Parametric variant, Seg-PN. Without training, Seg-NN extracts dense representations by hand-crafted filters and achieves comparable performance to existing parametric models. Due to the elimination of pre-training, Seg-NN can alleviate the domain gap issue and save a substantial amount of time. Based on Seg-NN, Seg-PN only requires training a lightweight QUEry-Support Transferring (QUEST) module, which enhances the interaction between the support set and query set. Experiments suggest that Seg-PN outperforms previous state-of-the-art method by +4.19% and +7.71% mIoU on S3DIS and ScanNet datasets respectively, while reducing training time by -90%, indicating its effectiveness and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google