Dynamic Prototype Adaptation with Distillation for Few-shot Point Cloud Segmentation

要約

少数ショット点群セグメンテーションでは、最小限の注釈付き点群セットのみを参照として使用して、これまでに表示されなかったカテゴリの点ごとのマスクを生成しようとします。
既存のプロトタイプベースの手法は、サポート プロトタイプに依存してクエリ点群のセグメンテーションをガイドしますが、サポート プロトタイプとクエリ フィーチャーの間にオブジェクトの大幅なバリエーションが存在する場合に課題に直面します。
この研究では、オブジェクトの変動の問題に取り組むために、各クエリ点群のタスク固有のプロトタイプを明示的に学習する動的プロトタイプ アダプテーション (DPA) を紹介します。
DPA は、プロトタイプの修正、サポートからのバニラ プロトタイプのクエリ特徴分布との調整、プロトタイプからクエリへの注意、クエリ ポイント クラウドからタスク固有のコンテキストの抽出を通じて適応を実現します。
さらに、プロトタイプ蒸留正則化用語を導入し、適応中の初期段階のプロトタイプとより深い対応物の間での知識の伝達を可能にします。
これらの適応を繰り返し適用することで、クエリ点群上で正確なマスク予測を行うためのタスク固有のプロトタイプを生成します。
2 つの一般的なベンチマークでの広範な実験により、DPA が最先端の手法を大幅に上回っていることが示されています。たとえば、S3DIS と ScanNet の 2 ウェイ 1 ショット設定では、それぞれ 7.43\% と 6.39\% です。
コードは https://github.com/jliu4ai/DPA で入手できます。

要約(オリジナル)

Few-shot point cloud segmentation seeks to generate per-point masks for previously unseen categories, using only a minimal set of annotated point clouds as reference. Existing prototype-based methods rely on support prototypes to guide the segmentation of query point clouds, but they encounter challenges when significant object variations exist between the support prototypes and query features. In this work, we present dynamic prototype adaptation (DPA), which explicitly learns task-specific prototypes for each query point cloud to tackle the object variation problem. DPA achieves the adaptation through prototype rectification, aligning vanilla prototypes from support with the query feature distribution, and prototype-to-query attention, extracting task-specific context from query point clouds. Furthermore, we introduce a prototype distillation regularization term, enabling knowledge transfer between early-stage prototypes and their deeper counterparts during adaption. By iteratively applying these adaptations, we generate task-specific prototypes for accurate mask predictions on query point clouds. Extensive experiments on two popular benchmarks show that DPA surpasses state-of-the-art methods by a significant margin, e.g., 7.43\% and 6.39\% under the 2-way 1-shot setting on S3DIS and ScanNet, respectively. Code is available at https://github.com/jliu4ai/DPA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google