Prototypical VoteNet for Few-Shot 3D Point Cloud Object Detection

要約

既存の 3D ポイント クラウド オブジェクト検出アプローチのほとんどは、大量のラベル付きトレーニング データに大きく依存しています。
ただし、ラベル付けプロセスにはコストと時間がかかります。
このペーパーでは、基本クラスの豊富なサンプルを使用して、新しいクラスのいくつかの注釈付きサンプルのみが必要な、少数ショットの 3D 点群オブジェクト検出について検討します。
この目的のために、新しいインスタンスを認識してローカライズするためのプロトタイプ VoteNet を提案します。これには、プロトタイプ 投票モジュール (PVM) とプロトタイプ ヘッド モジュール (PHM) の 2 つの新しいモジュールが組み込まれています。
具体的には、3D の基本的な幾何学的構造をカテゴリ間で共有できるため、PVM は、基本クラスから学習したクラスに依存しない幾何学的プロトタイプを活用して、新しいカテゴリの局所的な特徴を改良するように設計されています。
エピソードトレーニング戦略によってトレーニングされる、その後のオブジェクトのローカリゼーションと分類を容易にする、各オブジェクトのグローバルな特徴。
この新しい設定でモデルを評価するために、FS-ScanNet と FS-SUNRGBD という 2 つの新しいベンチマーク データセットを提供します。
Prototyping VoteNet の有効性を実証するために広範な実験を行い、提案された方法は、2 つのベンチマーク データセットのベースラインと比較して、大幅かつ一貫した改善を示しています。

要約(オリジナル)

Most existing 3D point cloud object detection approaches heavily rely on large amounts of labeled training data. However, the labeling process is costly and time-consuming. This paper considers few-shot 3D point cloud object detection, where only a few annotated samples of novel classes are needed with abundant samples of base classes. To this end, we propose Prototypical VoteNet to recognize and localize novel instances, which incorporates two new modules: Prototypical Vote Module (PVM) and Prototypical Head Module (PHM). Specifically, as the 3D basic geometric structures can be shared among categories, PVM is designed to leverage class-agnostic geometric prototypes, which are learned from base classes, to refine local features of novel categories.Then PHM is proposed to utilize class prototypes to enhance the global feature of each object, facilitating subsequent object localization and classification, which is trained by the episodic training strategy. To evaluate the model in this new setting, we contribute two new benchmark datasets, FS-ScanNet and FS-SUNRGBD. We conduct extensive experiments to demonstrate the effectiveness of Prototypical VoteNet, and our proposed method shows significant and consistent improvements compared to baselines on two benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google