Bidirectional Feature Globalization for Few-shot Semantic Segmentation of 3D Point Cloud Scenes

要約

ローカルの点群情報をグローバルな表現に変換する効果的な方法がなく、ポイント フィーチャの一般化機能が妨げられるため、点群の少数ショット セグメンテーションは依然として困難な作業です。
この研究では、双方向機能グローバル化 (BFG) アプローチを提案します。これは、ポイント機能とプロトタイプ ベクトル間の類似性測定を活用して、グローバルな認識をローカル ポイント機能に双方向的に埋め込むものです。
BFG は、ポイント ツー プロトタイプ グローバリゼーション (Po2PrG) を使用して、密なポイント フィーチャから疎なプロトタイプまでの類似度の重みに従って、ローカル ポイント フィーチャをプロトタイプに集約します。
プロトタイプからポイントへのグローバリゼーション (Pr2PoG) を使用すると、疎なプロトタイプから密集したポイント フィーチャまでの類似性の重みに基づいて、グローバルな認識がローカル ポイント フィーチャに埋め込まれます。
グローバルな知覚が埋め込まれた各クラスのまばらなプロトタイプは、メトリック学習フレームワークに基づく少数ショット 3D セグメンテーション用の単一のプロトタイプに要約されます。
S3DIS と ScanNet での広範な実験は、BFG が最先端の方法よりも大幅に優れていることを示しています。

要約(オリジナル)

Few-shot segmentation of point cloud remains a challenging task, as there is no effective way to convert local point cloud information to global representation, which hinders the generalization ability of point features. In this study, we propose a bidirectional feature globalization (BFG) approach, which leverages the similarity measurement between point features and prototype vectors to embed global perception to local point features in a bidirectional fashion. With point-to-prototype globalization (Po2PrG), BFG aggregates local point features to prototypes according to similarity weights from dense point features to sparse prototypes. With prototype-to-point globalization (Pr2PoG), the global perception is embedded to local point features based on similarity weights from sparse prototypes to dense point features. The sparse prototypes of each class embedded with global perception are summarized to a single prototype for few-shot 3D segmentation based on the metric learning framework. Extensive experiments on S3DIS and ScanNet demonstrate that BFG significantly outperforms the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google