GroupContrast: Semantic-aware Self-supervised Representation Learning for 3D Understanding

要約

自己教師あり 3D 表現学習は、大規模なラベルのない点群から効果的な表現を学習することを目的としています。
既存のアプローチのほとんどは、点弁別を口実タスクとして採用しており、2 つの異なるビューで一致する点を正のペアとして割り当て、一致しない点を負のペアとして割り当てます。
ただし、このアプローチでは、多くの場合、意味的に同一の点が異なる表現を持つ結果となり、多数の偽陰性が発生し、「意味上の競合」問題が発生します。
この問題に対処するために、セグメントのグループ化と意味を意識した対比学習を組み合わせた新しいアプローチである GroupContrast を提案します。
セグメント グループ化は、ポイントを意味的に意味のある領域に分割します。これにより、意味的な一貫性が強化され、その後の対比表現の学習に意味的なガイダンスが提供されます。
意味を意識した対比学習は、セグメントのグループ化から抽出された意味情報を強化し、「意味の矛盾」の問題を軽減するのに役立ちます。
私たちは、複数の 3D シーン理解タスクについて広範な実験を実施しました。
この結果は、GroupContrast が意味的に意味のある表現を学習し、有望な転移学習パフォーマンスを達成していることを示しています。

要約(オリジナル)

Self-supervised 3D representation learning aims to learn effective representations from large-scale unlabeled point clouds. Most existing approaches adopt point discrimination as the pretext task, which assigns matched points in two distinct views as positive pairs and unmatched points as negative pairs. However, this approach often results in semantically identical points having dissimilar representations, leading to a high number of false negatives and introducing a ‘semantic conflict’ problem. To address this issue, we propose GroupContrast, a novel approach that combines segment grouping and semantic-aware contrastive learning. Segment grouping partitions points into semantically meaningful regions, which enhances semantic coherence and provides semantic guidance for the subsequent contrastive representation learning. Semantic-aware contrastive learning augments the semantic information extracted from segment grouping and helps to alleviate the issue of ‘semantic conflict’. We conducted extensive experiments on multiple 3D scene understanding tasks. The results demonstrate that GroupContrast learns semantically meaningful representations and achieves promising transfer learning performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google