Data Augmentation-free Unsupervised Learning for 3D Point Cloud Understanding

要約

3次元点群に対する教師なし学習は、特にデータ増強に基づく対比手法のおかげで、急速な進化を遂げている。しかし、データ補強は、実行する補強の種類を慎重に選択する必要があり、その結果、自己学習中にネットワークによって学習される幾何学的および意味的情報に影響を与える可能性があるため、理想的な方法ではない。この問題を克服するために、我々は点群に対して、ソフトクラスタリングによって伝達可能な点レベルの特徴を学習する、オーグメンテーション不要の教師なしアプローチを提案する（SoftCluと命名）。SoftCluは、クラスタに属する点が幾何学的空間と特徴空間の両方において互いに近接していることを仮定している。これは、点群全体とその拡張版に対して類似した表現を構築する典型的な対比学習とは異なるものである。我々は、点のクラスタへの所属を代理として利用し、擬似ラベル予測タスクによる自己学習を可能にする。これらの擬似ラベルが点群の等配置を引き起こすという制約のもと、SoftCluを最適輸送問題として定式化する。我々は教師なし損失を定式化し、擬似ラベルと予測ラベルの間の標準クロスエントロピーを最小化する。3次元物体分類、部品分割、意味分割などの下流アプリケーションの実験により、我々のフレームワークが最先端の技術を凌駕する有効性を示している。

要約(オリジナル)

Unsupervised learning on 3D point clouds has undergone a rapid evolution, especially thanks to data augmentation-based contrastive methods. However, data augmentation is not ideal as it requires a careful selection of the type of augmentations to perform, which in turn can affect the geometric and semantic information learned by the network during self-training. To overcome this issue, we propose an augmentation-free unsupervised approach for point clouds to learn transferable point-level features via soft clustering, named SoftClu. SoftClu assumes that the points belonging to a cluster should be close to each other in both geometric and feature spaces. This differs from typical contrastive learning, which builds similar representations for a whole point cloud and its augmented versions. We exploit the affiliation of points to their clusters as a proxy to enable self-training through a pseudo-label prediction task. Under the constraint that these pseudo-labels induce the equipartition of the point cloud, we cast SoftClu as an optimal transport problem. We formulate an unsupervised loss to minimize the standard cross-entropy between pseudo-labels and predicted labels. Experiments on downstream applications, such as 3D object classification, part segmentation, and semantic segmentation, show the effectiveness of our framework in outperforming state-of-the-art techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL