PointSmile: Point Self-supervised Learning via Curriculum Mutual Information

要約

自己教師あり学習は、点群処理において広く注目されています。
ただし、自然なまばらさと不規則性のために、下流のタスクで効率的なトレーニングを行うために、点群の識別可能で転送可能な機能を取得することはまだ十分に解決されていません。
ポイント クラウド オブジェクトのレプリカ全体でカリキュラムの相互情報量 (CMI) を最大化することにより、再構築不要の自己教師あり学習パラダイムである PointSmile を提案します。
PointSmile は、どのように、何を学ぶかという観点から、人間のカリキュラム学習を模倣するように設計されています。つまり、簡単なカリキュラムから始めて、徐々にそのカリキュラムの難易度を上げていきます。
「学習方法」を解決するために、点群のカリキュラム データ拡張 (CDA) を導入します。
CDA は、より良い埋め込みを作成するために潜在空間が動的に影響を受けるように、PointSmile が簡単なサンプルから難しいサンプルまで学習することを奨励します。
「何を学ぶべきか」を解決するために、点群の識別機能をより適切に抽出するために、機能とクラスの両方の CMI を最大化することを提案します。
ほとんどの既存のメソッドとは異なり、PointSmile は口実タスクを必要とせず、豊富な潜在表現を生成するためにクロスモーダル データも必要としません。
オブジェクトの分類やセグメンテーションなどのダウンストリーム タスクにおける PointSmile の有効性と堅牢性を実証します。
広範な結果は、当社の PointSmile が既存の自己教師ありメソッドよりも優れており、さまざまな標準アーキテクチャで一般的な完全教師ありメソッドと比較して優れていることを示しています。

要約(オリジナル)

Self-supervised learning is attracting wide attention in point cloud processing. However, it is still not well-solved to gain discriminative and transferable features of point clouds for efficient training on downstream tasks, due to their natural sparsity and irregularity. We propose PointSmile, a reconstruction-free self-supervised learning paradigm by maximizing curriculum mutual information (CMI) across the replicas of point cloud objects. From the perspective of how-and-what-to-learn, PointSmile is designed to imitate human curriculum learning, i.e., starting with an easy curriculum and gradually increasing the difficulty of that curriculum. To solve ‘how-to-learn’, we introduce curriculum data augmentation (CDA) of point clouds. CDA encourages PointSmile to learn from easy samples to hard ones, such that the latent space can be dynamically affected to create better embeddings. To solve ‘what-to-learn’, we propose to maximize both feature- and class-wise CMI, for better extracting discriminative features of point clouds. Unlike most of existing methods, PointSmile does not require a pretext task, nor does it require cross-modal data to yield rich latent representations. We demonstrate the effectiveness and robustness of PointSmile in downstream tasks including object classification and segmentation. Extensive results show that our PointSmile outperforms existing self-supervised methods, and compares favorably with popular fully-supervised methods on various standard architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google