Joint Data and Feature Augmentation for Self-Supervised Representation Learning on Point Clouds

要約

疲れ果てた注釈に対処するために、ラベルのない点群から学習する自己教師あり表現は、特に拡張ベースの対照的な方法を中心に、多くの注目を集めています。
ただし、特定の拡張では、さまざまなデータセットでの高レベルのタスクに十分な転送性が得られることはほとんどありません。
さらに、点群の拡張は、基礎となるセマンティクスも変更する可能性があります。
この問題に対処するために、ユークリッド空間でのデータ増強と特徴空間での特徴増強を組み合わせる、シンプルだが効率的な増強融合対照学習フレームワークを提案します。
特に、サンプリングとグラフ生成に基づくデータ拡張方法を提案します。
一方、拡張グラフペア間の一貫性を最大化することにより、表現の対応を可能にするデータ拡張ネットワークを設計します。
さらに、モデルがエンコーダ摂動を使用して摂動に対して不変な表現を学習することを促進する機能拡張ネットワークを設計します。
提案されたフレームワークの転送可能性を検証するために、大規模なオブジェクト分類実験とオブジェクト部分分割実験を包括的に実施します。
実験結果は、提案されたフレームワークが点群表現を自己管理された方法で学習するのに効果的であり、コミュニティで最先端の結果をもたらすことを示しています。
ソース コードは、https://zhiyongsu.github.io/Project/AFSRL.html で公開されています。

要約(オリジナル)

To deal with the exhausting annotations, self-supervised representation learning from unlabeled point clouds has drawn much attention, especially centered on augmentation-based contrastive methods. However, specific augmentations hardly produce sufficient transferability to high-level tasks on different datasets. Besides, augmentations on point clouds may also change underlying semantics. To address the issues, we propose a simple but efficient augmentation fusion contrastive learning framework to combine data augmentations in Euclidean space and feature augmentations in feature space. In particular, we propose a data augmentation method based on sampling and graph generation. Meanwhile, we design a data augmentation network to enable a correspondence of representations by maximizing consistency between augmented graph pairs. We further design a feature augmentation network that encourages the model to learn representations invariant to the perturbations using an encoder perturbation. We comprehensively conduct extensive object classification experiments and object part segmentation experiments to validate the transferability of the proposed framework. Experimental results demonstrate that the proposed framework is effective to learn the point cloud representation in a self-supervised manner, and yields state-of-the-art results in the community. The source code is publicly available at: https://zhiyongsu.github.io/Project/AFSRL.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google