Self-supervised adversarial masking for 3D point cloud representation learning

要約

自己教師あり手法は、3D 点群データの深い表現を学習するのに効果的であることが証明されています。
この分野の最近の方法は入力のランダム マスキングに依存することが多いですが、このアプローチの結果は改善できる可能性があります。
点群のマスキング関数を学習するための新しい敵対的手法である PointCAM を紹介します。
私たちのモデルは、3D 点群用のオンライン トークナイザーを備えた自己蒸留フレームワークを利用しています。
パッチレベルおよびオブジェクトレベルの目標を最適化する以前の手法と比較して、マスクをランダムに選択するのではなく選択方法を学習する補助ネットワークを適用することを前提としています。
私たちの結果は、学習されたマスキング関数がさまざまな下流タスクで最先端のパフォーマンスまたは競争力のあるパフォーマンスを達成することを示しています。
ソース コードは https://github.com/szacho/pointcam で入手できます。

要約(オリジナル)

Self-supervised methods have been proven effective for learning deep representations of 3D point cloud data. Although recent methods in this domain often rely on random masking of inputs, the results of this approach can be improved. We introduce PointCAM, a novel adversarial method for learning a masking function for point clouds. Our model utilizes a self-distillation framework with an online tokenizer for 3D point clouds. Compared to previous techniques that optimize patch-level and object-level objectives, we postulate applying an auxiliary network that learns how to select masks instead of choosing them randomly. Our results show that the learned masking function achieves state-of-the-art or competitive performance on various downstream tasks. The source code is available at https://github.com/szacho/pointcam.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google