Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud

要約

点群ドメインにおける自己教師あり学習の最近の進歩により、大きな可能性が実証されました。
ただし、これらの方法には、長い事前トレーニング時間、入力空間での再構成の必要性、または追加のモダリティの必要性などの欠点があることがよくあります。
これらの問題に対処するために、点群データ専用に設計された共同埋め込み予測アーキテクチャである Point-JEPA を導入します。
この目的を達成するために、ターゲットとコンテキストの選択中にインデックスに基づいて点群パッチの埋め込みを効率的に計算および利用するように順序付けるシーケンサーを導入します。
シーケンサーは、コンテキストとターゲット選択の間のパッチエンベディングの近接性の共有計算も可能にし、効率をさらに向上させます。
実験的に、私たちの方法は、入力空間または追加のモダリティでの再構成を回避しながら、最先端の方法と競合する結果を達成します。

要約(オリジナル)

Recent advancements in self-supervised learning in the point cloud domain have demonstrated significant potential. However, these methods often suffer from drawbacks, including lengthy pre-training time, the necessity of reconstruction in the input space, or the necessity of additional modalities. In order to address these issues, we introduce Point-JEPA, a joint embedding predictive architecture designed specifically for point cloud data. To this end, we introduce a sequencer that orders point cloud patch embeddings to efficiently compute and utilize their proximity based on the indices during target and context selection. The sequencer also allows shared computations of the patch embeddings’ proximity between context and target selection, further improving the efficiency. Experimentally, our method achieves competitive results with state-of-the-art methods while avoiding the reconstruction in the input space or additional modality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google