Towards Compact 3D Representations via Point Feature Enhancement Masked Autoencoders

要約

3D 表現の学習は、シングルモーダルおよびクロスモーダル ベースの MAE を含む、マスク オートエンコーダ (MAE) ベースの点群の事前トレーニング方法において重要な役割を果たします。
具体的には、クロスモーダル MAE 手法は、他のモーダル知識の補助を介して強力な 3D 表現を学習しますが、多くの場合、重い計算負荷に悩まされ、利用できないことが多い大量のクロスモーダル データ ペアに大きく依存するため、実際の応用が妨げられます。
代わりに、入力として点群のみを使用するシングルモーダルな方法が、その単純さと効率の点で実際のアプリケーションで好まれます。
ただし、このような方法では、グローバルなランダム マスク入力による 3D 表現が制限されるという問題が発生しやすくなります。
コンパクトな 3D 表現を学習するために、シンプルかつ効果的な Point Feature Enhancement Masked Autoencoders (Point-FEMAE) を提案します。これは主にグローバル ブランチと潜在的な意味論的特徴を捕捉するローカル ブランチで構成されます。
具体的には、よりコンパクトな特徴を学習するために、共有パラメータの Transformer エンコーダを導入して、グローバル ランダムおよびローカル ブロック マスク戦略によって取得されたグローバルおよびローカルのマスクされていないパッチから点特徴を抽出し、その後、特定のデコーダを使用して再構築します。
一方、ローカル ブランチの機能をさらに強化するために、より大きなスケールできめの細かいローカル コンテキストを認識するローカル パッチ畳み込みを備えたローカル拡張モジュールを提案します。
私たちの方法は、クロスモーダル代替法と比較して事前トレーニング効率を大幅に向上させ、大規模な下流実験により最先端の有効性が強調され、特にベースライン (Point-MAE) を 5.16%、5.00%、および 5.04% 上回っています。
それぞれ、ScanObjectNN の 3 つのバリアントで使用されます。
コードは https://github.com/zyh16143998882/AAAI24-PointFEMAE で入手できます。

要約(オリジナル)

Learning 3D representation plays a critical role in masked autoencoder (MAE) based pre-training methods for point cloud, including single-modal and cross-modal based MAE. Specifically, although cross-modal MAE methods learn strong 3D representations via the auxiliary of other modal knowledge, they often suffer from heavy computational burdens and heavily rely on massive cross-modal data pairs that are often unavailable, which hinders their applications in practice. Instead, single-modal methods with solely point clouds as input are preferred in real applications due to their simplicity and efficiency. However, such methods easily suffer from limited 3D representations with global random mask input. To learn compact 3D representations, we propose a simple yet effective Point Feature Enhancement Masked Autoencoders (Point-FEMAE), which mainly consists of a global branch and a local branch to capture latent semantic features. Specifically, to learn more compact features, a share-parameter Transformer encoder is introduced to extract point features from the global and local unmasked patches obtained by global random and local block mask strategies, followed by a specific decoder to reconstruct. Meanwhile, to further enhance features in the local branch, we propose a Local Enhancement Module with local patch convolution to perceive fine-grained local context at larger scales. Our method significantly improves the pre-training efficiency compared to cross-modal alternatives, and extensive downstream experiments underscore the state-of-the-art effectiveness, particularly outperforming our baseline (Point-MAE) by 5.16%, 5.00%, and 5.04% in three variants of ScanObjectNN, respectively. The code is available at https://github.com/zyh16143998882/AAAI24-PointFEMAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google