3DMambaComplete: Exploring Structured State Space Model for Point Cloud Completion

要約

点群の完成は、最初は不完全で低品質の入力から完全で忠実度の高い点群を生成することを目的としています。
一般的な戦略には、Transformer ベースのモデルを活用してグローバル フィーチャをエンコードし、再構成プロセスを容易にすることが含まれます。
ただし、グローバル フィーチャ表現を取得するためにプーリング操作を採用すると、点群内の局所的な詳細が失われることがよくあります。
さらに、Transformers に固有のアテンション メカニズムにより計算がさらに複雑になり、長いシーケンスを効果的に処理することが困難になります。
これらの問題に対処するために、新しい Mamba フレームワーク上に構築された点群補完ネットワークである 3DMambaComplete を提案します。
これは 3 つのモジュールで構成されます。 HyperPoint Generation は、Mamba の選択メカニズムを使用して点群特徴をエンコードし、一連のハイパーポイントを予測します。
特定のオフセットが推定され、ダウンサンプリングされたポイントが HyperPoint になります。
HyperPoint Spread モジュールは、集中を避けるために、これらの HyperPoint をさまざまな空間位置に分散させます。
最後に、変形メソッドは、点群を再構築するために、HyperPoint の 2D メッシュ表現をきめの細かい 3D 構造に変換します。
確立されたさまざまなベンチマークで行われた広範な実験により、3DMambaComplete が最先端の点群補完手法を上回っていることが実証されており、これは定性分析と定量分析によって確認されています。

要約(オリジナル)

Point cloud completion aims to generate a complete and high-fidelity point cloud from an initially incomplete and low-quality input. A prevalent strategy involves leveraging Transformer-based models to encode global features and facilitate the reconstruction process. However, the adoption of pooling operations to obtain global feature representations often results in the loss of local details within the point cloud. Moreover, the attention mechanism inherent in Transformers introduces additional computational complexity, rendering it challenging to handle long sequences effectively. To address these issues, we propose 3DMambaComplete, a point cloud completion network built on the novel Mamba framework. It comprises three modules: HyperPoint Generation encodes point cloud features using Mamba’s selection mechanism and predicts a set of Hyperpoints. A specific offset is estimated, and the down-sampled points become HyperPoints. The HyperPoint Spread module disperses these HyperPoints across different spatial locations to avoid concentration. Finally, a deformation method transforms the 2D mesh representation of HyperPoints into a fine-grained 3D structure for point cloud reconstruction. Extensive experiments conducted on various established benchmarks demonstrate that 3DMambaComplete surpasses state-of-the-art point cloud completion methods, as confirmed by qualitative and quantitative analyses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google