Adaptive Point Transformer

要約

最近の 3D データ取得の急増により、自然言語処理におけるトランスフォーマーの目覚ましい成功に後押しされて、点群処理用の幾何学的な深層学習モデルの開発が加速しています。
点群変換器 (PT) は最近目覚ましい成果を上げていますが、点群サイズに関する 2 次スケーリングは、現実世界のアプリケーションにとってスケーラビリティに重大な課題をもたらします。
この問題に対処するために、適応トークン選択メカニズムによって強化された標準 PT モデルである Adaptive Point Cloud Transformer (AdaPT) を提案します。
AdaPT は推論中にトークンの数を動的に減らし、大規模な点群の効率的な処理を可能にします。
さらに、個別のモデルの再トレーニングや微調整を必要とせずに、推論時にモデルの計算コストを柔軟に調整するための予算メカニズムを導入します。
点群分類タスクに関する広範な実験評価では、AdaPT が標準 PT と比較して優れた精度を維持しながら、計算の複雑さを大幅に軽減することが実証されています。
AdaPT のコードは公開されています。

要約(オリジナル)

The recent surge in 3D data acquisition has spurred the development of geometric deep learning models for point cloud processing, boosted by the remarkable success of transformers in natural language processing. While point cloud transformers (PTs) have achieved impressive results recently, their quadratic scaling with respect to the point cloud size poses a significant scalability challenge for real-world applications. To address this issue, we propose the Adaptive Point Cloud Transformer (AdaPT), a standard PT model augmented by an adaptive token selection mechanism. AdaPT dynamically reduces the number of tokens during inference, enabling efficient processing of large point clouds. Furthermore, we introduce a budget mechanism to flexibly adjust the computational cost of the model at inference time without the need for retraining or fine-tuning separate models. Our extensive experimental evaluation on point cloud classification tasks demonstrates that AdaPT significantly reduces computational complexity while maintaining competitive accuracy compared to standard PTs. The code for AdaPT is made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google