Transformers in 3D Point Clouds: A Survey

要約

トランスフォーマーは、自然言語処理 (NLP) とコンピューター ビジョン (CV) 革命の中心にありました。
NLP と CV での大きな成功は、点群処理での Transformer の使用を探求するきっかけになりました。
しかし、トランスフォーマーは点群の不規則性と順序付けされていない性質にどのように対処するのでしょうか?
トランスフォーマーは、さまざまな 3D 表現 (ポイント ベースまたはボクセル ベースなど) にどの程度適していますか?
さまざまな 3D 処理タスクに対するトランスフォーマーの能力は?
現在のところ、これらの問題に関する研究の体系的な調査はまだ行われていません。
3D 点群解析で人気が高まっている Transformer の包括的な概要を初めて提供しました。
まず、Transformer アーキテクチャの理論を紹介し、2D/3D 分野でのそのアプリケーションを確認します。
次に、現在の Transformer ベースのメソッドを複数の観点から分類できる 3 つの異なる分類法 (つまり、実装ベース、データ表現ベース、およびタスク ベース) を提示します。
さらに、バリアントと 3 D での自己注意メカニズムの改善の調査の結果を提示します。
点群解析における Transformer の優位性を実証するために、分類、セグメンテーション、およびオブジェクト検出のためのさまざまな Transformer ベースの方法を包括的に比較します。
最後に、3D トランスフォーマーの開発に有益なリファレンスを提供する 3 つの潜在的な研究の方向性を提案します。

要約(オリジナル)

Transformers have been at the heart of the Natural Language Processing (NLP) and Computer Vision (CV) revolutions. The significant success in NLP and CV inspired exploring the use of Transformers in point cloud processing. However, how do Transformers cope with the irregularity and unordered nature of point clouds? How suitable are Transformers for different 3D representations (e.g., point- or voxel-based)? How competent are Transformers for various 3D processing tasks? As of now, there is still no systematic survey of the research on these issues. For the first time, we provided a comprehensive overview of increasingly popular Transformers for 3D point cloud analysis. We start by introducing the theory of the Transformer architecture and reviewing its applications in 2D/3D fields. Then, we present three different taxonomies (i.e., implementation-, data representation-, and task-based), which can classify current Transformer-based methods from multiple perspectives. Furthermore, we present the results of an investigation of the variants and improvements of the self-attention mechanism in 3D. To demonstrate the superiority of Transformers in point cloud analysis, we present comprehensive comparisons of various Transformer-based methods for classification, segmentation, and object detection. Finally, we suggest three potential research directions, providing benefit references for the development of 3D Transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google