3D Vision with Transformers: A Survey

要約

自然言語処理における変換器の成功は、近年、コンピュータビジョン分野でも注目されている。変換器は長距離依存性を学習することができるため、広く用いられている畳み込み演算子の代替として利用されてきた。この置き換えは多くのタスクで成功することが証明されており、いくつかの最先端の手法は、より良い学習のためにトランスフォーマーに依存している。コンピュータビジョンにおいても、3次元の分野では、3次元畳み込みニューラルネットワークや多層パーセプトロンネットワークにトランスフォーマーを採用することが増えています。一般に、視覚における変圧器に関する研究は数多く行われているが、3Dビジョンは2Dビジョンと比較して、データ表現と処理の違いがあるため、特に注意が必要である。この研究では、分類、セグメンテーション、検出、補完、姿勢推定など、様々な3Dビジョンタスクのための100以上のトランスフォーマー手法を体系的かつ徹底的にレビューしている。我々は、様々な3D表現を持つデータを処理することを可能にする3Dビジョンにおけるトランスフォーマーの設計について議論する。各アプリケーションについて、提案されたトランスフォーマーに基づく手法の主要な特性と貢献を強調する。これらの手法の競争力を評価するために、12の3Dベンチマークにおいて、一般的な非変換手法とその性能を比較する。最後に、3Dビジョンにおけるトランスフォーマーに関する様々な未解決の方向性と課題について議論し、サーベイを締めくくる。発表論文に加え、最新の関連論文とそれに対応する実装を https://github.com/lahoud/3d-vision-transformers で頻繁に更新することを目指します。

要約(オリジナル)

The success of the transformer architecture in natural language processing has recently triggered attention in the computer vision field. The transformer has been used as a replacement for the widely used convolution operators, due to its ability to learn long-range dependencies. This replacement was proven to be successful in numerous tasks, in which several state-of-the-art methods rely on transformers for better learning. In computer vision, the 3D field has also witnessed an increase in employing the transformer for 3D convolution neural networks and multi-layer perceptron networks. Although a number of surveys have focused on transformers in vision in general, 3D vision requires special attention due to the difference in data representation and processing when compared to 2D vision. In this work, we present a systematic and thorough review of more than 100 transformers methods for different 3D vision tasks, including classification, segmentation, detection, completion, pose estimation, and others. We discuss transformer design in 3D vision, which allows it to process data with various 3D representations. For each application, we highlight key properties and contributions of proposed transformer-based methods. To assess the competitiveness of these methods, we compare their performance to common non-transformer methods on 12 3D benchmarks. We conclude the survey by discussing different open directions and challenges for transformers in 3D vision. In addition to the presented papers, we aim to frequently update the latest relevant papers along with their corresponding implementations at: https://github.com/lahoud/3d-vision-transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL