Swin3D: A Pretrained Transformer Backbone for 3D Indoor Scene Understanding

要約

タイトル：「Swin3D：3D屋内シーン理解のための事前トレーニングされたTransformerバックボーン」

要約：
– 2Dビジョンと自然言語処理タスクで広く採用されている事前学習済みのバックボーンがあり、タスク特定のネットワークに対して大きな優位性を示しています。
– この論文では、3DSwing Transformerに基づく事前学習済みの3Dバックボーンである「Swin3D」を提供します。
– Swin3Dは、疎なボクセルでセルフアテンションを効率的かつ直線的なメモリの複雑さで実行し、一般化された文脈的相対位置エンベッディングを通じてポイントシグナルの不規則性を捕捉するように細心の注意を払って設計されたバックボーンネットワークであるため、従来の手法を上回る性能を発揮します。
– Swin3Dモデルを構築するために、Structore3Dデータセット上で事前学習しました。また、その後、実際の屋内シーン理解タスクにおいて先行研究を上回る上に、異なる3Dポイントデータセットにおいて優れた汎化性を発揮することが実証されています。
– この方法は、事前トレーニングされた3Dバックボーンが屋内シーン理解タスクにおいて大きな潜在能力を持っていることを示しています。

要約(オリジナル)

Pretrained backbones with fine-tuning have been widely adopted in 2D vision and natural language processing tasks and demonstrated significant advantages to task-specific networks. In this paper, we present a pretrained 3D backbone, named Swin3D, which first outperforms all state-of-the-art methods in downstream 3D indoor scene understanding tasks. Our backbone network is based on a 3D Swin transformer and carefully designed to efficiently conduct self-attention on sparse voxels with linear memory complexity and capture the irregularity of point signals via generalized contextual relative positional embedding. Based on this backbone design, we pretrained a large Swin3D model on a synthetic Structured3D dataset that is 10 times larger than the ScanNet dataset and fine-tuned the pretrained model in various downstream real-world indoor scene understanding tasks. The results demonstrate that our model pretrained on the synthetic dataset not only exhibits good generality in both downstream segmentation and detection on real 3D point datasets, but also surpasses the state-of-the-art methods on downstream tasks after fine-tuning with +2.3 mIoU and +2.2 mIoU on S3DIS Area5 and 6-fold semantic segmentation, +2.1 mIoU on ScanNet segmentation (val), +1.9 mAP@0.5 on ScanNet detection, +8.1 mAP@0.5 on S3DIS detection. Our method demonstrates the great potential of pretrained 3D backbones with fine-tuning for 3D understanding tasks. The code and models are available at https://github.com/microsoft/Swin3D .

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI