RangeViT: Towards Vision Transformers for 3D Semantic Segmentation in Autonomous Driving

要約

タイトル：自律走行のための3DセマンティックセグメンテーションのためのビジョントランスフォーマーであるRangeViT

要約：

– ライダーポイントクラウドのセグメンテーションを2D問題として投影すると、高速な計算とともに、その後で他の表現技術を使用することにより高い結果が得られる。
– 投影ベースの方法は現在、2D CNNsを利用しているが、ビジョントランスフォーマー（ViTs）の最新技術は、多くの画像ベースのベンチマークで最先端の結果が得られることを示している。
– この研究では、3Dセマンティックセグメンテーションのための投影ベースの方法が最新のViTsの改善によって恩恵を受けることができるかどうかを検証する。
– 大規模な画像コレクションで長期的なトレーニングを行ったViTsを事前にトレーニングすることで、訓練データが必要なViTsの欠点を補うことができる。
– ViTsの歩留まりバイアスを補正するために、古典的な線形埋め込み層に代わって専用の畳み込みステムを用意する。
– 低レベルのがく細な特徴と、ViTエンコーダの高レベルの粗い予測を組み合わせるために、畳み込みステムからのスキップ接続を使用して、畳み込みデコーダを用いて、ピクセル単位の予測を洗練させる。
– これらの要素を組み合わせて、RangeViTと呼ばれる手法を提案し、nuScenesやSemanticKITTIなどのベンチマークで、既存の投影ベースの手法を上回る結果を得た。

要約(オリジナル)

Casting semantic segmentation of outdoor LiDAR point clouds as a 2D problem, e.g., via range projection, is an effective and popular approach. These projection-based methods usually benefit from fast computations and, when combined with techniques which use other point cloud representations, achieve state-of-the-art results. Today, projection-based methods leverage 2D CNNs but recent advances in computer vision show that vision transformers (ViTs) have achieved state-of-the-art results in many image-based benchmarks. In this work, we question if projection-based methods for 3D semantic segmentation can benefit from these latest improvements on ViTs. We answer positively but only after combining them with three key ingredients: (a) ViTs are notoriously hard to train and require a lot of training data to learn powerful representations. By preserving the same backbone architecture as for RGB images, we can exploit the knowledge from long training on large image collections that are much cheaper to acquire and annotate than point clouds. We reach our best results with pre-trained ViTs on large image datasets. (b) We compensate ViTs’ lack of inductive bias by substituting a tailored convolutional stem for the classical linear embedding layer. (c) We refine pixel-wise predictions with a convolutional decoder and a skip connection from the convolutional stem to combine low-level but fine-grained features of the the convolutional stem with the high-level but coarse predictions of the ViT encoder. With these ingredients, we show that our method, called RangeViT, outperforms existing projection-based methods on nuScenes and SemanticKITTI. The code is available at https://github.com/valeoai/rangevit.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI