CLFT: Camera-LiDAR Fusion Transformer for Semantic Segmentation in Autonomous Driving

要約

自動運転のためのカメラと LiDAR ベースのセマンティック オブジェクト セグメンテーションに関する重要な研究は、最近のディープ ラーニングの発展から大きな恩恵を受けました。
具体的には、ビジョン トランスフォーマーは、コンピュータ ビジョン アプリケーションにマルチヘッド アテンション メカニズムを導入することに成功した新しい画期的な製品です。
したがって、自動運転に適用されるセマンティックセグメンテーションのためのカメラとLiDARの融合を実行するためのビジョントランスフォーマーベースのネットワークを提案します。
私たちの提案は、双方向ネットワーク上のビジョントランスフォーマーの新しいプログレッシブアセンブリ戦略を使用し、その結果をトランスフォーマーデコーダー層上のクロスフュージョン戦略に統合します。
他の文献研究とは異なり、当社のカメラと LiDAR の融合変圧器は、雨や低照度などの厳しい条件下で評価され、堅牢な性能を示しています。
この論文では、カメラのみ、LiDAR のみ、カメラと LiDAR の融合といったさまざまなモダリティにおける車両クラスと人間クラスのセグメンテーションの結果を報告しています。
同様にセマンティック セグメンテーション用に設計された他のネットワークに対して、CLFT のコヒーレント制御されたベンチマーク実験を実行します。
実験は、マルチモーダル センサー フュージョンとバックボーン アーキテクチャの 2 つの観点から独立して CLFT のパフォーマンスを評価することを目的としています。
定量的評価では、当社の CLFT ネットワークが、完全畳み込みニューラル ネットワーク ベース (FCN) のカメラと LiDAR の融合ニューラル ネットワークと比較した場合、厳しい暗湿条件において最大 10% の改善が得られることが示されています。
変圧器バックボーンを備え、単一モダリティ入力を使用するネットワークとは対照的に、総合的な改善は 5 ～ 10% です。

要約(オリジナル)

Critical research about camera-and-LiDAR-based semantic object segmentation for autonomous driving significantly benefited from the recent development of deep learning. Specifically, the vision transformer is the novel ground-breaker that successfully brought the multi-head-attention mechanism to computer vision applications. Therefore, we propose a vision-transformer-based network to carry out camera-LiDAR fusion for semantic segmentation applied to autonomous driving. Our proposal uses the novel progressive-assemble strategy of vision transformers on a double-direction network and then integrates the results in a cross-fusion strategy over the transformer decoder layers. Unlike other works in the literature, our camera-LiDAR fusion transformers have been evaluated in challenging conditions like rain and low illumination, showing robust performance. The paper reports the segmentation results over the vehicle and human classes in different modalities: camera-only, LiDAR-only, and camera-LiDAR fusion. We perform coherent controlled benchmark experiments of CLFT against other networks that are also designed for semantic segmentation. The experiments aim to evaluate the performance of CLFT independently from two perspectives: multimodal sensor fusion and backbone architectures. The quantitative assessments show our CLFT networks yield an improvement of up to 10% for challenging dark-wet conditions when comparing with Fully-Convolutional-Neural-Network-based (FCN) camera-LiDAR fusion neural network. Contrasting to the network with transformer backbone but using single modality input, the all-around improvement is 5-10%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google