DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks

要約

セマンティックセグメンテーションのためのほとんどのアプローチは、シーンの解析にカラーカメラの情報のみを使用しているが、最近の進歩により、奥行きデータを使用することでさらにパフォーマンスを向上させることが可能であることが示されている。本研究では、セグメンテーションタスクで最先端の性能を達成した変換器ベースの深層学習アーキテクチャに注目し、位置エンコーディングに深度情報を埋め込むことで深度情報を採用することを提案する。効果的に、パラメータを追加することなく、トランスフォーマーの自己注意モジュールの強みを活かした自然な方法で、ネットワークをマルチモーダルデータに拡張します。また、注意モジュール内部でクロスモダリティ操作を行い、深度ブランチとカラーブランチの間で主要な入力を入れ替えるというアイデアも検討した。我々のアプローチは、Cityscapesベンチマークにおいて一貫して性能を向上させました。

要約(オリジナル)

Most approaches for semantic segmentation use only information from color cameras to parse the scenes, yet recent advancements show that using depth data allows to further improve performances. In this work, we focus on transformer-based deep learning architectures, that have achieved state-of-the-art performances on the segmentation task, and we propose to employ depth information by embedding it in the positional encoding. Effectively, we extend the network to multimodal data without adding any parameters and in a natural way that makes use of the strength of transformers’ self-attention modules. We also investigate the idea of performing cross-modality operations inside the attention module, swapping the key inputs between the depth and color branches. Our approach consistently improves performances on the Cityscapes benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL