OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic Segmentation of Road Scenes

要約

ライトフィールドカメラは、自動運転の分野でシーンを理解するための画像のセマンティックセグメンテーションを強化するために、豊富な角度情報と空間情報を提供できます。
しかし、ライトフィールドカメラの広範な角度情報には大量の冗長データが含まれており、インテリジェント車両の限られたハードウェアリソースでは圧倒的です。
さらに、不適切な圧縮は情報の破損やデータの損失につながります。
代表的な情報を発掘するために、Omni-Aperture Fusion モデル (OAFuser) を提案します。これは、中央ビューからの密なコンテキストを活用し、サブアパーチャ画像から角度情報を発見して、意味的に一貫した結果を生成します。
ネットワーク伝播中の特徴の損失を回避し、同時にライトフィールドカメラからの冗長な情報を合理化するために、追加のメモリコストをかけずにサブアパーチャ画像を角度特徴に埋め込むための、シンプルでありながら非常に効果的なサブアパーチャフュージョンモジュール（SAFM）を紹介します。
さらに、視点間の空間情報の不一致に対処するために、Center Angular Rectification Module (CARM) によって実現された特徴の再分類を提示し、非対称情報によって引き起こされる特徴のオクルージョンを防ぎます。
私たちが提案する OAFuser は、UrbanLF-Real および -Syn データセットで最先端のパフォーマンスを達成し、UrbanLF-Real Extended データセットで +4.53% のゲインで mIoU 単位で 84.93% の新記録を樹立しました。
OAFuser のソース コードは https://github.com/FeiBryantkit/OAFuser で公開されます。

要約(オリジナル)

Light field cameras can provide rich angular and spatial information to enhance image semantic segmentation for scene understanding in the field of autonomous driving. However, the extensive angular information of light field cameras contains a large amount of redundant data, which is overwhelming for the limited hardware resource of intelligent vehicles. Besides, inappropriate compression leads to information corruption and data loss. To excavate representative information, we propose an Omni-Aperture Fusion model (OAFuser), which leverages dense context from the central view and discovers the angular information from sub-aperture images to generate a semantically-consistent result. To avoid feature loss during network propagation and simultaneously streamline the redundant information from the light field camera, we present a simple yet very effective Sub-Aperture Fusion Module (SAFM) to embed sub-aperture images into angular features without any additional memory cost. Furthermore, to address the mismatched spatial information across viewpoints, we present Center Angular Rectification Module (CARM) realized feature resorting and prevent feature occlusion caused by asymmetric information. Our proposed OAFuser achieves state-of-the-art performance on the UrbanLF-Real and -Syn datasets and sets a new record of 84.93% in mIoU on the UrbanLF-Real Extended dataset, with a gain of +4.53%. The source code of OAFuser will be made publicly available at https://github.com/FeiBryantkit/OAFuser.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google