OAFuser: Towards Omni-Aperture Fusion for Light Field Semantic Segmentation

要約

ライトフィールドカメラは、マイクロレンズアレイの力を利用することにより、複雑な角度および空間の詳細を捉えることができます。
これにより、複数の角度から複雑な光のパターンと詳細を取得できるようになり、視覚インテリジェンスにおけるシーン解釈の重要な側面である画像セマンティック セグメンテーションの精度が大幅に向上します。
ただし、ライト フィールド カメラの広範な角度情報には大量の冗長データが含まれており、インテリジェント車両の限られたハードウェア リソースでは圧倒的です。
さらに、不適切な圧縮は情報の破損やデータの損失につながります。
代表的な情報を発掘するために、私たちは新しいパラダイムであるオムニアパーチャーフュージョンモデル（OAFuser）を提案します。これは、中央ビューからの密なコンテキストを活用し、サブアパーチャー画像から角度情報を発見して、意味的に一貫した結果を生成します。
ネットワーク伝播中の特徴の損失を回避し、同時にライトフィールドカメラからの冗長な情報を合理化するために、追加のメモリコストをかけずにサブアパーチャ画像を角度特徴に埋め込むための、シンプルでありながら非常に効果的なサブアパーチャフュージョンモジュール（SAFM）を紹介します。
さらに、視点間の空間情報の不一致に対処するために、特徴の再分類を実現し、非対称情報によって引き起こされる特徴のオクルージョンを防止する中心角補正モジュール (CARM) を紹介します。
私たちが提案する OAFuser は、UrbanLF-Real および -Syn データセットで最先端のパフォーマンスを達成し、UrbanLF-Real Extended データセットで +4.53% のゲインで mIoU 単位で 84.93% の新記録を樹立しました。
OAFuser のソース コードは https://github.com/FeiBryantkit/OAFuser で入手できます。

要約(オリジナル)

Light field cameras, by harnessing the power of micro-lens array, are capable of capturing intricate angular and spatial details. This allows for acquiring complex light patterns and details from multiple angles, significantly enhancing the precision of image semantic segmentation, a critical aspect of scene interpretation in vision intelligence. However, the extensive angular information of light field cameras contains a large amount of redundant data, which is overwhelming for the limited hardware resources of intelligent vehicles. Besides, inappropriate compression leads to information corruption and data loss. To excavate representative information, we propose a new paradigm, Omni-Aperture Fusion model (OAFuser), which leverages dense context from the central view and discovers the angular information from sub-aperture images to generate a semantically consistent result. To avoid feature loss during network propagation and simultaneously streamline the redundant information from the light field camera, we present a simple yet very effective Sub-Aperture Fusion Module (SAFM) to embed sub-aperture images into angular features without any additional memory cost. Furthermore, to address the mismatched spatial information across viewpoints, we present a Center Angular Rectification Module (CARM) to realize feature resorting and prevent feature occlusion caused by asymmetric information. Our proposed OAFuser achieves state-of-the-art performance on the UrbanLF-Real and -Syn datasets and sets a new record of 84.93% in mIoU on the UrbanLF-Real Extended dataset, with a gain of +4.53%. The source code of OAFuser will be available at https://github.com/FeiBryantkit/OAFuser.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google