Deformable Convolution Based Road Scene Semantic Segmentation of Fisheye Images in Autonomous Driving

要約

この研究では、特に魚眼画像を使用した自動運転シナリオにおける、セマンティック セグメンテーション タスクに対する最新の変形可能畳み込みニューラル ネットワーク (DCNN) の有効性を調査します。
これらの画像は広い視野を提供するため、物体の属性が動的に変化するため、空間的および幾何学的情報を抽出する際に独特の課題を引き起こします。
私たちの実験では、WoodScape 魚眼画像データセットを 10 個の異なるクラスにセグメント化し、複雑な空間関係をキャプチャしてセグメンテーションの精度を向上させる変形可能ネットワークの能力を評価することに焦点を当てています。
さらに、クラスの不均衡の問題に対処するためにさまざまな損失関数を調査し、従来の CNN アーキテクチャのパフォーマンスを Vanilla U-Net アーキテクチャや Residual U-Net アーキテクチャなどの変形可能な畳み込みベースの CNN と比較します。
Deformable CNN の統合による mIoU スコアの大幅な向上は、魚眼画像に存在する幾何学的歪みの処理におけるその有効性を示しており、従来の CNN アーキテクチャのパフォーマンスを上回っています。
これは、魚眼画像のセマンティック セグメンテーションのパフォーマンスを向上させる上で、変形可能な畳み込みが重要な役割を果たしていることを強調しています。

要約(オリジナル)

This study investigates the effectiveness of modern Deformable Convolutional Neural Networks (DCNNs) for semantic segmentation tasks, particularly in autonomous driving scenarios with fisheye images. These images, providing a wide field of view, pose unique challenges for extracting spatial and geometric information due to dynamic changes in object attributes. Our experiments focus on segmenting the WoodScape fisheye image dataset into ten distinct classes, assessing the Deformable Networks’ ability to capture intricate spatial relationships and improve segmentation accuracy. Additionally, we explore different loss functions to address class imbalance issues and compare the performance of conventional CNN architectures with Deformable Convolution-based CNNs, including Vanilla U-Net and Residual U-Net architectures. The significant improvement in mIoU score resulting from integrating Deformable CNNs demonstrates their effectiveness in handling the geometric distortions present in fisheye imagery, exceeding the performance of traditional CNN architectures. This underscores the significant role of Deformable convolution in enhancing semantic segmentation performance for fisheye imagery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google