Adaptive-Mask Fusion Network for Segmentation of Drivable Road and Negative Obstacle With Untrustworthy Features

要約

タイトル：Segmentation of Drivable Road and Negative Obstacle With Untrustworthy Featuresに対する Adaptive-Mask Fusion Network

要約：
– 自動運転車の安全には、走行可能な道路とマイナスの障害物のセグメンテーションが重要である。
– RGBと深度画像を組み合わせた多モーダル融合手法は、セグメンテーション精度を向上させるために提案されている。
– しかし、信頼性の低い機能を持つデータを結合する場合、マルチモーダルネットワークの性能が低下する可能性がある。
– この問題に対処するため、アダプティブ-マスク融合ネットワーク（AMFNet）を提案する。
– AMFNetでは、不一致なRGBと深度画像の特徴を融合するための自動重みマスクを導入する。
– さらに、NPOデータセットに基づいて、走行可能な道路およびマイナスの障害物のセグメンテーションに対する手動ラベル付きの大規模RGB-深度データセットを公開する。
– 幅広い実験結果により、AMFNetは他のネットワークに比べて最先端の性能を発揮することが示された。また、AMFNetのコードとデータセットはGitHubで公開されている。

要約(オリジナル)

Segmentation of drivable roads and negative obstacles is critical to the safe driving of autonomous vehicles. Currently, many multi-modal fusion methods have been proposed to improve segmentation accuracy, such as fusing RGB and depth images. However, we find that when fusing two modals of data with untrustworthy features, the performance of multi-modal networks could be degraded, even lower than those using a single modality. In this paper, the untrustworthy features refer to those extracted from regions (e.g., far objects that are beyond the depth measurement range) with invalid depth data (i.e., 0 pixel value) in depth images. The untrustworthy features can confuse the segmentation results, and hence lead to inferior results. To provide a solution to this issue, we propose the Adaptive-Mask Fusion Network (AMFNet) by introducing adaptive-weight masks in the fusion module to fuse features from RGB and depth images with inconsistency. In addition, we release a large-scale RGB-depth dataset with manually-labeled ground truth based on the NPO dataset for drivable roads and negative obstacles segmentation. Extensive experimental results demonstrate that our network achieves state-of-the-art performance compared with other networks. Our code and dataset are available at: https://github.com/lab-sun/AMFNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI