Modality-Incremental Learning with Disjoint Relevance Mapping Networks for Image-based Semantic Segmentation

要約

自動運転では、カメラ、深度センサー、赤外線センサーなどのさまざまなセンサーに対するディープラーニング技術の利用により、環境認識が大幅に進歩しました。
センサースタックの多様性により安全性が向上し、悪天候や照明条件に対する堅牢性に貢献します。
ただし、さまざまなセンサーから取得されるデータにばらつきがあるため、課題が生じます。
継続的学習 (CL) のコンテキストでは、増分学習は、かなり大きなドメインのシフトの場合に特に困難です。
さまざまなセンサーモダリティ。
これにより、壊滅的な物忘れの問題がさらに深刻になります。
この問題に対処するために、私たちはモダリティ増分学習の概念を定式化し、既存の増分学習パラダイムと対比することによってその必要性を検討します。
我々は、関連性マップが互いに素である、以前に学習されたモダリティのパフォーマンスを維持しながら、新しいモダリティを段階的に学習する、修正された関連性マッピング ネットワーク (RMN) の使用を提案します。
実験結果は、このアプローチにおける共有接続の防止が、厳密な継続学習フレームワークの制約内での忘れの問題の軽減に役立つことを示しています。

要約(オリジナル)

In autonomous driving, environment perception has significantly advanced with the utilization of deep learning techniques for diverse sensors such as cameras, depth sensors, or infrared sensors. The diversity in the sensor stack increases the safety and contributes to robustness against adverse weather and lighting conditions. However, the variance in data acquired from different sensors poses challenges. In the context of continual learning (CL), incremental learning is especially challenging for considerably large domain shifts, e.g. different sensor modalities. This amplifies the problem of catastrophic forgetting. To address this issue, we formulate the concept of modality-incremental learning and examine its necessity, by contrasting it with existing incremental learning paradigms. We propose the use of a modified Relevance Mapping Network (RMN) to incrementally learn new modalities while preserving performance on previously learned modalities, in which relevance maps are disjoint. Experimental results demonstrate that the prevention of shared connections in this approach helps alleviate the problem of forgetting within the constraints of a strict continual learning framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google