Revisiting Modality Imbalance In Multimodal Pedestrian Detection

要約

特に歩行者検出のためのマルチモーダル学習は、低照度、夜間、悪天候などのいくつかの重要な自動運転シナリオで同等に機能するため、最近強調されています。
ただし、ほとんどの場合、トレーニング分布は、ネットワークを 1 つのモダリティに偏らせる 1 つの特定の入力の寄与を大幅に強調します。
したがって、そのようなモデルの一般化は、トレーニング中の非支配的な入力モダリティが推論の過程により多く寄与する可能性がある場合に重要な問題になります。
ここでは、モダリティ間のこの不一致の問題を解決するために、マルチモーダル アーキテクチャにレギュラライザーを使用した新しいトレーニング セットアップを紹介します。
具体的には、正規化項は、不均衡問題の除去と呼ばれるマルチモーダル分布を抽出するためのトレーニング中に両方の特徴抽出器が同等に重要であると見なすことにより、特徴融合方法をより堅牢にするのに役立ちます。
さらに、出力ストリームのデカップリングの概念は、空間に敏感な情報を相互に共有することにより、検出タスクを支援します。
KAIST と UTokyo のデータセットに対する提案された方法の広範な実験は、それぞれの最先端のパフォーマンスの改善を示しています。

要約(オリジナル)

Multimodal learning, particularly for pedestrian detection, has recently received emphasis due to its capability to function equally well in several critical autonomous driving scenarios such as low-light, night-time, and adverse weather conditions. However, in most cases, the training distribution largely emphasizes the contribution of one specific input that makes the network biased towards one modality. Hence, the generalization of such models becomes a significant problem where the non-dominant input modality during training could be contributing more to the course of inference. Here, we introduce a novel training setup with regularizer in the multimodal architecture to resolve the problem of this disparity between the modalities. Specifically, our regularizer term helps to make the feature fusion method more robust by considering both the feature extractors equivalently important during the training to extract the multimodal distribution which is referred to as removing the imbalance problem. Furthermore, our decoupling concept of output stream helps the detection task by sharing the spatial sensitive information mutually. Extensive experiments of the proposed method on KAIST and UTokyo datasets shows improvement of the respective state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google