Revisiting Modality Imbalance In Multimodal Pedestrian Detection

要約

マルチモーダル学習、特に歩行者検出は、低照度、夜間、悪天候などのいくつかの重要な自動運転シナリオでも同等に機能する機能があるため、最近重要視されています。
ただし、ほとんどの場合、トレーニング分布は、ネットワークを 1 つのモダリティに偏らせる 1 つの特定の入力の寄与を主に強調します。
したがって、トレーニング中の非支配的な入力モダリティが推論の過程にさらに寄与する可能性がある場合、そのようなモデルの一般化は重大な問題になります。
ここでは、モダリティ間のこの不一致の問題を解決するために、マルチモーダル アーキテクチャにレギュラライザーを使用した新しいトレーニング セットアップを導入します。
具体的には、正則化項は、不均衡問題の除去と呼ばれる多峰性分布を抽出するトレーニング中に両方の特徴抽出器が同等に重要であるとみなすことにより、特徴融合手法をより堅牢にするのに役立ちます。
さらに、出力ストリームのデカップリング概念は、空間的な機密情報を相互に共有することで検出タスクを支援します。
KAIST と東京大学のデータセットに対する提案された方法の広範な実験により、それぞれの最先端のパフォーマンスの向上が示されました。

要約(オリジナル)

Multimodal learning, particularly for pedestrian detection, has recently received emphasis due to its capability to function equally well in several critical autonomous driving scenarios such as low-light, night-time, and adverse weather conditions. However, in most cases, the training distribution largely emphasizes the contribution of one specific input that makes the network biased towards one modality. Hence, the generalization of such models becomes a significant problem where the non-dominant input modality during training could be contributing more to the course of inference. Here, we introduce a novel training setup with regularizer in the multimodal architecture to resolve the problem of this disparity between the modalities. Specifically, our regularizer term helps to make the feature fusion method more robust by considering both the feature extractors equivalently important during the training to extract the multimodal distribution which is referred to as removing the imbalance problem. Furthermore, our decoupling concept of output stream helps the detection task by sharing the spatial sensitive information mutually. Extensive experiments of the proposed method on KAIST and UTokyo datasets shows improvement of the respective state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google