Causal Mode Multiplexer: A Novel Framework for Unbiased Multispectral Pedestrian Detection

要約

RGBTマルチスペクトル歩行者検知は、昼夜を問わない運用が必要なセーフティ・クリティカルなアプリケーション向けの有望なソリューションとして浮上している。しかし、マルチスペクトル歩行者検出器はデータセットの統計的な偏りを学習するため、モダリティバイアスの問題は未解決のままである。具体的には、マルチスペクトル歩行者検出のデータセットは、主にROTO（昼）とRXTO（夜）のデータに分散しており、歩行者ラベルの大部分は統計的に熱特徴と共起しています。その結果、マルチスペクトル歩行者検出器は、ROTXデータのような、この統計的相関を超える例では汎化能力が低い。この問題に対処するため、マルチスペクトル入力と予測間の因果関係を効果的に学習する、新しい因果モード多重化器（CMM）フレームワークを提案する。さらに、マルチスペクトル歩行者検出におけるモダリティバイアスを評価するための新しいデータセット（ROTX-MP）を構築する。ROTX-MPは主に、これまでのデータセットでは提示されていないROTXの例を含んでいる。広範な実験により、我々の提案するCMMフレームワークが既存のデータセット（KAIST、CVC-14、FLIR）と新しいROTX-MPで良好に一般化することが実証された。今後の研究のために、新しいデータセットを公開する予定である。

要約(オリジナル)

RGBT multispectral pedestrian detection has emerged as a promising solution for safety-critical applications that require day/night operations. However, the modality bias problem remains unsolved as multispectral pedestrian detectors learn the statistical bias in datasets. Specifically, datasets in multispectral pedestrian detection mainly distribute between ROTO (day) and RXTO (night) data; the majority of the pedestrian labels statistically co-occur with their thermal features. As a result, multispectral pedestrian detectors show poor generalization ability on examples beyond this statistical correlation, such as ROTX data. To address this problem, we propose a novel Causal Mode Multiplexer (CMM) framework that effectively learns the causalities between multispectral inputs and predictions. Moreover, we construct a new dataset (ROTX-MP) to evaluate modality bias in multispectral pedestrian detection. ROTX-MP mainly includes ROTX examples not presented in previous datasets. Extensive experiments demonstrate that our proposed CMM framework generalizes well on existing datasets (KAIST, CVC-14, FLIR) and the new ROTX-MP. We will release our new dataset to the public for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL