Multimodal Object Detection via Probabilistic Ensembling

要約

マルチモーダルな入力による物体検出は、自律走行車（AV）のようなセーフティクリティカルなシステムの多くを改善することができる。我々は、昼夜を問わず動作するAVに着目し、RGBカメラとサーモグラフィを用いたマルチモーダル物体検出を研究している。我々は、異なるモダリティからの情報を融合するための戦略を探求している。我々の重要な貢献は確率的アンサンブル手法であるProbEnであり、マルチモダリティからの検出を融合するシンプルで非学習的な手法である。ベイズの法則とモダリティ間の条件付き独立性を仮定した第一原理からProbEnを導出する。確率的マージナル化により，ProbEnは検出器が同じ物体に対して発射されなかった場合のモダリティの欠落をエレガントに処理する．また，ProbEnは条件付き独立性の仮定が成立しない場合でも，マルチモーダル検出を顕著に向上させる．例えば，他の融合手法（市販のものと自社で学習したもの）の出力を融合させる．KAISTとFLIRのマルチモーダル画像を含む2つのベンチマークで検証した結果、ProbEnは先行研究よりも13%以上高い相対性能を持つことがわかった。

要約(オリジナル)

Object detection with multimodal inputs can improve many safety-critical systems such as autonomous vehicles (AVs). Motivated by AVs that operate in both day and night, we study multimodal object detection with RGB and thermal cameras, since the latter provides much stronger object signatures under poor illumination. We explore strategies for fusing information from different modalities. Our key contribution is a probabilistic ensembling technique, ProbEn, a simple non-learned method that fuses together detections from multi-modalities. We derive ProbEn from Bayes’ rule and first principles that assume conditional independence across modalities. Through probabilistic marginalization, ProbEn elegantly handles missing modalities when detectors do not fire on the same object. Importantly, ProbEn also notably improves multimodal detection even when the conditional independence assumption does not hold, e.g., fusing outputs from other fusion methods (both off-the-shelf and trained in-house). We validate ProbEn on two benchmarks containing both aligned (KAIST) and unaligned (FLIR) multimodal images, showing that ProbEn outperforms prior work by more than 13% in relative performance!

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL