Into the Fog: Evaluating Robustness of Multiple Object Tracking

要約

最先端の複数オブジェクト追跡 (MOT) アプローチは、現在のベンチマークでトレーニングおよび評価すると、顕著なパフォーマンスを示しています。
ただし、これらのベンチマークは主に晴天のシナリオで構成されており、霧、もや、煙、塵などの悪大気条件は無視されています。
その結果、これらの困難な条件に対するトラッカーの堅牢性は依然として研究されていません。
このギャップに対処するために、フレームごとの単眼深度推定と霧形成光学モデルを利用した、任意の MOT データセットに対する物理ベースの体積霧シミュレーション手法を導入します。
私たちは、均一な霧と不均一な霧の両方をレンダリングすることでシミュレーションを強化し、ダーク チャネル事前手法を使用して大気の光を推定することを提案し、夜間や屋内のシーンでも有望な結果を示します。
さまざまな強度の霧 (屋内シーンの煙) を追加した主要なベンチマーク MOTChallenge (第 3 リリース) を提示し、MOT 手法の包括的な評価を実施して、霧および霧に似た課題の下での限界を明らかにします。

要約(オリジナル)

State-of-the-art Multiple Object Tracking (MOT) approaches have shown remarkable performance when trained and evaluated on current benchmarks. However, these benchmarks primarily consist of clear weather scenarios, overlooking adverse atmospheric conditions such as fog, haze, smoke and dust. As a result, the robustness of trackers against these challenging conditions remains underexplored. To address this gap, we introduce physics-based volumetric fog simulation method for arbitrary MOT datasets, utilizing frame-by-frame monocular depth estimation and a fog formation optical model. We enhance our simulation by rendering both homogeneous and heterogeneous fog and propose to use the dark channel prior method to estimate atmospheric light, showing promising results even in night and indoor scenes. We present the leading benchmark MOTChallenge (third release) augmented with fog (smoke for indoor scenes) of various intensities and conduct a comprehensive evaluation of MOT methods, revealing their limitations under fog and fog-like challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google