Object Permanence in Object Detection Leveraging Temporal Priors at Inference Time

要約

オブジェクトの永続性は、オブジェクトが物理的な世界で突然消えないという概念です。
人間は幼い頃からこの概念を理解し、一時的に遮られていても、別の人がまだそこにいることを知っています。
現在、ニューラル ネットワークはしばしばこの課題に取り組んでいます。
したがって、粒子フィルターからインスピレーションを得て、2 段階の検出アプローチに明示的なオブジェクトの永続性を導入します。
コアでは、検出器は前のフレームの予測を、推論時に現在のフレームの追加提案として使用します。
実験では、フィードバック ループが検出性能を最大 10.3 mAP 向上させ、計算オーバーヘッドがほとんどないことを確認しています。
私たちのアプローチは、重度の閉塞下でも安定した信頼性の高い検出を行うために、2 段階の検出器を拡張するのに適しています。
さらに、既存のモデルを再トレーニングせずにメソッドを適用できるため、現実世界のタスクで幅広いアプリケーションが約束されます。

要約(オリジナル)

Object permanence is the concept that objects do not suddenly disappear in the physical world. Humans understand this concept at young ages and know that another person is still there, even though it is temporarily occluded. Neural networks currently often struggle with this challenge. Thus, we introduce explicit object permanence into two stage detection approaches drawing inspiration from particle filters. At the core, our detector uses the predictions of previous frames as additional proposals for the current one at inference time. Experiments confirm the feedback loop improving detection performance by a up to 10.3 mAP with little computational overhead. Our approach is suited to extend two-stage detectors for stabilized and reliable detections even under heavy occlusion. Additionally, the ability to apply our method without retraining an existing model promises wide application in real-world tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google