Look Around and Learn: Self-Training Object Detection by Exploration

要約

物体検出器を新しい環境に導入すると、パフォーマンスが低下することがよくあります。
この論文では、人間の介入に頼らずに、身体化されたエージェントが新しい環境で画像を探索および取得しながら、既存の物体検出器を自動的に微調整する方法、つまり完全に自己監視されたアプローチを研究します。
私たちの設定では、エージェントは最初に、事前にトレーニングされた既製の検出器を使用して環境を探索し、オブジェクトを見つけて疑似ラベルを関連付けることを学習します。
同じオブジェクトの疑似ラベルは異なるビュー間で一貫している必要があると仮定することで、ハード サンプルをマイニングするための探査ポリシー Look Around を学習し、観測間の合意から洗練された疑似ラベルを生成するための不一致調整と呼ばれる新しいメカニズムを考案します。
私たちは現在の最先端の統一ベンチマークを実装し、私たちのアプローチを既存の探査ポリシーや認識メカニズムと比較します。
私たちの方法は、既存のアプローチよりも優れたパフォーマンスを示し、シミュレートされたシナリオで物体検出器が 6.2% 向上し、他の最先端の方法と比べて 3.59% 向上し、地上に依存しない実際のロボットテストでは 9.97% 向上しました。
真実。
提案されたアプローチとベースラインのコードは、https://iit-pavis.github.io/Look_Around_And_Learn/ で入手できます。

要約(オリジナル)

When an object detector is deployed in a novel setting it often experiences a drop in performance. This paper studies how an embodied agent can automatically fine-tune a pre-existing object detector while exploring and acquiring images in a new environment without relying on human intervention, i.e., a fully self-supervised approach. In our setting, an agent initially learns to explore the environment using a pre-trained off-the-shelf detector to locate objects and associate pseudo-labels. By assuming that pseudo-labels for the same object must be consistent across different views, we learn the exploration policy Look Around to mine hard samples, and we devise a novel mechanism called Disagreement Reconciliation for producing refined pseudo-labels from the consensus among observations. We implement a unified benchmark of the current state-of-the-art and compare our approach with pre-existing exploration policies and perception mechanisms. Our method is shown to outperform existing approaches, improving the object detector by 6.2% in a simulated scenario, a 3.59% advancement over other state-of-the-art methods, and by 9.97% in the real robotic test without relying on ground-truth. Code for the proposed approach and baselines are available at https://iit-pavis.github.io/Look_Around_And_Learn/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google