Look around and learn: self-improving object detection by exploration

要約

新しい環境条件がトレーニング データで十分に表現されていない場合、オブジェクト検出器のパフォーマンスが低下することがよくあります。
この論文では、既存のオブジェクト検出器を自動的に微調整しながら、人間の介入に頼ることなく、つまり完全に自己管理された方法で、新しい環境で画像を探索および取得する方法について説明します。
私たちの設定では、エージェントは最初に、事前にトレーニングされた既製の検出器を使用して環境を探索し、オブジェクトを見つけて疑似ラベルを関連付けることを学習します。
同じオブジェクトの疑似ラベルが異なるビュー間で一貫している必要があると仮定することで、ハード サンプルをマイニングする探索ポリシーを学習し、観測間のコンセンサスから洗練された予測を生成するための新しいメカニズムを考案します。
私たちのアプローチは現在の最先端技術よりも優れており、グラウンド トゥルース アノテーションに依存することなく、完全に監視された設定とのパフォーマンス ギャップを埋めます。
また、エージェントのさまざまな探索ポリシーを比較して、より有益な観察結果を収集します。
コードとデータセットは紙の受理時に利用可能になります

要約(オリジナル)

Object detectors often experience a drop in performance when new environmental conditions are insufficiently represented in the training data. This paper studies how to automatically fine-tune a pre-existing object detector while exploring and acquiring images in a new environment without relying on human intervention, i.e., in an utterly self-supervised fashion. In our setting, an agent initially learns to explore the environment using a pre-trained off-the-shelf detector to locate objects and associate pseudo-labels. By assuming that pseudo-labels for the same object must be consistent across different views, we learn an exploration policy mining hard samples and we devise a novel mechanism for producing refined predictions from the consensus among observations. Our approach outperforms the current state-of-the-art, and it closes the performance gap against a fully supervised setting without relying on ground-truth annotations. We also compare various exploration policies for the agent to gather more informative observations. Code and dataset will be made available upon paper acceptance

arxiv情報

提供元, 利用サービス

arxiv.jp, Google