Look around and learn: self-improving object detection by exploration

要約

物体検出器は、新しい環境条件が学習データに十分に表現されていない場合、性能が低下することが多い。本論文では、人間の介入に頼らず、すなわち完全な自己教師方式で、新しい環境で画像を探索・取得しながら、既存の物体検出器を自動的に微調整する方法について研究する。我々の設定では、エージェントはまず、事前に訓練された既製の検出器を用いて環境を探索し、物体の位置を特定し、擬似ラベルを関連付けることを学習する。同じ物体に対する擬似ラベルは異なる視点間で一貫していなければならないと仮定することで、我々はハードサンプルを採掘する探索方針を学習し、観測間の合意から洗練された予測を生成する新しい仕組みを考案する。我々のアプローチは現在の最先端技術を凌駕し、地上真実のアノテーションに依存しない完全教師ありの設定に対する性能差を縮めることができる。また、より有益な観測結果を収集するために、エージェントの様々な探索方針を比較する。コードとデータセットは論文が受理された時点で公開される予定である。

要約(オリジナル)

Object detectors often experience a drop in performance when new environmental conditions are insufficiently represented in the training data. This paper studies how to automatically fine-tune a pre-existing object detector while exploring and acquiring images in a new environment without relying on human intervention, i.e., in an utterly self-supervised fashion. In our setting, an agent initially learns to explore the environment using a pre-trained off-the-shelf detector to locate objects and associate pseudo-labels. By assuming that pseudo-labels for the same object must be consistent across different views, we learn an exploration policy mining hard samples and we devise a novel mechanism for producing refined predictions from the consensus among observations. Our approach outperforms the current state-of-the-art, and it closes the performance gap against a fully supervised setting without relying on ground-truth annotations. We also compare various exploration policies for the agent to gather more informative observations. Code and dataset will be made available upon paper acceptance

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL