Unsupervised Object Localization with Representer Point Selection

要約

我々は、追加の微調整を行わずに自己教師付きの事前トレーニング済みモデルを利用することでモデルの予測を説明できる、新しい教師なし物体位置特定方法を提案します。
既存の教師なしおよび自己教師ありオブジェクト位置特定手法では、多くの場合、クラスに依存しない活性化マップまたは事前トレーニング済みモデルの自己類似性マップが利用されます。
これらのマップは位置特定のための貴重な情報を提供できますが、モデルがどのように予測を行うかを説明する能力には限界があり、依然として課題が残っています。
この論文では、モデルの予測をトレーニング ポイントの代表値の線形結合として表すことができる、代表点の選択に基づく、シンプルかつ効果的な教師なし物体の位置特定方法を提案します。
モデル予測の最も重要な例である代表点を選択することにより、モデルは関連する例とその重要性を提供することで、モデルが前景オブジェクトを予測する方法についての洞察を提供できます。
私たちの方法は、さまざまなデータセット上で最先端の教師なしおよび自己教師ありの物体位置特定手法を大幅に上回っており、最近の弱く教師ありの少数ショット手法さえも上回っています。

要約(オリジナル)

We propose a novel unsupervised object localization method that allows us to explain the predictions of the model by utilizing self-supervised pre-trained models without additional finetuning. Existing unsupervised and self-supervised object localization methods often utilize class-agnostic activation maps or self-similarity maps of a pre-trained model. Although these maps can offer valuable information for localization, their limited ability to explain how the model makes predictions remains challenging. In this paper, we propose a simple yet effective unsupervised object localization method based on representer point selection, where the predictions of the model can be represented as a linear combination of representer values of training points. By selecting representer points, which are the most important examples for the model predictions, our model can provide insights into how the model predicts the foreground object by providing relevant examples as well as their importance. Our method outperforms the state-of-the-art unsupervised and self-supervised object localization methods on various datasets with significant margins and even outperforms recent weakly supervised and few-shot methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google