Instance Image Retrieval by Learning Purely From Within the Dataset

要約

質の高い特徴表現は、インスタンス イメージの検索の鍵となります。
それを達成するために、既存の方法は通常、ベンチマーク データセットで事前にトレーニングされた深いモデルに頼るか、タスク依存のラベル付き補助データセットを使用してモデルを微調整することさえあります。
有望な結果を達成していますが、このアプローチは 2 つの問題によって制限されています。1) ベンチマーク データセットと特定の検索タスクのデータセットの間のドメイン ギャップ。
2) 必要な補助データセットをすぐに取得できない。
この状況に照らして、この研究では、これまで十分に調査されていなかった別のアプローチを調べます。たとえば、画像検索: {優れた検索を実現するために、特定の検索タスクに固有の特徴表現 \textit{specific to} を学習できますか?}
発見は励みになります。
オブジェクト提案ジェネレーターを追加して、自己教師あり学習用の画像領域を生成することにより、調査されたアプローチは、検索のために特定のデータセットに固有の特徴表現を正常に学習できます。
この表現は、データセットからマイニングされた画像の類似性情報でブーストすることにより、さらに効果的にすることができます。
実験的に検証されているように、このような単純な「自己教師あり学習 + 自己ブースティング」アプローチは、関連する最先端の検索方法と十分に競合できます。
このアプローチの魅力的な特性と、データセット間の一般化に対するその制限を示すために、アブレーション研究が実施されています。

要約(オリジナル)

Quality feature representation is key to instance image retrieval. To attain it, existing methods usually resort to a deep model pre-trained on benchmark datasets or even fine-tune the model with a task-dependent labelled auxiliary dataset. Although achieving promising results, this approach is restricted by two issues: 1) the domain gap between benchmark datasets and the dataset of a given retrieval task; 2) the required auxiliary dataset cannot be readily obtained. In light of this situation, this work looks into a different approach which has not been well investigated for instance image retrieval previously: {can we learn feature representation \textit{specific to} a given retrieval task in order to achieve excellent retrieval?} Our finding is encouraging. By adding an object proposal generator to generate image regions for self-supervised learning, the investigated approach can successfully learn feature representation specific to a given dataset for retrieval. This representation can be made even more effective by boosting it with image similarity information mined from the dataset. As experimentally validated, such a simple “self-supervised learning + self-boosting” approach can well compete with the relevant state-of-the-art retrieval methods. Ablation study is conducted to show the appealing properties of this approach and its limitation on generalisation across datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google