Adaptive Fine-Grained Sketch-Based Image Retrieval

要約

近年、Fine-Grained Sketch-Based Image Retrieval (FG-SBIR) が注目され、新しいカテゴリに学習データなしでモデルを汎化することにシフトしている。しかし、実世界のアプリケーションでは、学習したFG-SBIRモデルが新しいカテゴリと異なる人間のスケッチャー、すなわち異なる描画スタイルの両方に適用されることが多い。これは汎化問題を複雑にするが、幸いなことに、一般的に一握りの例が利用可能であり、モデルが新しいカテゴリやスタイルに適応することを可能にする。本論文では、新しい視点を提供する — 汎化するモデルを求めるのではなく、テスト時にごく少数のサンプルで、素早く適応するモデルを提唱する（数撃ちゃ当たる方式で）。この新しい問題を解決するために、我々はいくつかの重要な修正を加えた新しいモデル非依存的メタ学習（MAML）ベースのフレームワークを導入する。(2) 対比損失におけるマージンも、モデルの残りの部分と一緒にメタ学習させる。(3)メタ学習されたFG-SBIRモデルをより効果的にカテゴリ/スタイル適応させるため、外側ループに3つの追加正則化損失を導入する。公開データセットでの広範な実験により、汎化およびゼロショットに基づくアプローチに対する大きな利得と、いくつかの強力なゼロショットベースラインが示唆された。

要約(オリジナル)

The recent focus on Fine-Grained Sketch-Based Image Retrieval (FG-SBIR) has shifted towards generalising a model to new categories without any training data from them. In real-world applications, however, a trained FG-SBIR model is often applied to both new categories and different human sketchers, i.e., different drawing styles. Although this complicates the generalisation problem, fortunately, a handful of examples are typically available, enabling the model to adapt to the new category/style. In this paper, we offer a novel perspective — instead of asking for a model that generalises, we advocate for one that quickly adapts, with just very few samples during testing (in a few-shot manner). To solve this new problem, we introduce a novel model-agnostic meta-learning (MAML) based framework with several key modifications: (1) As a retrieval task with a margin-based contrastive loss, we simplify the MAML training in the inner loop to make it more stable and tractable. (2) The margin in our contrastive loss is also meta-learned with the rest of the model. (3) Three additional regularisation losses are introduced in the outer loop, to make the meta-learned FG-SBIR model more effective for category/style adaptation. Extensive experiments on public datasets suggest a large gain over generalisation and zero-shot based approaches, and a few strong few-shot baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL