TTT-UCDR: Test-time Training for Universal Cross-Domain Retrieval

要約

一般化されたテスト シナリオでの画像検索は、文献で大きな勢いを得ており、最近提案された Universal Cross-domain Retrieval プロトコルは、この方向のパイオニアです。
このような一般化された分類または検索アルゴリズムの一般的な方法は、トレーニング中に複数のドメインからのサンプルを利用して、データのドメイン不変表現を学習することです。
このような基準はしばしば制限的であるため、この作業では初めて、多くの現実世界のシナリオに非常に関連する、低データ体制の下での一般化された検索の問題に関連する課題を調査します。
小さなクロスドメイン データセット (2 つのトレーニング ドメインのみを含む) でトレーニングされた検索モデルを、推論中にテスト データにすばやく適応させることで、未知のクエリ ドメインまたはカテゴリに対してより一般化できるようにします。
この形式のテスト時間トレーニングまたは検索モデルの適応は、この作業では、Rotnet、ジグソー パズル、Barlow Twins など、多数の自己監視ベースの損失関数によって調査されます。
複数の大規模なデータセットでの広範な実験により、提案されたアプローチの有効性が実証されています。

要約(オリジナル)

Image retrieval under generalized test scenarios has gained significant momentum in literature, and the recently proposed protocol of Universal Cross-domain Retrieval is a pioneer in this direction. A common practice in any such generalized classification or retrieval algorithm is to exploit samples from multiple domains during training to learn a domain-invariant representation of data. Such criterion is often restrictive, and thus in this work, for the first time, we explore the challenges associated with generalized retrieval problems under a low-data regime, which is quite relevant in many real-world scenarios. We attempt to make any retrieval model trained on a small cross-domain dataset (containing just two training domains) more generalizable towards any unknown query domain or category by quickly adapting it to the test data during inference. This form of test-time training or adaptation of the retrieval model is explored by means of a number of self-supervision-based loss functions, for example, Rotnet, Jigsaw-puzzle, Barlow twins, etc., in this work. Extensive experiments on multiple large-scale datasets demonstrate the effectiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google